早在2015年，聊天機器人就備受關注。其中一個被大肆宣傳的是Facebook的M，它的目標是成為一個靈活的、適用廣泛的機器人，它可以做很多不同的事情，比如購買物品、安排送禮、預定餐廳和計劃旅行。但這些聲音遠遠超過了機器人本身。當Facebook在灣區對2500人測試M時，該軟體並未能完成要求它完成的大部分任務。
在對M和其他聊天機器人的熱情爆發之後，隨之而來的是一波失望(微軟執行長納德拉曾說「機器人是新的應用」)。聊天機器人不像機器人那麼愛聊天，那是因為他們被訓練只談論一小部分事情，執行特定的、有限的任務。它們無法與人進行自然的對話，無法根據對單詞及其含義的一般理解產生自己的反應。它們只能提供一般性的答覆。
在M測試版之前，Facebook縮減了對這款機器人的宏偉計劃，儘管它的一些自然語言技術已經進入了相對保守的Messenger聊天機器人領域，這些聊天機器人可以做一些簡單的事情，比如點餐或發送問答信息。美國運通和1-800-FLOWERS等公司仍然使用這種簡單的聊天機器人來回答客戶服務問題、接受基本訂單和提供帳戶餘額。如果你問一些超出它們理解範圍的問題，則會讓你和人工客服聯繫。
但Facebook的人工智慧研究小組已經從那種只能簡單聊天的機器人發展起來。Facebook自然語言研究人員Antoine Bordes表示：「過去3到4年我們一直在說，對目標導向對話的研究不是我們需要探索的道路，因為它太難，風險太大。」他還表示，如果一個旅遊聊天機器人預訂了「錯誤的飛機、錯誤的航班，那在金錢、旅遊等方面都是一個很大的錯誤。」
Bordes解釋說，Facebook並沒有專注於特定任務的機制，而是後退一步來解決一個更深層次的問題——教虛擬代理像人一樣交談。他們認為，如果聊天機器人能夠更好地理解，並與人類交流，它們最終可能會成為更好的助手，幫助人們完成實際任務，比如預訂機票。
Facebook在這方面投入了大量資金，聘請了自然語言人工智慧領域的一些頂尖人才。該公司喜歡表明的是，與一些大型科技公司不同，它通過將人工智慧研究成果發布到網上，讓整個研究社區都能看到，這可能會幫助其他正在構建下一代人工智慧的公司。但這項研究肯定也會在自己的產品中體現。
消息應用與人們的日常生活深度捆綁，包括Messenger和WhatsApp，後者也是Facebook的子公司，目前仍在研究如何盈利。隨著執行長扎克伯格為公司提出一個更加重視私人對話的新願景，Messenger和WhatsApp將需要增加一些功能，以保持相對於微信、Telegram和蘋果iMessage等其他信息平臺的領先地位。
構建一種可以隨意與人聊天的算法，已經成為大型科技公司的一個關鍵目標。亞馬遜、谷歌和微軟都加入了Facebook的行列，押注於人類對話的力量——不僅是基於文本的消息應用，還包括語音助手和其他體驗。由於最近的研究進展，通往真正的對話式計算機的道路突然變得清晰起來，但首先到達目的地的獎品仍有待商榷。
換句話說，Facebook的自然語言研究遠不止是復活M或者改進基於Messenger的聊天機器人，而是事關整個公司的未來。神經網絡
構建一個能與人進行逼真對話的數字代理人，可以說是所有自然語言問題中最難的。它需要一臺機器來學習一本充滿單詞的字典，以及所有的用法和細微差別，然後在與一個無法預測的人的實時對話中使用它們。
直到最近幾年，自然語言的AI社區才開始向通用知識機器人邁出更大的步伐。這部分是因為神經網絡的巨大進步，這是一種機器學習算法，通過分析大量數據來識別模式。
在AI發展的大部分歷史中，人類一直在觀察軟體在機器學習過程中的表現。在一種被稱為監督學習的技術中，人類教師通過提供一個問題的正確答案來慢慢訓練神經網絡，然後調整算法使其達到相同的解決方案。
當有大量的數據都是經過精心標註的時候，監督學習就能很好地工作——比如，通過識別照片中有貓、狗或其他物品。但這種方法在聊天機器人的世界裡往往行不通。數千小時的人與人之間的對話記錄很難大量找到，而且對於一家公司來說，創建這些記錄的成本很高。
由於很難教聊天機器人使用這些較老的方法進行對話，研究人員一直在尋找替代監督學習的方法，讓神經網絡在沒有人參與的情況下自己從數據中學習。
減少對訓練數據需求的一種方法是教機器基本常識。如果一臺計算機對世界有一些了解，比如物體的相對大小、人們如何使用它們，以及一些物理定律如何影響它們的知識，那麼它可能會將選擇範圍縮小。
人類這樣做很自然。例如，假設你在一個陡峭的懸崖邊開車，突然看到前面的路上有一塊大石頭，你要避免撞到石頭。但在考慮你的選擇時，你永遠不會決定突然向懸崖邊艱難地轉彎。你知道，由於重力的作用，汽車會猛烈地落在下面的巖石上。
「我們所做的大部分學習是觀察世界，」Facebook副總裁兼首席人工智慧科學家Yann Lecun是人工智慧領域的傳奇人物，自上世紀80年代以來一直在應對最大的挑戰，他表示：「我們從父母和其他人身上學到了很多東西，但我們也正是通過與世界互動，通過嘗試、失敗和改正，學到了很多東西。」
使用這種技術訓練的人工智慧，稱為無監督學習，工作原理是一樣的。例如，一輛自動駕駛汽車通過它的許多傳感器和攝像頭收集有關世界的數據，就像一個孩子通過她的五種感官了解世界一樣。通過這種方法，科學家們為機器提供了大量的訓練數據供其仔細研究。他們不會要求它給出正確的答案，也不會哄它朝著某個目標前進。相反，他們只要求IT部門處理數據並從中學習，找到模式，並映射不同數據點之間的關係。
在許多情況下，這些必要的數據很難獲得。但是AI的一個領域是，神經網絡可以在不需要傳感器的情況下了解世界，即自然語言處理。研究人員可以使用大量現有的文本來幫助算法理解人類世界，這是理解語言的必要部分。
假設給一個神經網絡兩個短語來理解：「獎盃放不進手提箱，因為它太大了。」
「獎盃放不進手提箱，因為它太小了。」
要知道「它」在每個句子中指的是不同的事物，模型需要知道一些關於世界上的對象及其相互關係的信息。LeCun表示：「文本中有足夠的結構，它們正在接受訓練，知道當你有一個對象適合另一個對象時，如果對象太大，其中一個就不適合。」
這項技術可能成為新一代更具對話性和實用性的Facebook聊天機器人的秘密。BERT和RoBERTa
目前在自然語言系統的無監督訓練方面的進展始於2018年的谷歌。它的研究人員創建了一個名為BERT(Bidirectional Encoder Representations from Transformers)的深度學習模型，並從11038本書中提取了未加注釋的文本，以及維基百科英語詞條中的25億個單詞。研究人員隨機屏蔽了文本中的某些單詞，並對該模型提出了挑戰，讓它找出如何填入這些單詞。
在神經網絡分析了整個訓練文本後，它發現了經常出現在同一上下文中的單詞和句子的模式，幫助它理解單詞之間的基本關係。由於單詞是物體或概念在現實世界中的表現形式，該模型學到的不僅僅是單詞之間的語言關係：它開始理解物體之間的關係。
BERT並不是第一個使用無監督方法訓練計算機理解人類語言的模型，但它是第一個在上下文中學習單詞含義的模型。
「我想說它是自然語言處理領域的前兩三大突破之一，」微軟研究院深度學習小組的合作夥伴研究經理Jianfeng Gao表示。「你可以看到人們使用該模型作為構建所有其他自然語言處理模型的新基線。」到目前為止，BERT研究論文有超過1000條學術引用，其他研究人員也在谷歌的模型上進行了構建。
LeCun和他的團隊就是其中之一。他們構建了自己版本的模型，然後進行了一些優化調整，大大擴展了訓練數據量，並增加了允許的訓練時間。在神經網絡運行了數十億次計算之後，Facebook的語言模型RoBERTa的表現要比谷歌的模型好得多。與BERT的80.5%相比，它的準確率達到了88.5%。
BERT和RoBERTa代表了一種全新的方法來教計算機如何交談。「在這個過程中，系統必須表示它看到的單詞的意思、句子的結構和上下文，」LeCun表示。「結果，它學會了語言的本質，這很奇怪，因為它對世界的物理現實一無所知。它沒有視覺，沒有聽覺，什麼都沒有。」它只知道語言——字母、單詞和句子。慢慢接近真正的對話
LeCun表示，使用BERT和RoBERTa訓練的自然語言模型，仍然沒有足夠的常識來開始生成基於廣泛常識的聊天。這只是訓練一個算法像人一樣說話的開始。
Facebook的自然語言研究者也試圖在RoBERTa的基礎上建立更多的對話特徵。他們首先研究了與聊天機器人的實際人類對話，以了解對話如何以及何時會中斷或變得無聊。他們的發現推動了一項研究，可以通過訓練，讓機器人避免最常見的對話失敗。
例如，聊天機器人經常自相矛盾，因為它們不記得自己在對話中說過什麼。聊天機器人可能在前一分鐘還聲稱喜歡重播的《霹靂遊俠》，下一分鐘又說不喜歡電視劇。聊天機器人會創建自己的原始響應(而不是從訓練數據中檢索示例)，它們傾向於以模糊的方式回答問題，以避免出錯。它們常常顯得缺乏情緒，這使得它們缺乏吸引力。
聊天機器人還必須能夠調用知識，成為有趣的健談者。那些能夠利用各種各樣信息的人，更有可能與人類進行更長時間的對話。但是，目前的聊天機器人只接受一個領域的知識訓練，這個領域與機器人的設計任務相對應——當人類開始對機器人領域之外的主題發表評論時，這就成了一個問題。例如，如果你問一個送披薩的機器人關於披薩以外的任何話題，對話就會迅速轉移。
作為一種矯正方法，Facebook的研究人員一直致力於訓練自然語言模型，從許多知識領域提取數據，並將這些信息以自然的方式輸入到對話中。未來的研究將集中於教導機器人何時以及如何引導對話從一個一般性話題回到一個特定的任務。
開發聊天機器人面臨的最大挑戰之一是，讓它們在調用後能夠繼續學習。單詞的含義會隨著時間的推移而變化，新的術語和俚語在文化上變得重要。與此同時，聊天機器人不能太容易受人影響——微軟的Tay聊天機器人從在線對話中學到了太多、太快，在24小時內就變成了具有侮辱性的種族主義者。Facebook正在教授其實驗性聊天機器人如何從順暢的對話中學習，並分析人類聊天夥伴的語言，以發現機器人是否說了一些愚蠢或無聊的話。
預測Facebook在實驗室中取得的進展可能會導致即時通訊聊天機器人的出現，這將是很危險的，因為這些聊天機器人能夠進行對話，甚至具備某些類人類的膚淺技能。但也許不久我們就能自己判斷結果了。Facebook研究員Jason Weston表示：「我們相信，我們已經非常接近擁有一個機器人，人們可以與機器人對話，從中看到價值。」
來源: 投資界