來源：venturebeat
編輯：keyu
【新智元導讀】處理過程更加複雜的人類語言模型在近幾年得到了迅速發展，近日Google提出萬億參數語言模型Switch Transformer，進一步提高了語言模型可以達到的頂峰。這一切都表明，語言模型領域正處於「快速升溫」的階段，未來如何，我們拭目以待。在短短幾年時間裡，深度學習算法經過了飛速的進化，已經具有了可以打敗世界最頂尖棋手的水平，並能以不低於人類識別的準確度來精確地識別人臉。
但事實證明，掌握獨特而複雜的人類語言，是人工智慧面臨的最艱巨挑戰之一。
這種現狀會被改變嗎?
如果計算機可以具有有效理解所有人類語言的能力，那麼這將會徹底改變世界各地的品牌、企業和組織之間打交道的方式。
直到2015年，能夠以與人類相當的準確率識別人臉的算法才出現：臉書DeepFace的準確率為97.4%，略低於人類的97.5%。
而作為參考，FBI的面部識別算法僅達到85%的準確率，這意味著仍然有超過七分之一的情況是錯誤的。
FBI的算法是由一組工程師手工設計的：每個功能，比如鼻子的大小和眼睛的相對位置，都是手動編程的。
而Facebook的算法則主要處理學習到的特徵，它使用了一種特殊的深度學習架構，稱為卷積神經網絡，這個網絡模仿了我們視覺皮層不同層次處理圖像的方式。
Facebook之所以能夠做到如此高的準確率，是因為它恰當的利用了可以實現學習功能的架構和數百萬用戶在分享的照片中標記好友的高質量數據，這兩個元素成為了訓練好的視覺模型可以達到人類識別水平的關鍵。
相比起視覺問題，語言似乎要複雜得多——據我們所知，人類是目前唯一使用複雜語言交流的物種。
不到十年前，如果要理解文本是什麼，人工智慧算法只會計算特定單詞出現的頻率。但這種方法顯然忽略了一個事實 : 單詞有同義詞，而且只有在特定的上下文中才有意義。
2013年，Tomas Mikolov和他在谷歌的團隊發現了如何創建一個能夠學習單詞含義的結構：
他們的word2vec算法可以將同義詞之間彼此映射，並且能夠對同義詞的大小、性別、速度進行建模，甚至還可以學習到諸如國家和首都等函數的關係。
然而，仍有很重要的一部分沒有得到處理——語境（上下文關係）。
這一領域的真正突破出現在2018年，當時，谷歌重磅引入了BERT模型：
Jacob Devlin和他的團隊利用了一種典型的用於機器翻譯的架構，並使其學習與句子上下文相關的單詞的含義。通過教會這個模型去填補維基百科文章中缺失的單詞，這個團隊能夠將語言結構嵌入到BERT模型中。
僅用有限數量的高質量標記數據，他們就能讓BERT適應多種任務，包括找到問題的正確答案以及真正理解一個句子是關於什麼的。
因此，他們成為了第一個真正把握語言理解的兩要素的人:正確的架構和大量高質量的數據。
2019年，臉書的研究人員將這一研究進行了進一步的推進：
他們訓練了一個從BERT衍生出的模型，令其同時學習100多種語言。訓練的結果是，該模型能夠學習一種語言的任務，例如英語，並使用它來完成其他任何語言的相同任務，如阿拉伯語、漢語和印地語。
這個語言無關模型在語言上可以與BERT有相同的表現，此外，在該模型中，語言轉換過程中的一些幹擾的影響是非常有限的。
在2020年初，Google的研究人員終於能夠在廣泛的語言理解任務中擊敗人類：
谷歌通過在更多數據上訓練更大的網絡，將BERT架構推向了極限——現在，這種T5模型在標註句子和找到問題的正確答案方面可以比人類表現得更好。
而10月份發布的語言無關的mT5模型，在從一種語言切換到另一種語言的能力方面，幾乎可以與雙語者一樣出色。同時，它在處理語言種類方面有著不可思議的效果——它可以同時處理100多種語言。
本周公布的萬億參數模型Switch Transformer使語言模型變得更龐大，效果也變得更強大。
圖：Switch Transformer編碼塊
想像一下，聊天機器人可以理解你的任何想法：
他們會真正理解語境並記住過去的對話。而你會得到的答案不再是泛泛的回答，而是正切主題的。
搜尋引擎將能夠理解你的任何問題：
你甚至不需要使用正確的關鍵字，他們也會給出正確的答案。
你將得到一個了解你公司所有程序的「AI同事」：
如果你知道正確的「行話」，就不用再問其他同事問題了。當然，也不再會有同事和你說：「為什麼不把公司所有文件都看一遍再問我？」。
資料庫的新時代即將到來：
跟結構化數據的繁瑣工作說再見吧。任何備忘錄，電子郵件，報告等，將得到自動解釋，存儲和索引。你將不再需要IT部門運行查詢來創建報告，只需要和資料庫說一下就行了。
而這，還只是冰山一角——
任何目前仍需要人類去理解語言的過程，都正處於被破壞或被自動化的邊緣。
Talk isn’t cheap：龐大語言模型耗費巨大
在構建宏偉藍圖的同時，別忘了，還有個「陷阱」在這裡：
為什麼這些算法不是隨處可見?
一般情況下，訓練這些模型大概率要花費極其昂貴的價格。舉個例子，訓練T5算法的雲計算成本約為130萬美元。
雖然谷歌的研究人員非常友好地分享了這些模型，但是，針對當前的特定任務，如果不對它們進行微調，那麼這些模型在具體任務中很可能就無法使用。
因此，即使大公司開源了這些模型，對於其他人來說，直接拿來使用也是一件代價高昂的事情。
而且，一旦使用者針對特定的問題優化了這些模型，執行的過程中仍然需要大量的計算能力和超長的時間消耗。
隨著時間的推移，隨著各大公司在微調上的投入，我們將看到新的的應用出現。
而且，如果大家相信摩爾定律，我們可以在大約五年內看到更複雜的應用。此外，可以超越T5算法的新的模型也將會出現。
2021年初，我們距離人工智慧最重大的突破以及由此帶來的無限可能，僅僅只有一步之遙。
參考連結：
https://venturebeat.com/2021/01/17/language-ai-is-really-heating-up/