【新智元導讀】「世界末日時鐘是23點57分。我們正在經歷世界上的戲劇性的發展，這表明我們越來越接近末日和耶穌的回歸。」這段驚悚的「預言」來自谷歌翻譯。2016年，谷歌宣布機器翻譯「重大突破」——神經機器翻譯(GNMT)，將翻譯質量提高到接近人類筆譯的水平。然而，它將無意義的文本翻譯成怪異的宗教預言引起了新的恐慌。這次，要怪AI是「黑盒」，還是拖出谷歌員工來背鍋？
在Google Translate中鍵入「dog」一詞19次，然後選擇將這段無意義的文本從毛利語翻譯成英語，結果會怎樣？
彈出來的是一段看似亂碼宗教預言：
Doomsday Clock is three minutes at twelve We are experiencing characters and a dramatic developments in the world, which indicate that we are increasingly approaching the end times and Jesus』 return.
「世界末日時鐘還差3分鐘到12點。我們正在經歷世界上的人物和戲劇性的發展，這表明我們越來越接近末日和耶穌的回歸。」
這只是Reddit以及其他網站用戶從谷歌翻譯中挖掘出來的眾多怪異、有時甚至是不祥的翻譯的一個例子。將原文設為索馬利亞語，連續輸入「ag」一詞，這個字符串會被翻譯成「sons of Gershon」(革順的兒子)，「name of the LORD」(上帝的名字)，並且會引用聖經裡的術語，例如「cubits」(肘，聖經中的度量衡)和Deuteronomy(《申命記》)。谷歌翻譯是谷歌已經推出10年的服務，現在可以翻譯超過100種語言。
在推特上，這些翻譯引起恐慌，有人甚至將這些奇怪的翻譯歸咎於鬼魂和惡魔。reddit上TranslateGate子論壇上有用戶推測，其中一些奇怪的翻譯輸出可能來自收集自電子郵件或私人消息的文本。
谷歌發言人Justin Burr在一封電子郵件中表示：「Google Translate從網絡上的翻譯範例學習，不使用『私人信息』進行翻譯，系統甚至都無法訪問到這些內容。」 「這只是將無意義的話語輸入系統，導致產生的也是無意義的內容的一種功能。」
對於這種怪異的輸出，有幾種可能的解釋。比如，這些惡意消息可能是心懷不滿的谷歌員工造成的，也可能是惡作劇用戶濫用「提供建議」按鈕造成的，該選項將接受用戶提供的有助於改善翻譯質量的建議。
罪魁禍首可能是神經機器翻譯
哈佛大學研究自然語言處理和計算機翻譯的助理教授Andrew Rush認為，內部的質量過濾器(quality filter)可能會捕捉到這種類型的惡意操作。Rush說，更有可能的是，這些奇怪的翻譯與2016年時谷歌翻譯的一個重大變化有關——它開始使用一種叫做「神經機器翻譯」的技術。
在神經機器翻譯中，使用一種語言的大量文本和另一種語言的相應譯文來訓練系統，以創建一個能夠在兩種語言之間相互翻譯的模型。Rush說，當系統被輸入無意義的文本時，它就會「產生幻覺」，生成怪異的輸出——就像谷歌的DeepDream視覺系統會產生可怕的圖像一樣。
谷歌DeepDream的作畫
「這些模型都是黑盒，你能找到多少訓練實例，它就能學到多少。」 Rush說：「訓練實例中絕大部分看起來都像人類語言，因此當你給它一個新的實例時，它受到的訓練就是，不惜一切代價創造出一些看起來也像人類語言的東西。然而，如果你給它一些非常不同的東西，最好的翻譯將是一些看起來仍然流暢的文本，但根本與輸入無關。」
BBN Technologies的資深科學家、從事機器翻譯工作的Sean Colbath也同意，奇怪的輸出可能是由於Google Translate的算法試圖在混亂中尋找秩序。他還指出，這些產生最奇怪結果的語言——索馬利亞語、夏威夷語和毛利語——它們用於訓練的翻譯文本比英語或漢語等更廣泛使用的語言要小得多。因此，Colbath說，谷歌可能會使用《聖經》這類的宗教文本(《聖經》已經被翻譯成多種語言)，用這些文本來訓練它的模型，導致產生宗教內容。
Rush也同意這種說法，如果谷歌使用《聖經》來訓練它的神經翻譯模型，那麼就可以解釋一些奇怪的輸出了。事實上，索馬利亞語的幾個奇怪的翻譯版本與《舊約》中的某些章節很相似。比如《出埃及記》27：18提到「a hundred cubits」(長一百肘)，並且有幾節經文，包括《民數記》3:18討論了「sons of Gershon」(革順的兒子)。
谷歌發言人Justin Burr拒絕回答Google Translate的訓練數據是否包含宗教文本。
但有時候，確實感覺這個算法似乎在傳遞某種神秘的精神能量——它甚至會開笑話。
你看，用Google Translate翻譯「w hy ar e th e tran stla tions so wei rd」在索馬利亞語中的意思，它的輸出是，「這是一個讓它變得更好的好辦法」。
神經機器翻譯的主要問題
Philipp Koehn和Rebecca Knowles在2017年就這一主題撰寫了一篇精彩的關於神經機器翻譯的論文(文末附論文地址)，現在仍然具有現實意義。在這裡有必要總結一下：
1.神經機器翻譯(NMT)在處理領域之外的數據時的表現很糟：當前的機器翻譯系統會生成非常流暢的輸出，這些輸出與領域外數據的輸入無關。因此像Google翻譯這樣的通用機器翻譯系統在法律或金融等專業領域的表現尤其糟糕。與基於短語的系統等傳統方法相比，NMT系統的效果更差。有多差呢？請參閱下面的圖表。非對角線上元素是是用領域外數據訓練後的結果，綠色條代表NMT，藍色條代表基於短語的系統。
將機器翻譯系統在一個領域內(行)上訓練，並在另一個領域(列)上進行測試。
藍色：基於短語的系統綠色：NMT
2. NMT在小數據集上表現不佳：一般而言，大多數機器學習都是這樣，但這個問題在NMT上尤為突出。 NMT的優點在於，隨著數據量的增加，它的表現要(比基於短語的機器翻譯)更好，但在數據量很低的情況下，NMT的表現確實更差。事實上，正如作者所說，「在資源條件較差的情況下，NMT會產生與輸入內容無關的流暢輸出。」這可能是Motherboard的文章探討的一些關於NMT表現奇怪的另一個原因。
3. NMT在罕見詞彙上的表現不佳：儘管比基於短語的翻譯的表現更好，但NMT對於罕見或未見過的詞語翻譯的表現不佳。對於存在大量變形詞的語言及大量命名實體的領域，這可能成為一個問題，因為變形詞和命名實體一般非常罕見。
上圖是我們即將出版的書的第2章部分內容的摘錄。例如，在土耳其語中，時不時就會遇到變形形式的詞。
如果單詞只被觀察到一次，就會被捨棄。字節成對編碼(byte-pair encoding)技術有助於解決這個問題，但有必要對此進行更詳細的研究。
4.長句的翻譯問題：對長句編碼及生成長句仍然是一個沒有解決的問題。機器翻譯系統隨句子長度的增加，其表現會越來越糟，NMT系統尤其如此。使用注意力有幫助，但問題遠未「解決」。在許多領域，如法律領域，冗長複雜的句子是很常見的。
5.注意力(Attention)機制不等於簡單對齊：這是一個非常微妙但重要的問題。在傳統的SMT系統(如基於短語的MT)中，對齊翻譯為模型的檢測提供了有用的調試信息。但是注意機制不能被視為傳統意義上的對齊，即使論文經常將注意力機製作為「軟對齊」引起注意。在NMT系統中，除了源語言中的動詞之外，目標語言中的動詞也可以作為主語和賓語成分。
6.難以控制翻譯質量：每個單詞都有多種翻譯，典型的機器翻譯系統在源句的翻譯結構上表現很好。為了保持句子結構的大小合理，會使用集束搜索(beam search)。通過改變集束寬度，可以找到低概率但正確的平移。而對於NMT系統，調整集束的寬度似乎沒有任何影響，甚至可能會有不良影響。
當數據量很大時，NMT系統仍然很難被擊敗。關於神經網絡模型的黑盒性的討論也在繼續，今天的NMT模型(不論是基於LSTM還是Transformer)都會受此影響。這是一個活躍的研究領域，如果時間允許，我期待參加EMNLP關於該主題的研討會。
參考連結：
http://deliprao.com/archives/301
論文地址:
http://www.aclweb.org/anthology/W/W17/W17-3204.pdf
(來源：motherboard，deliprao.com編譯：肖琴、大明)