ACL 2019 論文:谷歌提出增強神經網絡機器翻譯魯棒性的新方法

2020-12-11 雷鋒網

儘管近年來利用 Transformer 模型進行神經機器翻譯（NMT）取得了巨大成功，但是 NMT 模型對輸入的微小幹擾仍然很敏感，從而導致各種不同的錯誤。谷歌研究院的一篇 ACL 2019 論文提出了一種方法，使用生成的對抗性樣本來提高機器翻譯模型的魯棒性，防止輸入中存在的細小擾動度對其造成影響。結果表明，該方法提高了 NMT 模型在標準基準上的性能。在本文中，作者 Yong Cheng、 Lu Jiang 和 Wolfgang Macherey 對其在 ACL 2019 上發表的《具有雙對抗性輸入的魯棒神經機器翻譯》論文進行了介紹。

Robust Neural Machine Translation with Doubly Adversarial Inputs

論文閱讀地址：https://arxiv.org/abs/1906.02443近年來，利用 Transformer 模型進行神經機器翻譯（NMT）取得了巨大的成功。基於深度神經網絡的 NMT 模型通常在非常大的並行語料庫（輸入/輸出文本對）上以完全數據驅動的方式進行端到端訓練，而不需要強制使用顯式的語言規則。

NMT 模型儘管取得了巨大的成功，但它對輸入中存在的微小幹擾仍然很敏感，這就會導致它出現各種不同的錯誤，如翻譯不足、翻譯過度或翻譯錯誤。例如，給定一個德語句子，最先進的 NMT 模型 Transformer 會生成正確的翻譯：

「Der Sprecher des Untersuchungsausschusses hat angekündigt, vor Gericht zu ziehen, falls sich die geladenen Zeugen weiterhin weigern sollten, eine Aussage zu machen。」機器翻譯成英語的結果：「Machine translation to English:「The spokesman of the Committee of Inquiry has announced that if the witnesses summoned continue to refuse to testify, he will be brought to court（調查委員會發言人宣布，如果被傳喚的證人繼續拒絕作證，他將被帶到法庭）」。但是，當我們對輸入語句進行細微的更改時，比如將 geladenen 換成同義詞 vorgeladenen，翻譯就會變得非常不同（在這個例子中翻譯結果是錯誤的）：

「Der Sprecher des Untersuchungsausschusses hat angekündigt, vor Gericht zu ziehen, falls sich die vorgeladenen Zeugen weiterhin weigern sollten, eine Aussage zu machen。」機器翻譯成英語的結果：「The investigative committee has announced that he will be brought to justice if the witnesses who have been invited continue to refuse to testify（調查委員會宣布，如果被邀請的證人繼續拒絕作證，他將被繩之以法）」。由於 NMT 模型缺乏魯棒性，導致其在許多不能承受其不魯棒性的商業系統難以得以實際應用。因此，學習魯棒翻譯模型不僅是很有價值的，也是許多場景應用所要求的。然而，雖然神經網絡的魯棒性在計算機視覺領域已經得到了廣泛的研究，但是相關文獻中對學習魯棒 NMT 模型的研究卻很少。

在《具有雙對抗性輸入的魯棒神經機器翻譯》一文中，我們提出了一種方法，即使用生成的對抗性樣本來提高機器翻譯模型的魯棒性，以防止輸入中存在的細小擾動度對其造成影響。我們學習了一個魯棒 NMT 模型，以直接利用模型知識和扭曲模型預測的意圖來克服對抗性樣本。結果表明，該方法提高了 NMT 模型在標準基準上的性能。

用 AdvGen 訓練模型

一個理想的 NMT 模型將會對存在微小差異的獨立輸入生成相似的翻譯結果。我們方法的思想是使用對抗性輸入來幹擾翻譯模型，以期提高模型的魯棒性。它使用一種稱為對抗生成（AdvGen）的算法來實現上述方法，該算法生成可信的對抗樣本來擾亂模型，然後將它們反饋到模型中進行防禦訓練。雖然該方法的靈感來自於生成對抗網絡（GANs）的思想，但它並不依賴於鑑別器網絡，而是簡單地將對抗性樣本應用於訓練中，有效地實現了訓練集的多樣化及擴展。

第一步是使用 AdvGen 幹擾模型。我們首先使用 Transformer 根據源輸入句、目標輸入句和目標輸出句計算翻譯損失。然後 AdvGen 隨機選擇源句子中的一些單詞，假設它們是均勻分布的。每個單詞都有一個相似單詞的關聯列表，例如單詞 「candidates 」可用以代替 「substitution」使用，AdvGen 從中選擇最可能在 Transformer 輸出中引發錯誤的單詞。然後，這個生成對抗性語句被反饋給 Transformer，Transformer進而對其啟動防禦階段。

圖 1

首先，將 Transformer 模型應用於輸入句（左下），並與目標輸出句（右上）和目標輸入句（右中；從佔位符「<sos>」開始）相結合，從而計算翻譯損失。AdvGen 函數將源句子、單詞選擇分布、單詞「 candidates 」和翻譯損失作為輸入，構造一個對抗性源樣本。

在防禦階段期間，對抗性語句會被反饋到 Transformer 模型中。Transformer 再次計算翻譯損失，但這次使用的是對抗性源輸入。利用上述方法，AdvGen 使用目標輸入句、單詞替換 「 candidates 」、注意力矩陣計算的單詞選擇分布和翻譯損失構建了一個對抗性目標樣本。

圖 2

在防禦階段，對抗性源樣本作為 Transformer 模型的輸入，用來計算翻譯損失。然後，AdvGen 使用與前面相同的方法從目標輸入生成一個對抗性目標樣本

最後，將對抗性語句被反饋到 Transformer 中，並利用對抗性源樣本、對抗性目標輸入樣本和目標語句計算魯棒性損失。如果擾動導致了顯著的損失，則將損失最小化，這樣當模型遇到類似的擾動時，就不會犯同樣的錯誤。另一方面，如果擾動導致的損失較小，則什麼也不會發生，這表明模型已經能夠處理這種擾動。

模型的性能

通過將該方法應用於標準的漢英和英德翻譯基準中，證明了我們的方法是有效的。與競爭性 Transformer 模型相比，我們觀察到 BLEU 值分別顯著提高 2.8（漢英翻譯）和 1.6（英德翻譯），獲得了新的最佳性能。

圖 3

與 Transformer 模型（Vaswani 等人，2017 年）在標準基準上的對比

然後，我們在一個噪聲數據集上評估我們的模型，該數據集使用類似於 AdvGen 描述的過程生成。我們使用一個乾淨的輸入數據集，例如在標準翻譯基準上使用的數據集，並隨機選擇用於相似單詞替換的單詞。我們發現，相比其他最近的模型，我們的模型顯示出更好的魯棒性。

圖 4

與 Miyao 等人（論文連結：https://arxiv.org/abs/1605.07725）和 Cheng（論文連結：https://arxiv.org/abs/1805.06130）等人在人工噪聲輸入的 Transformer 模型比較

結果表明，我們的方法能夠克服輸入語句中的小擾動，提高泛化性能。它的性能要比同類的翻譯模型更優，並在標準基準上實現了最先進的翻譯性能。我們希望我們的翻譯模型可以作為一個魯棒構建模塊來改進許多下遊工作，特別是那些對存在瑕疵的翻譯輸入具有敏感性或難以容忍的工作。

致謝

本研究由 Yong Cheng、 Lu Jiang 和 Wolfgang Macherey 完成。另外要感謝我們的領導 Andrew Moore 和 Julia（Wenli）Zhu。

Via：https://ai.googleblog.com/2019/07/robust-neural-machine-translation.html雷鋒網雷鋒網雷鋒網

相關焦點

  • 清華大學NLP組年末巨獻:機器翻譯必讀論文列表
    使用機器做翻譯的思想最早由 Warren Weaver 於 1949 年提出。時間進入二十一世紀，研究人員開發了基於神經網絡的語言模型。近年來，神經機器翻譯已經進入了應用階段。、注意力機制、開放詞表問題與字符級別神經機器翻譯、訓練準則與框架、解碼機制、低資源語言翻譯、多語種機器翻譯、先驗知識融合、文檔級別機器翻譯、機器翻譯中的魯棒性、可視化與可解釋性、公正性與多樣性、機器翻譯效率問題、語音翻譯與同傳翻譯、多模態翻譯、預訓練方法、領域適配問題、質量估計、自動後處理、推導雙語詞典以及詩歌翻譯。
  • 谷歌翻譯高勤:神經網絡技術將主導機器翻譯的未來
    谷歌翻譯研發科學家高勤　　中國網科技7月11日訊 谷歌翻譯研發科學家高勤在今天舉行的中國網際網路大會上介紹稱，谷歌翻譯在神經網絡機器翻譯技術上已經取得重要進展，並同時對機器翻譯技術在未來當中實際應用。他表示：「神經網絡機器翻譯和非專業人工翻譯已經相當接近，對於中英文互譯也取得最大提升。」　　高勤在大會上稱，神經網絡翻譯技術與傳統翻譯技術有很大不同。傳統機器翻譯技術是基於短語統計機器翻譯拼圖過程，嘗試找出較好翻譯選項，而神經網絡機器學習屬於利用雲語言與目標語言信息，使整各翻譯過程變得連續且完整。
  • ...谷歌神經機器翻譯再突破:實現高質量多語言翻譯和zero-shot翻譯
    》，介紹了谷歌的神經機器翻譯系統（GNMT），該系統實現了機器翻譯領域的重大突破，參見報導《重磅 | 谷歌翻譯整合神經網絡：機器翻譯實現顛覆性突破》。昨日，谷歌再發論文宣布了其在多語言機器翻譯上的突破：實現了 zero-shot 翻譯！昨天，谷歌在其官方博客上宣布其在谷歌翻譯（Google Translate）上再次取得重大進展。
  • 谷歌發布神經機器翻譯,翻譯質量接近筆譯人員
    據外媒報導，谷歌於昨日發布了網頁版本和移動版本的谷歌翻譯。在漢譯英的過程中，谷歌翻譯會採用全新的神經機器翻譯機制，而這個App每天要進行一千八百萬次這樣的翻譯。此此外，谷歌針對這個神經機器翻譯系統的運作原理，專門發表了一篇學術論文。早前，谷歌就曾表示過，他們在谷歌翻譯中運用了神經網絡技術，但只限於實時視覺翻譯這個功能。前段時間，谷歌一名叫Jeff Dean的高級員工曾經告訴VentureBeat，谷歌已經在嘗試把越來越多的深度學習功能和機制融入到谷歌翻譯中。
  • 谷歌發布神經機器翻譯:翻譯質量接近筆譯人員
    據外媒報導，谷歌於昨日發布了網頁版和移動版的谷歌翻譯。在漢譯英的過程中，會採用全新的神經機器翻譯，而這個App每天要進行一千八百萬次這樣的翻譯。此外，谷歌針對這個翻譯系統的運作原理，發表了一篇學術論文。早前，谷歌就曾表示它們在谷歌翻譯中運用了神經網絡技術，但只限於實時視覺翻譯這個功能。
  • EMNLP 2019論文分享|神經網絡機器翻譯多智能體聯合學習模型
    EMNLP 2019收錄論文分享《Multi-agent Learning for Neural Machine Translation》。在此背景下，百度翻譯團隊近期提出業內首個神經網絡機器翻譯多智能體聯合學習模型（MAL），顯著提升了單智能體的學習能力，在多個機器翻譯測試集合上刷新了當前最好結果（SOTA）。
  • 深度| 逐層剖析,谷歌機器翻譯突破背後的神經網絡架構是怎樣的?
    選自SMERITY機器之心編譯谷歌神經機器翻譯（GNMT）論文《Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》描述了一種將深度學習融入產品的有趣方法。該論文和架構是不標準的，在很多情況下偏離學術論文中的架構。
  • 翻譯界的重大突破——谷歌翻譯整合神經網絡,翻譯質量接近人工筆譯...
    System: Bridging the Gap between Human and Machine Translation》介紹谷歌的神經機器翻譯系統（GNMT），當日機器之心就對該論文進行了摘要翻譯並推薦到網站（www.jiqizhixin.com）上。
  • ACL 2019最佳論文出爐:華人團隊包攬最佳長短論文一作
    這篇文章研究了應該如何彌合神經機器翻譯（NMT）訓練和推理之間的差距。神經機器翻譯(NMT)是根據上下文內容預測下一個詞的一種方式，推理過程遵循從頭開始、按順序生成整個序列。這就導致由於上下文都未標註產生的累積誤差。
  • 谷歌用神經機器系統把漢語翻譯成英語 錯誤率最高下降85%
    新浪科技訊 北京時間9月28日上午消息，谷歌今天宣布，網絡和移動版的谷歌翻譯現在使用新的神經機器翻譯系統，並用於漢譯英，目前，谷歌翻譯應用每天翻譯約1800萬次。谷歌也在發布一篇關於該方法的學術論文。 此前谷歌也曾表示在谷歌翻譯中使用神經網絡，但具體用於實時視頻翻譯功能。
  • 深度神經網絡機器翻譯
    今天有時間和大家一起討論下下， 深度神經網絡機器翻譯。前言2016年年底， Google公布了神經網絡機器翻譯（GNMT）， 從此宣告， 機器翻譯經過27年左右， 正式從1989年的IBM機器翻譯模型(PBMT，基於短語的機器翻譯)，過渡到了神經網絡機器翻譯模型。已經極大接近了普通人的翻譯了。
  • 谷歌的神經翻譯系統意味著機器翻譯到盡頭了?
    第三就是機器翻譯在技術實際上是通用的，其實它是個一般性的原理，可以放到很多的領域，所以我會講應用拓展，用計算機自動創作古詩為例。後面是幾句結束的話。谷歌前幾個月發布了新的機器翻譯系統，這個系統實際上是完全基於深度神經網絡的一個系統。
  • ACL論文 | 深度學習大神新作,神經網絡的自然語言翻譯應用
    Manning進行了關於神經機器翻譯（NMT）的講座。神經機器翻譯是一種簡單的新架構，可以讓機器學會翻譯。該方法雖然相對較新，已經顯示出了非常好的效果，在各種語言對上都實現了最頂尖的表現。神經網絡在自然語言處理方面，未來有巨大的應用潛力。
  • 將科幻變成現實,谷歌百度用神經機器翻譯踐行人類的「巴別塔之夢」
    變革性的神經機器翻譯去年，谷歌提出了GNMT，神經機器翻譯（NMT: Neural Machine Translation）是一種用於自動翻譯的端到端的學習方法，該方法有望克服傳統的基於短語的翻譯系統的缺點。但 NMT 系統的訓練和翻譯推理的計算成本非常高，同時也難以應對罕見詞，這些問題阻礙了 NMT 在實際部署和服務中的應用，因為在實際應用中，準確度和速度都很關鍵。
  • 機器翻譯VS人工翻譯:二者關係究竟如何?
    就目前在線翻譯而言，美國的谷歌翻譯可提供100多種語言（包括不少小語種）之間的即時翻譯，支持任意兩種語言之間的字詞、句子、文本和網頁翻譯。但谷歌在文本和網頁翻譯方面的譯文質量都不是很高，離理想的目標（即達到高級譯員的翻譯水準）仍相差甚遠，譯後人工審校和修改的工作量甚大；而其他機器翻譯系統也存在同樣的問題。
  • ACL2019最佳論文獎出爐,華人包攬眾多獎項
    ACL2019最佳論文出爐，共八篇文章獲獎。
  • 9篇論文、12個workshop、2個Tutorial,谷歌是 ACL 2017上亮眼的...
    論文中還詳盡對比了不同的 LSTM 方法，對語言學分析會如何影響模型表現提出了有趣的見解。with Weak Supervision神經象徵機器：通過弱監督學習Freebase中的語義分析器論文簡介：利用神經網絡的統計能力做語言理解和象徵推理是很難的，這需要神經網絡在大規模知識資料庫中執行高效的集成操作。
  • 重磅| Facebook提出全新CNN機器翻譯:準確度超越谷歌而且還快九倍...
    Dauphin機器之心編譯參與：吳攀、微胖、蔣思源去年穀歌在機器翻譯上取得了連續不斷的突破，谷歌的方法用到了文本處理慣用的循環神經網絡。近日，Facebook 也宣布在神經機器翻譯上取得了重大進展，在超過了去年穀歌研究的水平的同時還實現了顯著的速度提升。而和谷歌的方法不一樣，Facebook 的方法採用了一種完全基於卷積神經網絡的架構。
  • Facebook提出全新CNN機器翻譯:準確度超越谷歌而且還快九倍(已開源)
    去年穀歌在機器翻譯上取得了連續不斷的突破，參閱《重磅 | 谷歌翻譯整合神經網絡：機器翻譯實現顛覆性突破》和《重磅 | 谷歌神經機器翻譯再突破：實現高質量多語言翻譯和 zero-shot 翻譯》。谷歌的方法用到了文本處理慣用的循環神經網絡。近日，Facebook 也宣布在神經機器翻譯上取得了重大進展，在超過了去年穀歌研究的水平的同時還實現了顯著的速度提升。
  • ACL 2019 知識圖譜的全方位總結
    值得一提的是，在本屆ACL中熱門話題（例如BERT系列、Transformers、機器翻譯等）受到熱烈關注，但除此之外還有一些新的趨勢，例如對抗學習、自然語言生成、知識圖譜等。以知識圖譜為例，本次會議中共有30篇接收論文，大約佔了所有接收論文的5%。會後總結是優秀學者的必要行動。隨著ACL會議的結束，在網上已經先後出現了多篇關於ACL大會上各細分領域的總結文章。