重磅 谷歌神經機器翻譯再突破:實現高質量多語言翻譯和zero-shot翻譯(附論文)

2021-02-25 機器之心

9 月底，谷歌在 arXiv.org 上發表了論文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》，介紹了谷歌的神經機器翻譯系統（GNMT），該系統實現了機器翻譯領域的重大突破，參見報導《重磅 | 谷歌翻譯整合神經網絡：機器翻譯實現顛覆性突破》。昨日，谷歌再發論文宣布了其在多語言機器翻譯上的突破：實現了 zero-shot 翻譯！

昨天，谷歌在其官方博客上宣布其在谷歌翻譯（Google Translate）上再次取得重大進展。這家搜索巨頭表示現在已經將神經機器翻譯（neural machine translation）集成到了其網頁版和移動版的翻譯應用之中，這意味著它可以一次性翻譯一整段句子，而不只是像之前一樣只能一個詞一個詞地翻譯。

谷歌在其產品博客中表示，其產品的翻譯結果現在變得更加自然，能夠實現更好的句法和語法。

Google Translate 產品負責人 Barak Turovsky 在谷歌舊金山的一次新聞發布會上說：「這一次的進步超過了過去十年積累的總和。」

谷歌已經將自己的未來定義成了一家人工智慧和機器學習公司——使用這些技術的計算機無需特定的編程就能自己學習執行任務。谷歌雲部門（cloud division）的負責人 Diane Greene 總結說：「谷歌要將機器學習集成到每一種形式中，並將它帶給這個世界。」

谷歌在其博客中寫道：

今天我們宣布將神經機器翻譯集成到了總共八種語言的相互翻譯中，它們是：英語、法語、德語、西班牙語、葡萄牙語、漢語、日語、韓語和土耳其語。這些語言的母語總人口佔到了世界總人口的三分之一，覆蓋了谷歌翻譯 35% 以上的請求。

通過這一次更新，谷歌翻譯一次性提升的性能超過了過去十年進步的總和。但這只是一個開始。儘管我們目前在谷歌搜索、谷歌翻譯應用和網站上只有 8 種語言，但我們的目標是將神經機器翻譯擴展到所有 103 種語言，並讓你能隨時隨地都能接入到谷歌翻譯。

除此之外，谷歌今天還宣布了提供機器學習 API 的公共雲服務 Google Cloud Platform，「能讓任何人都輕鬆地使用我們的機器學習技術」。今天，Google Cloud Platform 也使神經機器翻譯背後的系統向谷歌的企業用戶開放了——谷歌提供了 Cloud Translation API：https://cloud.google.com/translate/


我們提出了一種使用單個神經機器翻譯（NMT）模型在多種語言之間進行翻譯的簡潔優雅的解決方案。我們的解決方案不需要對我們的基礎系統的模型架構進行修改，而是在輸入句子的一開始引入了一個人工 token 來確定所需的目標語言（required target language）。模型的其它部分（包含了編碼器、解碼器和注意（attention））保持不變，而且可以在所有語言上共享使用。使用一個共享的詞塊詞彙集（wordpiece vocabulary），我們方法能夠使用單個模型實現多語言神經機器翻譯（Multilingual NMT），而不需要增加參數，這比之前提出的 Multilingual NMT 方法簡單多了。我們的方法往往能提升所有相關語言對的翻譯質量，同時還能保持總的模型參數恆定。

在 WMT' 14 基準上，單個多語言模型在英語→法語翻譯上實現了與當前最佳表現媲美的結果，並在英語→德語翻譯上實現了超越當前最佳表現的結果。類似地，單個多語言模型分別在 WMT'14 和 WMT'15 基準上實現了超越當前最佳表現的法語→英語和德語→英語翻譯結果。在用於生產的語料庫上，多達 12 個語言對的多語言模型能夠實現比許多單獨的語言對更好的表現。

除了提升該模型訓練所用的語言對的翻譯質量之外，我們的模型還能執行在訓練過程中沒有明確遇見過的語言對之間的特定橋接（bridging），這表明用於神經翻譯的遷移學習（transfer learning）和 zero-shot 翻譯是可能的。

最後，我們展示了對我們模型中的通用語言間表徵（universal interlingua representation）的跡象的分析，還展示了一些將語言進行混合時的有趣案例。


圖 1：該 Multilingual GNMT 系統的模型架構。除了論文《Google's neural machine translation system: Bridging the gap between human and machine translation》中描述的，我們的輸入還有一個人工 token 來指示所需的目標語言。在這個例子中，token <2es> 表示目標句子是西班牙語的，而其源句子被逆向為一個處理步驟（processing step）。對於我們大部分的實驗而言，我們還使用了編碼器和解碼器之間的直接連接，儘管我們後來發現這些連接的影響是可以忽略不計的（但是一旦你使用這些進行訓練，它們也必須為了推理而存在）。該模型架構的其它部分與上述論文中的一樣。

©本文由機器之心編譯，轉載請聯繫本公眾號獲得授權。

✄---

加入機器之心（全職記者/實習生）：hr@almosthuman.cn

投稿或尋求報導：editor@almosthuman.cn

廣告&商務合作：bd@almosthuman.cn

相關焦點

  • 裡程碑式突破!谷歌神經機器翻譯系統 Zero-Shot 正式上線
    今年九月，谷歌發表聲明，基於神經機器翻譯的谷歌翻譯全新上線。（GNMT，Google Neural Machine Translation)。神經機器翻譯是端到端的學習架構，它能從數百萬的實例中學習，提供大幅提升的翻譯效果。雖然功能得到了改善，但是讓谷歌翻譯把當下支持的 103 種語言全部採用神經機器翻譯技術，卻是一項巨大的挑戰。
  • 【重磅】谷歌發布 Zero-Shot 神經機器翻譯系統:AI 巴別塔有望成真(附論文)
    【新智元導讀】谷歌今日更新博客，介紹了谷歌神經機器翻譯系統重大更新，實現了用單一模型對多語種通用表徵。這種新的模型體積不僅與多語言翻譯模型一樣，參數相同，而且速度更快、質量更高。不僅如此，系統還實現「零數據翻譯」，也即能夠在從來沒有見過的語言之間進行翻譯。這意味著傳說中的「巴別塔」有望成真。
  • 裡程碑式突破!谷歌神經機器翻譯系統Zero-Shot正式上線
    為了做到這一點，在任意兩種語言之間，谷歌翻譯都要運行多個翻譯系統，這帶來巨大的計算成本。如今，許多領域都正在被神經網絡技術顛覆。谷歌確信他們可以利用神經網絡進一步提升翻譯質量。這要求谷歌重新思考谷歌翻譯的算法架構。今年九月，谷歌發表聲明，基於神經機器翻譯的谷歌翻譯全新上線。（GNMT，Google Neural Machine Translation)。
  • 重磅 谷歌翻譯整合神經網絡:機器翻譯實現顛覆性突破(附論文)
    Human and Machine Translation》介紹谷歌的神經機器翻譯系統（GNMT），當日機器之心就對該論文進行了摘要翻譯並推薦到網站（www.jiqizhixin.com）上。自那時起，機器智能的快速發展已經給我們的語音識別和圖像識別能力帶來了巨大的提升，但改進機器翻譯仍然是一個高難度的目標。今天，我們宣布發布穀歌神經機器翻譯（GNMT：Google Neural Machine Translation）系統，該系統使用了當前最先進的訓練技術，能夠實現到目前為止機器翻譯質量的最大提升。
  • 谷歌發布 Zero-Shot 神經機器翻譯系統:AI 巴別塔有望成真
    為了實現這一點，我們需要構建和維護許多不同的系統，以便在任何兩種語言之間進行轉換，由此產生了巨大的計算成本。神經網絡改革了許多領域，我們確信可以進一步提高翻譯質量，但這樣做意味著重新思考谷歌翻譯背後的技術。今年 9 月，谷歌翻譯改為啟用谷歌神經機器翻譯（GNMT）的新系統，這是一個端到端的學習框架，可以從數百萬個示例中學習，並在翻譯質量方面有顯著提升。
  • 重磅 谷歌翻譯整合神經網絡:機器翻譯實現顛覆性突破,正確率最高87%(附論文)
    》介紹谷歌的神經機器翻譯系統（GNMT），以下是翻譯內容。今天，我們宣布發布穀歌神經機器翻譯（GNMT：Google Neural Machine Translation）系統，該系統使用了當前最先進的訓練技術，能夠實現到目前為止機器翻譯質量的最大提升。
  • 【乾貨】神經機器翻譯全流程解析,one-shot 和 zero-shot 學習成亮點
    .,2014;  Kalchbrenner and Blunsom, 2013] 等，解釋最基本的  encoder-decoder 模型。在 2015 年 Bahdanau et al.
  • 專訪 搜狗+NMT+團隊:神經機器翻譯將消除跨語言溝通障礙
    搜狗英文搜索可提供跨語言檢索功能，可自動將中文翻譯成英文進行查詢，再生成英文查詢結果。搜狗翻譯有望實現「多場景即時對話翻譯」機器之心：在更高層次上自然語音處理上，實現兩種語言的實時對話還需要多久？機器之心：相較於谷歌和百度的神經機器翻譯，搜狗這次發布的神經機器翻譯有哪些差異性的特徵？許靜芳：首先，對翻譯問題的理解、重視和投入問題，在不同的公司不同的階段是有差異的。其次，聚焦在技術上面，NMT 從發展到應用在商業系統裡也就這一、兩年左右的事情，本身這個技術正處在非常快速的迭代的過程中。
  • 教程 | 如何為神經機器翻譯配置編碼器-解碼器模型?
    幸好那些研究科學家可以使用谷歌提供那種大規模硬體設備來為我們完成這項工作，這也為我們了解如何為神經機器翻譯以及一般意義上的序列預測任務配置編碼器-解碼器模型提供了一些啟發。 在這篇文章中，你將讀到如何為神經機器翻譯以及其它自然語言處理任務最好地配置編碼器-解碼器循環神經網絡。
  • 【關注】谷歌翻譯實現重大突破!讀外語專業的同學方了嗎?
    谷歌翻譯實現重大突破！你們來感受下！
  • 谷歌翻譯竟預言世界末日,專家解密神經翻譯6大難題
    我們正在經歷世界上的戲劇性的發展，這表明我們越來越接近末日和耶穌的回歸。」這段驚悚的「預言」來自谷歌翻譯。2016年，谷歌宣布機器翻譯「重大突破」——神經機器翻譯（GNMT），將翻譯質量提高到接近人類筆譯的水平。然而，它將無意義的文本翻譯成怪異的宗教預言引起了新的恐慌。這次，要怪AI是「黑盒」，還是拖出谷歌員工來背鍋？
  • 語言溝通無障礙?機器翻譯來了!
    就是使用計算機把一種語言翻譯成另一種語言的一門學科。機器翻譯要遵循準確、通順、優美的基本原則，這個原則是我國清代思想家、翻譯家嚴復首先提出的。近年來，國內外著名高校、網際網路巨頭提出端到端的神經機器翻譯，引入注意力機制，使得基於深度學習的機器翻譯獲得重大突破，神經機器翻譯達到實用化階段。
  • 機器翻譯新突破:微軟中到英新聞翻譯達人類水平
    Menezes 稱研究團隊可以將這一技術突破應用於微軟的多語商用翻譯產品。這將為更準確、自然流暢的跨語言翻譯和更複雜或罕見的詞彙翻譯鋪平道路。對偶學習、推敲、聯合訓練和一致性正則化儘管學術和業界的研究者多年來一直在研究機器翻譯，但近期使用深度神經網絡訓練 AI 系統的方法取得了實質性的突破。
  • 專訪 谷歌神經網絡翻譯系統發布後,我們和Google Brain的工程師聊了聊
    Bridging the Gap between Human and Machine Translation》介紹谷歌的神經網絡翻譯系統（GNMT）後，「機器之心」第一時間進行了詳細的解讀和報導，重磅 | 谷歌翻譯整合神經網絡：機器翻譯實現顛覆性突破（附論文）。
  • 一周論文 神經網絡機器翻譯下的字符級方法
    在27號谷歌宣布推出谷歌神經網絡機器翻譯系統，實現了NMT的首個商業化部署，使得NMT真正從高校實驗室走向了實際應用。最後這個向量再通過兩層Highway layer的處理作為最終的word embeddings。這個方法的詳細信息可以參考Kim的論文Character-Aware Neural Language Models(2016)。
  • 清華大學開源神經機器翻譯工具包THUMT(附資源)
    [ 導讀 ]機器翻譯是自然語言處理的重要組成部分，其目的是使用計算機自動將文本翻譯成其他語言的形式。近年來，端到端的神經機器翻譯發展迅速，已經成為機器翻譯系統的新主流。近日，清華大學自然語言處理組發布了機器翻譯工具包 THUMT，為業內人士的研究和開發工作提供了便利。
  • Facebook上的機器翻譯也全面擁抱神經網絡了
    換句話說，Facebook目前開始使用卷積神經網絡（CNN）和遞歸神經網絡（RNN）去自動翻譯Facebook平臺上的內容。Facebook使用Caffe2深度學習框架來部署他們的神經機器翻譯，同時還把他們為這個項目開發的LSTM等RNN模塊作為Caffe2的組件開源出來。
  • 中到英新聞翻譯媲美人類,微軟機器翻譯新突破
    Menezes 稱研究團隊可以將這一技術突破應用於微軟的多語商用翻譯產品。這將為更準確、自然流暢的跨語言翻譯和更複雜或罕見的詞彙翻譯鋪平道路。對偶學習、推敲、聯合訓練和一致性正則化儘管學術和業界的研究者多年來一直在研究機器翻譯，但近期使用深度神經網絡訓練 AI 系統的方法取得了實質性的突破。
  • Google Translate重大突破——整個翻譯界的憂慮和恐懼!
    谷歌翻譯實現重大突破！你們來感受下！@咖喱枝葉外語系大學還沒畢業的開始害怕 @帥_路畢業論文英文版有救了！ 谷歌翻譯的重大突破是什麼？這一切是如何發生的？其實昨天谷歌就已經發表了相關論文，介紹了自己最新的神經機器翻譯系統（GNMT），以及新系統的工作原理。
  • 熱點 谷歌用神經機器系統把漢語翻譯成英語 錯誤率最高下降85%