谷歌翻譯裡程碑:基於單一模型的 Zero-Shot 系統正式上線

2020-12-11 雷鋒網

在過去的十年裡,谷歌翻譯(Google Translate)從最初僅支持幾種語言發展到今天的 103 種,每天翻譯的字詞超過 1400 億個。為了做到這一點,在任意兩種語言之間,谷歌翻譯都要運行多個翻譯系統,這帶來巨大的計算成本。如今,許多領域都正在被神經網絡技術顛覆。谷歌確信他們可以利用神經網絡進一步提升翻譯質量。這要求谷歌重新思考谷歌翻譯的算法架構。

今年九月,谷歌發表聲明,基於神經機器翻譯的谷歌翻譯全新上線。(GNMT,Google Neural Machine Translation)。神經機器翻譯是端到端的學習架構,它能從數百萬的實例中學習,提供大幅提升的翻譯效果。雖然功能得到了改善,但是讓谷歌翻譯把當下支持的 103 種語言全部採用神經機器翻譯技術,卻是一項巨大的挑戰。

一周前,谷歌的工程師門發表了一篇論文 「谷歌的多語言神經機器翻譯系統:使 Zero-Shot  翻譯成為可能」(「Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation」),雷鋒網(公眾號:雷鋒網)在論文發表後第一時間做了覆蓋。其中,Zero-Shot 翻譯是指在完成語言 A 到語言 B 的翻譯訓練之後,語言 A 到語言 C 的翻譯不需要再經過任何學習。 它能自動把之前的學習成果轉化到翻譯任意一門語言,即便工程師們從來沒有進行過相關訓練。

通過 Zero-Shot,谷歌解決了把神經機器翻譯系統擴展到全部語言的難題。有了它,一套系統就可以完成所有語言的互翻。從前兩種語言之間都需要多個翻譯系統的情況,從此成為了歷史。這套架構在翻譯其他語言時,不需要在底層 GNMT 系統做任何改變。只需在輸入語句的開頭插入一個輸出語種標記,就可以把結果翻譯為任意語言。

下面這幅動圖對該 Zero-Shot 系統的運作做了示意。


假設谷歌訓練該系統做日語英語、韓語英語的互譯,圖中用藍色實線來代表。 GNMT 系統就可以分享這四組翻譯(日英,英日,韓英,英韓)的參數。這允許它把任意一組語言的翻譯經驗轉到其他語言上去。學習成果轉移和多語言翻譯的要求,迫使該系統更好地使用建模的能力。

這啟發了工程師們設想:我們能否讓系統翻譯一組它從來沒有翻譯過的語言?這可以用韓語日語互譯的例子來說明。雖然該系統從未處理過韓日互譯,但它利用之前的韓英、日英翻譯學習成果,能進行水平不錯的韓日互譯。谷歌把這個過程稱為 「zero-shot」 翻譯,圖中用黃虛線表示。谷歌宣稱,這是世界上首例應用在機器翻譯上的學習成果轉移。

Zero-shot 翻譯的成功帶來了另外一個重要問題:這個系統是否在學習語言的通用表達(不管是翻譯成什麼語種,相同含義的語句都被系統使用相似的表達方式)?——類似於「國際語」或者中介語言?工程師們使用了 3D 圖像展示系統的內部網絡數據,以了解它在處理日、韓、英的任意互譯組合時是如何運作的。

上方圖片 a 部分(左)展示了這些翻譯的幾何結構。意義一致的語句用顏色相同的點代表。比方說,英譯韓和日譯英的兩句話如果意思一致,就會是圖上顏色相同的兩個點。通過這種方式,我們可以很容易地區分不同顏色(含義)的點。b 部分放大了紅色區的點,c 部分則對源語言進行區分。在同一組顏色的點裡,我們看到含義相同但從屬不同語種的句子。這意味著該系統必然對句子的語義進行了編碼,而不是記憶一個短語到另一個短語的翻譯。谷歌的工程師把這看作是系統中存在中介語言的標誌。

谷歌在論文裡面展示了更多的分析結果。他們希望這些發現不但對機器學習和機器翻譯的研究人員們有用處,也能對語言學家和對單一系統怎麼處理多語言學習感興趣的人有價值。

今日 (美國時間 11 月 22 日),基於 Zero-Shot 的多語言神經機器學習系統正式登陸谷歌翻譯。它目前被應用於新增加的 16 個語言組中的 10個,帶來更高的翻譯質量和簡化的系統架構。我們可以期待在不久的將來,該系統會逐步支持更多的谷歌翻譯語種。

via googleblog

【招聘】雷鋒網堅持在人工智慧、無人駕駛、VR/AR、Fintech、未來醫療等領域第一時間提供海外科技動態與資訊。我們需要若干關注國際新聞、具有一定的科技新聞選題能力,翻譯及寫作能力優良的外翻編輯加入。工作地點深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實習均可。

推薦閱讀:

谷歌神經翻譯又有新進展,基於單一模型無須訓練

號稱要砸翻譯飯碗,神經機器翻譯哪家強?

嚇到我們的新Google翻譯,在學者看來只是小進步

谷歌機器翻譯取得顛覆性突破 到底幾分真假?

漲姿勢!如何評價Google神經機器翻譯(GNMT)系統?

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 【重磅】谷歌發布 Zero-Shot 神經機器翻譯系統:AI 巴別塔有望成真
    系統可以實現「零數據翻譯」,即能夠在從來沒有見過的語言之間進行翻譯,這意味著傳說中的「巴別塔」有望成真。 【導讀】谷歌今日更新博客,介紹了谷歌神經機器翻譯系統重大更新,實現了用單一模型對多語種通用表徵。
  • 機器翻譯裡程碑!谷歌上線Zero-Shot翻譯系統
    谷歌近期將谷歌翻譯升級成谷歌深度學習神經機器翻譯系統(Google Neural Machine Translation ,GNMT),為通過人工智慧提升谷歌翻譯能力鋪平了道路。此前,Google Brain-谷歌翻譯研發團隊,研究出一種機器翻譯的自學方法,即所謂的「Zero-Shot翻譯」。
  • ...谷歌神經機器翻譯再突破:實現高質量多語言翻譯和zero-shot翻譯
    》,介紹了谷歌的神經機器翻譯系統(GNMT),該系統實現了機器翻譯領域的重大突破,參見報導《重磅 | 谷歌翻譯整合神經網絡:機器翻譯實現顛覆性突破》。昨日,谷歌再發論文宣布了其在多語言機器翻譯上的突破:實現了 zero-shot 翻譯!昨天,谷歌在其官方博客上宣布其在谷歌翻譯(Google Translate)上再次取得重大進展。
  • 谷歌翻譯裡程碑:工智能神經網絡翻譯支持103種語言,翻譯字詞超過...
    OFwek機器人網訊:在過去的十年裡,谷歌翻譯(Google Translate)從最初僅支持幾種語言發展到今天的103種,每天翻譯的字詞超過1400億個。為了做到這一點,在任意兩種語言之間,谷歌翻譯都要運行多個翻譯系統,這帶來巨大的計算成本。如今,許多領域都正在被神經網絡技術顛覆。
  • 谷歌推出基於注意機制的全新翻譯框架,Attention is All You Need!
    2006 年Google團隊改進了——統計機器翻譯(statistical machine translation),並宣布上線Google Translate翻譯功能。當時的核心技術 「統計機器翻譯」的基本思想是通過對大量平行語料進行統計分析、構建統計翻譯模型、進而使用此模型進行翻譯。簡單來說,你可以認為這個翻譯系統是基於短語翻譯的。
  • 聊聊zero-shot learning 和 one-shot learning
    首先來看一篇比較經典的zero-shot learning相關的paper (http://101.96.10.65/www.cs.cmu.edu/afs/cs/project/theo-73/www/papers/zero-shot-learning.pdf)。這篇paper是NIPS 2009中的一篇論文,作者來自CMU,Intel及多倫多大學。
  • 谷歌推出Zero-Shot翻譯技術 解決一對多難題
    谷歌翻譯的語言種類數量已經上升到了103種,現在它平均每天要翻譯超過1400億個詞。
  • 40種語言、9項推理任務,谷歌發布新的NLP基準測試XTREME
    為了使用XTREME評估模型性能,首先需要使用引起跨語言學習的目標語言在多語言文本上對模型進行預訓練,接著在指定任務的英語數據上對模型進行微調。隨後,XTREME 在目標語言上評估模型的zero-shot跨語言遷移性能。
  • 谷歌翻譯是如何藉助多項新興AI技術提高翻譯質量的
    在一篇即將正式發表的博客文章中,該公司詳細介紹了助力提升谷歌翻譯(Google Translate)所支持的108種語言翻譯質量的新創新技術(特別是缺乏語料數據的約魯巴語和馬拉雅拉姆語)。谷歌翻譯服務平均每天翻譯1500億個單詞。自谷歌翻譯首次亮相以來的13年裡,神經機器翻譯、基於重寫的範式和設備端處理等技術的出現和改進,助力該平臺的翻譯準確性取得不小的飛躍。
  • 揭秘谷歌翻譯:如何藉助多項新興 AI 技術提高翻譯質量
    谷歌稱,它在翻譯領域所取得的突破並不是由單一技術驅動的,而是針對低資源語言、高資源語言、總體質量、延遲和整體推理速度的多項技術共同作用產生的。在2019年5月到2020年5月之間,根據人工評估和BLEU(基於翻譯系統翻譯和人工參考翻譯之間相似性的衡量標準),谷歌翻譯在所有語言中平均提高了5分以上,在50種語料資源最少的語言中平均提高了7分以上。
  • 谷歌揭秘自家翻譯系統:如何利用AI技術提高翻譯質量
    目前谷歌翻譯可支持108種語言,平均每天翻譯1500億個單詞。  谷歌翻譯最早亮相於2006年,在過去的13年間,翻譯水平有了重大飛躍。谷歌表示,其翻譯突破並不是由單一技術推動的,而是針對低資源語言、高資源語言、總體質量、推理速度等一系列技術組合的突破。
  • 覆蓋40種語言:谷歌發布多語言、多任務NLP新基準XTREME
    之後,XTREME 會評估這些模型的 zero-shot 跨語言遷移性能,包括在其他沒有任務特定數據的語言中。下圖展示了「預訓練-微調-zero-shot 遷移」的過程:模型的跨語言遷移學習過程:1、針對多語言文本的預訓練;2、使用英語對下遊任務進行微調;3、使用 XTREME 進行 zero-shot 評估。
  • 谷歌推出了基於注意機制的全新翻譯框架!
    谷歌最近與多倫多大學等高校合作發表論文,提出了一種新的網絡框架——Transformer。Transformer是完全基於注意力機制(attention  mechanism )的網絡框架,放棄了RNN和CNN模型。
  • 如何評價OpenAI最新的工作CLIP:連接文本和圖像,zero shot效果堪比ResNet50?
    如果要對比這個方法和傳統圖像分類方法,那麼優缺點都是比較明顯的:最後再說一些擴展的觀點:1.千萬不要被它zero-shot的能力嚇到,這不是真正的zero-shot!我直覺地認為文本預訓練特徵比視覺預訓練特徵更可靠,但是作者卻放棄了OpenAI祖傳的超大的文本預訓練模型,令人略感意外。尤其是,NLP的預訓練模型體量遠超視覺預訓練模型,所以固定文本模型,也許是更實用的方法?3.最讓我感興趣的問題,是圖像和文本之間的交互方式。
  • 谷歌同志是位好「翻譯」!
    既然GNMT是通過應用基於實例的的機器翻譯方法來改進翻譯質量,那麼系統就需要會從數百萬個乃至更多的示例中學習,從這些來源中推斷出最相關的翻譯,然後將結果重新排列並組成基於符合人類語言的語法翻譯。這也就意味著,當GNMT進行學習時,需要目標語言有大量文本數據。
  • 重建「巴別塔」:谷歌推出全新端到端語音翻譯系統
    要將一個外國人說的話翻譯成本國文字,通常需要兩種機器學習模型:語音識別和文本翻譯。最近,谷歌提出的 Translatotron 模型創造性地實現了單一模型端到端(End-to-End)的直接語音翻譯。不僅如此,它還可以保留說話人的聲音特徵輸出語音,實現最直接的翻譯。
  • XLM —— 基於BERT的跨語言模型
    這個模型在跨語言分類任務(15個語言的句子蘊含任務)上比其他模型取得了更好的效果,並且顯著提升了有預訓練的機器翻譯效果。背景XLM基於幾個核心概念:Transformers, Google 在2017年提出的一種能夠同時處理輸入文本並且學到詞語上下文聯繫的注意力機制。
  • 首套漢文與民族文智能翻譯系統上線
    原標題:首套漢文與民族文智能翻譯系統上線 國家民委日前公布,由東北大學信息學院計算機軟體所朱靖波教授帶領的團隊與中國民族語文翻譯局共同研發的漢文與民族文智能翻譯系統正式上線試運行。該系統採用了朱靖波團隊自主研發的NiuTrans翻譯引擎,可實現漢文與蒙古、藏、維吾爾、哈薩克、朝鮮等5種民族文的智能翻譯,可進一步提高民族語文翻譯工作的信息化水平,更好地為民族語文翻譯工作服務。
  • 谷歌發布Translatotron直接語音翻譯系統
    讓說不同語言的人更容易地、直接地相互交流,這是語音到語音的翻譯系統(Speech-to-speech translation)的目的,這樣的系統在過去幾十年裡取得了不錯的進展。  今天,谷歌發布Translatotron語音翻譯系統,這是第一個可以直接將一個人的聲音從一種語言轉換成另一種語言,同時保持說話人的聲音和節奏的翻譯模型。
  • Facebook提出全新CNN機器翻譯:準確度超越谷歌而且還快九倍(已開源)
    去年穀歌在機器翻譯上取得了連續不斷的突破,參閱《重磅 | 谷歌翻譯整合神經網絡:機器翻譯實現顛覆性突破》和《重磅 | 谷歌神經機器翻譯再突破:實現高質量多語言翻譯和 zero-shot 翻譯》。谷歌的方法用到了文本處理慣用的循環神經網絡。近日,Facebook 也宣布在神經機器翻譯上取得了重大進展,在超過了去年穀歌研究的水平的同時還實現了顯著的速度提升。