漲姿勢!如何評價Google神經機器翻譯(GNMT)系統?

2021-01-12 雷鋒網

Google最新宣布發布穀歌神經機器翻譯(GNMT:Google Neural Machine Translation)系統,在官方博客中Google稱該系統使用了當前最先進的訓練技術,能夠實現到當下機器翻譯質量上最大的提升。

聽上去十分令人激動,不是嗎?

有從事翻譯職業的網友甚至這樣形容:

作為翻譯,看到這個新聞的時候,我理解了18世紀紡織工人看到蒸汽機時的憂慮與恐懼。

真有這麼可怕嗎?讓我們先來回顧下Google Translate的發展歷程。

| Google Translate發展歷程:

在2006 年Google團隊改進了——統計機器翻譯(statistical machine translation),並宣布上線Google Translate翻譯功能。

其中,Google Translate的核心技術 「統計機器翻譯」其基本思想是通過對大量平行語料進行統計分析、構建統計翻譯模型、進而使用此模型進行翻譯。簡單來說,Google Translate 在生成譯文時,會在大量人工翻譯的文檔中查找各種模型,進行合理的猜測,從而得到恰當的翻譯。

當時之所以採用「統計翻譯模型」的一個重要原因就是 Google 的雲計算架構。機器翻譯需要海量的數據存儲空間以及高效的運算能力,而 Google 擁有 GoogleMapReduce(分布式計算系統)和 BigTable(分布式存儲系統),恰好滿足了這兩方面需求。

幾年前,Google開始使用循環神經網絡來直接學習一個輸入序列(如一種語言的一個句子)到一個輸出序列(另一種語言的同一個句子)的映射。

其中基於短語的機器學習(PBMT)將輸入句子分解成詞和短語,然後對它們的大部分進行獨立翻譯,而神經網絡機器翻譯(NMT)則將整個輸入句子視作翻譯的基本單元。

這種方法的優點是:相比之前的基於短語的翻譯系統,這種方法所需的調整更少。

首先,該網絡將這句中文的詞編碼成一個向量列表,其中每個向量都表示了到目前為止所有被讀取到的詞的含義(編碼器「Encoder」)。一旦讀取完整個句子,解碼器就開始工作——一次生成英語句子的一個詞(解碼器「Decoder」)。為了在每一步都生成翻譯正確的詞,解碼器重點注意了與生成英語詞最相關編碼的中文向量的權重分布(注意「Attention」;藍色連線的透明度表示解碼器對一個被編碼的詞的注意程度)。

通過維基百科和新聞網站的例句測定發現:在多個樣本的翻譯中,神經網絡機器翻譯系統將誤差降低了 55%-85%甚至以上。

| 各方對此評價:

知乎網友Jacob Wu對此評價十分正面:

這個是基於Yoshua Bengio團隊兩年前的研究做出的成果。目前從中文翻譯到英文,線上系統已經使用了文章中所述的系統。我實際體驗了一下這個系統,明顯超出我的預期,非常牛!

另外一位知乎網友蕭瑟則表示:

百度在1年半前就已經上線了基於attention機制的神經網絡機器翻譯,和google一樣都是基於Yoshua Bengio組2015年的paper做的改進。

Google的方法看起來基本是這幾年學術界paper的組合,包括converage,subword,residual多層等等,並沒有特別明顯的創新。不過google機器翻譯組的迭代實驗能力真心很強,這個不能不服。而且有足夠多的gpu機器把8層神經網絡的模型線上化,也充分體現了google有多麼的土豪。

我們另外有諮詢前百度主任架構師、驀然認知創始人戴帥湘,他對此評價是:

這個方法是新的,但是應該去年還是前年論文就出來了。以前是基於短語的翻譯,這個方法直接用待翻譯的句子來預測目標語言中的詞,去年大家就都用這個方法了,但是效果沒有宣傳的那麼好。對於Google這次發布的新系統,個人猜測Google的語料更大,計算能力強,神經網絡訓練的細節做了比較好的優化,集成了學術上最近一些新改進,理論框架上應該沒什麼大的變化。

但是其在工程上意義很大,以前的方法訓練起來比較辛苦,需要做很多預處理,需要分詞,然後特徵設置也要人為制定一些針對語言特性的,特別是詞對齊本身就比較複雜;採用NN(神經網絡)以後就變得比較簡單的,上述那些預處理基本都沒有了,甚至都不需要分詞,按字做也行。

另外現在主流是NN(神經網絡),既然NN也能達到效果,顯然用主流方法更經濟。

| 實際效果:

目前Google Translate已在中英翻譯系統中上線,在實際使用過程中比傳統的機翻體驗好上不少。但是我們有注意到這個情況,加上語助詞之後,原本的翻譯效果大打折扣。


對此,驀然認知創始人戴帥湘的觀點是:

針對上面的例子,我個人是這樣理解的,NMT在用平行句對訓練的時候,把輸入的源語言句子用向量進行描述,通過一個編碼用的神經網絡轉成隱層的向量表示,然後對這個隱層用另外一個神經網絡進行解碼,得到目標語言的向量表示。這個過程純粹是一個擬合函數的過程,即使源語言句子語義一樣,而如果字面有所差異的話,通過這個「擬合函數」映射過去得到的目標語言差異也會很大,所以會出現明明意思沒變,但是加了幾個無關緊要的字或者詞,翻譯過去的句子意思就會變化很大。

如果用基於短語對齊的翻譯模型,在對齊的時候通過引入一些基本的語言特性,或者詞語重要性識別方法,就可以避免這個問題,這也是NMT的缺陷所在,不能很好地引入語言本身的一些特性,如構詞和句法等。

我看過一些試驗數據,基於短語的統計機器翻譯我比較熟悉和完全基於NN的效果沒有特別大的差距。同樣語料訓練的話基於NN的有所提升,但不很顯著。

| 總結:

對於Google最新發布的神經機器翻譯(GNMT)系統,我們要充分肯定其在機器翻譯上的進步。在同等語料的情況下,相較於基於短語的統計機器翻譯,神經機器翻譯(GNMT)系統能在更少工程量的基礎上實現相同的效果。但是其純粹把輸入的句子當做一個序列(理論上任意符號序列都可以),不考慮這個句子本身作為語言的特性,生成的內容可能會比較奇怪,難以控制,錯誤的結果也難以解釋。

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 谷歌開放GNMT教程:如何使用TensorFlow構建自己的神經機器翻譯系統
    選自谷歌機器之心編譯參與:機器之心編輯部近日,谷歌官方在 Github 開放了一份神經機器翻譯教程,該教程從基本概念實現開始,首先搭建了一個簡單的NMT模型,隨後更進一步引進注意力機制和多層 LSTM 加強系統的性能,最後谷歌根據 GNMT 提供了更進一步改進的技巧和細節,這些技巧能令該NMT系統達到極其高的精度。
  • 谷歌發布神經機器翻譯,翻譯質量接近筆譯人員
    據外媒報導,谷歌於昨日發布了網頁版本和移動版本的谷歌翻譯。在漢譯英的過程中,谷歌翻譯會採用全新的神經機器翻譯機制,而這個App每天要進行一千八百萬次這樣的翻譯。此外,谷歌針對這個神經機器翻譯系統的運作原理,專門發表了一篇學術論文。
  • 重磅| 谷歌神經機器翻譯再突破:實現高質量多語言翻譯和zero-shot...
    》,介紹了谷歌的神經機器翻譯系統(GNMT),該系統實現了機器翻譯領域的重大突破,參見報導《重磅 | 谷歌翻譯整合神經網絡:機器翻譯實現顛覆性突破》。這家搜索巨頭表示現在已經將神經機器翻譯(neural machine translation)集成到了其網頁版和移動版的翻譯應用之中,這意味著它可以一次性翻譯一整段句子,而不只是像之前一樣只能一個詞一個詞地翻譯。谷歌在其產品博客中表示,其產品的翻譯結果現在變得更加自然,能夠實現更好的句法和語法。
  • 谷歌機器翻譯取得顛覆性突破 到底幾分真假?
    ,然後對它們的大部分進行獨立翻譯,而神經機器翻譯則將整個輸入句子視作翻譯的基本單元。原來seq2seq優化的是當前詞翻譯的好不好(也叫作ML Loss),此時,直接優化我所翻譯的句子好不好。3. 谷歌神經機器翻譯錯誤率下降最高達87%是如何算出來的?
  • 神經結構搜索在機器翻譯中的應用
    ,研究方向包括神經網絡結構搜索、機器翻譯。    東北大學自然語言處理實驗室由姚天順教授創建於 1980 年,現由朱靖波教授、肖桐博士領導,長期從事計算語言學的相關研究工作,主要包括機器翻譯、語言分析、文本挖掘等。團隊研發的支持140種語言互譯的小牛翻譯系統已經得到廣泛應用。
  • AlphaGo 神經網絡應用於 Google 翻譯,將接近人類水平
    AlphaGo 神經網絡應用於 Google 翻譯,將接近人類水平 那個支持 AlphaGo 贏得圍棋比賽的深度神經網絡如今又要有新的表現,Google 即將把它應用於
  • Transformer新型神經網絡在機器翻譯中的應用|公開課筆記
    關注AI的同學最近應該會看到,機器翻譯是一個比較活躍的領域,很多大公司都爭先推出了自己的機器翻譯服務,包括還有一些機器翻譯的硬體已經在市場上投放,比如翻譯筆。產業的興旺離不開背後技術的巨大進步,從今天的課程當中,我會給大家介紹背後技術的神秘面紗,然後對Transformer這個神經網絡做深入的解析。
  • 機器翻譯七十年:百度領跑神經網絡翻譯時代
    TechWeb報導 機器翻譯距今已有70年的發展歷史。自上世紀40年代起,基於規則、實例以及統計的機器翻譯方法漸次登場,各領風騷。
  • 搜狗機器翻譯團隊獲得 WMT 2017 中英機器翻譯冠軍
    搜狗語音交互技術中心代表搜狗參加了這次含金量極高的比賽,該中心研發的搜狗神經網絡機器翻譯(Sogou Neural Machine Translation)系統在「中文-英文」機器翻譯任務中獲得了冠軍。這個系統採用了哪些新方法、新結構,又為我們提供了哪些新思路?讓我們結合論文聊一聊 Sogou NMT。WMT 是機器翻譯領域的國際頂級評測比賽之一。
  • 哈佛大學 NLP 組開源神經機器翻譯系統 OpenNMT
    今天,Harvard NLP (哈佛大學自然語言處理研究組) 宣布開源其研發的神經機器翻譯系統 OpenNMT,該系統使用了 Torch 數學工具包,已達 industrial-strength
  • 谷歌正式推出神經翻譯 翻譯水平遠超過去十年
    用谷歌翻譯常出錯,譬如......完全不懂怎麼會這樣,雖然我大天朝的文字遊戲的確複雜。 Google也一直在研究更準確的翻譯方式,最近Google正式啟用「神經網絡機器翻譯系統」。其最大特點在於,可以將句子視為一個整體進行翻譯,而非以往的將其拆分為詞和短語。同時,翻譯的精確度與流暢度也有所提升目前谷歌該系統支持八組語言的互譯,包括英語和法語、德語、西班牙語、葡萄牙語、中文、日語、韓語、土耳其語等。這包含了世界約三分之一人口的母語,佔到了谷歌翻譯查詢量的35%以上。
  • Google翻譯App更新:拍照就可翻譯!
    今天,Google翻譯App更新了!8年來,用戶可通過translate.google.cn訪問網頁版的Google翻譯,現在用戶還可下載Android和iOS版本應用。
  • 深度| 逐層剖析,谷歌機器翻譯突破背後的神經網絡架構是怎樣的?
    通過典型但計算密集型的調整,谷歌這個系統的重點是保證系統的實用性而並非追求頂尖結果。架構為了理解 GNMT 中使用的模型,我們將從傳統的編碼器-解碼器機器翻譯模型開始,持續變化該模型直到匹配 GNMT 中的模型。看起來,GNMT 進化的東西是改進準確率,同時維持實際產品化時的訓練與預測速度。
  • 一頭霧水的你進來漲漲漲漲漲姿勢
    一頭霧水的你進來漲漲漲漲漲姿勢時間:2020-10-03 15:59   來源:名資匯網   責任編輯:沫朵 川北在線核心提示:原標題:ky是什麼意思什麼梗? 一頭霧水的你進來漲漲漲漲漲姿勢 我想應該有許多人都是混飯圈的,那麼有的時候我們會在網絡上看到有人說你不要再ky了,這到底是什麼意思呢?
  • 微軟提出新型通用神經機器翻譯方法,挑戰低資源語言翻譯問題
    近日微軟發布博客,提出一種半監督通用神經機器翻譯方法,解決低資源語言機器翻譯的問題,幫助解決方言和口語機器翻譯難題。該研究相關論文已被 NAACL 2018 接收。機器翻譯已經成為促進全球交流的重要組成部分。
  • 百分點認知智能實驗室出品:機器翻譯是如何煉成的(下)
    在本篇文章中,我們將分享機器翻譯系統的理論算法和技術實踐,講解神經機器翻譯具體是如何煉成的。讀完本文,您將了解:  · 神經機器翻譯模型如何進化並發展成令NLP研究者萬眾矚目的Transformer模型;  · 基於Transformer模型,我們如何打造工業級的神經機器翻譯系統。
  • 谷歌神經網絡機器翻譯已支持英語與其他8種語言的互譯
    經過10年的發展, 谷歌翻譯已成為一個連接世界的重要工具,谷歌翻譯支持的語言已達到了103種。
  • BAT、谷歌、Facebook都在搞的神經機器翻譯,真的就地表最強了嗎?
    這期間發生的大事,是以神經網絡作為基礎的機器翻譯,開始在全面超越此前以統計模型為基礎的統計機器翻譯,並快速成為在線翻譯系統的主流標配。在這場革命之後,機器翻譯徹底進入了Neural Machine Translation,即NWT神經機器翻譯時代。很多人為此歡欣鼓舞。
  • 將科幻變成現實,谷歌百度用神經機器翻譯踐行人類的「巴別塔之夢」
    哈佛大學自然語言處理研究組(Harvard NLP)宣布開源了其研發的神經機器翻譯系統 OpenNMT,該系統已經達到生產可用的水平;來自愛丁堡大學、紐約大學等高校的研究人員共同發布的一篇論文提出了新的神經機器翻譯工具箱 Nematus,它在 WMT 和 IWSLT 的機器翻譯任務上取得了頂級表現,也已經被用來訓練產品環境下的系統;在去年的一篇論文《Learning to Translate
  • 機器翻譯與自動文摘評價指標 BLEU 和 ROUGE
    在機器翻譯任務中,BLEU 和 ROUGE 是兩個常用的評價指標,BLEU 根據精確率(Precision)衡量翻譯的質量,而 ROUGE 根據召回率(Recall)衡量翻譯的質量。1.機器翻譯評價指標使用機器學習的方法生成文本的翻譯之後,需要評價模型翻譯的性能,這就要用到一些機器翻譯評價指標,其中比較常見的評價指標有 BLEU 和 ROUGE。這兩個指標具有比較舊的歷史,BLEU 是 2002 年提出的,而 ROUGE 是 2003 年提出的。