一窺谷歌神經機器翻譯模型真面貌,其底層框架開源!

2020-12-14 雷鋒網

去年,谷歌發布了 Google Neural Machine Translation (GNMT),即谷歌神經機器翻譯,一個 sequence-to-sequence (「seq2seq」) 的模型。現在,它已經用於谷歌翻譯的產品系統。

雖然消費者感受到的提升並不十分明顯,谷歌宣稱,GNMT 對翻譯質量帶來了巨大飛躍。

但谷歌想做的顯然不止於此。其在官方博客表示:「由於外部研究人員無法獲取訓練這些模型的框架,GNMT 的影響力受到了束縛。」

如何把該技術的影響力最大化?答案只有一個——開源。

因而,谷歌於昨晚發布了 tf-seq2seq —— 基於 TensorFlow 的 seq2seq 框架。谷歌表示,它使開發者試驗 seq2seq 模型變得更方便,更容易達到一流的效果。另外,tf-seq2seq 的代碼庫很乾淨並且模塊化,保留了全部的測試覆蓋,並把所有功能寫入文件。

該框架支持標準 seq2seq 模型的多種配置,比如編碼器/解碼器的深度、注意力機制(attention mechanism)、RNN 單元類型以及 beam size。這樣的多功能性,能幫助研究人員找到最優的超參數,也使它超過了其他框架。詳情請參考谷歌論文《Massive Exploration of Neural Machine Translation Architectures》。

上圖所示,是一個從中文到英文的 seq2seq 翻譯模型。每一個時間步驟,編碼器接收一個漢字以及它的上一個狀態(黑色箭頭),然後生成輸出矢量(藍色箭頭)。下一步,解碼器一個詞一個詞地生成英語翻譯。在每一個時間步驟,解碼器接收上一個字詞、上一個狀態、所有編碼器的加權輸出和,以生成下一個英語詞彙。雷鋒網(公眾號:雷鋒網)提醒,在谷歌的執行中,他們使用 wordpieces 來處理生僻字詞。

據雷鋒網了解,除了機器翻譯,tf-seq2seq 還能被應用到其他 sequence-to-sequence 任務上;即任何給定輸入順序、需要學習輸出順序的任務。這包括 machine summarization、圖像抓取、語音識別、對話建模。谷歌自承,在設計該框架時可以說是十分地仔細,才能維持這個層次的廣適性,並提供人性化的教程、預處理數據以及其他的機器翻譯功能。

谷歌在博客表示:

「我們希望,你會用 tf-seq2seq 來加速(或起步)你的深度學習研究。我們歡迎你對 GitHub 資源庫的貢獻。有一系列公開的問題需要你的幫助!」

GitHub 地址:https://github.com/google/seq2seq

GitHub 資源庫:https://google.github.io/seq2seq/nmt/ 

via googleblog,雷鋒網編譯

相關文章:

谷歌翻譯App對中國用戶開放,不再需要VPN

Google Brain:NMT訓練成本太高?用大規模神經機器翻譯架構分析給出解決方案

漲姿勢!如何評價Google神經機器翻譯(GNMT)系統?

雷鋒網版權文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 谷歌開源神經機器翻譯技術,推出tf-seq2seq框架
    陳樺 編譯自 Google官方博客量子位 報導 | 公眾號 QbitAI谷歌研究軟體工程師、谷歌大腦團隊成員Anna Goldie和Denny Britz今天撰文,宣布在「谷歌神經機器翻譯」的基礎上推出開源框架tf-seq2seq,給外部研究人員提供幫助。
  • 資源| 清華大學開源神經機器翻譯工具包THUMT
    參與:李澤南機器翻譯是自然語言處理的重要組成部分,其目的是使用計算機自動將文本翻譯成其他語言的形式。近年來,端到端的神經機器翻譯發展迅速,已經成為機器翻譯系統的新主流。近日,清華大學自然語言處理組發布了機器翻譯工具包 THUMT,為業內人士的研究和開發工作提供了便利。
  • 亞馬遜開源神經機器翻譯框架Sockeye:基於Apache MXNet的NMT平臺
    隨著神經機器翻譯(NMT)技術的不斷演進,越來越多的科研機構和公司選擇開源自己的項目,讓更多人能夠開發出自己的 NMT 模型。此前,清華大學開源了神經機器翻譯工具包 THUMT,谷歌也推出了基於 TensorFlow 的 NMT 模型搭建教程。作為 MXNet 的支持者,亞馬遜也開源了自己的 NMT 框架 Sockeye。
  • 深度神經網絡機器翻譯
    今天有時間和大家一起討論下下, 深度神經網絡機器翻譯。前言2016年年底, Google公布了神經網絡機器翻譯(GNMT), 從此宣告, 機器翻譯經過27年左右, 正式從1989年的IBM機器翻譯模型(PBMT,基於短語的機器翻譯),過渡到了神經網絡機器翻譯模型。已經極大接近了普通人的翻譯了。
  • F8 2017 | 技術負責人為你解析 Facebook 神經機器翻譯
    願景:每一名用戶都能用其語言無障礙的使用 Facebook。Facebook 是怎麼應用機器翻譯的有兩種途徑。「See translation」:當 Facebook 系統判斷用戶無法理解某個帖子時,便提供「翻譯」選項。系統判斷的依據很簡單:對貼子的語言識別和對用戶的語言預測。
  • Facebook人工智慧開源多語言機器翻譯模型
    Facebook AI是開源的M2M-100,一種多語言機器翻譯模型(MMT),可以翻譯100種語言中的任何一對而不依賴於英語。典型的模式是以英語為中心的,將中文翻譯成法語或中文翻譯成西班牙語時需要首先將原文翻譯成英語,再翻譯成其他語言。Facebook認為,語言之間的直接翻譯更能捕捉到深層意義,而且比以英語為中心的系統在藍帶標準上高出10個百分點。M2M-100接受了2,200種語言的培訓。
  • 深度:回顧Google神經網絡機器翻譯上線歷程
    Google Translate作為久負盛名的機器翻譯產品,推出10年以來,支持103種語言,一直作為業界的標杆。而在前不久,Google官方對翻譯進行一次脫胎換骨的升級——將全產品線的翻譯算法換成了基於神經網絡的機器翻譯系統(Nueural Machine Translation,)。
  • 開源| 哈佛大學NLP組開源神經機器翻譯工具包OpenNMT:已達到生產...
    選自OpenNMT機器之心編譯參與:吳攀神經機器翻譯是近段時間以來推動機器翻譯發展的主要推動力。今天,哈佛大學自然語言處理研究組(Harvard NLP)宣布開源了其研發的神經機器翻譯系統 OpenNMT,該系統使用了 Torch 數學工具包。該研究組在官網上表示該系統已經達到生產可用的水平(industrial-strength)。
  • 機器之心年度盤點:2018年重大研究與開源項目
    其中最突出的就是機器翻譯與預訓練語言模型,其中機器翻譯已經由去年的 Seq2Seq 到今年大量使用 Transformer,而預訓練語言模型更是從 ELMo 到 BERT 有了長足發展。所以總的而言,儘管 Transformer 在解碼速度和位置編碼等方面有一些缺點,但它仍然是當前效果最好的神經機器翻譯基本架構。Sebastian Ruder 非常關注無監督機器翻譯模型,如果無監督機器翻譯模型是能行得通的,那麼這個想法本身就很驚人,儘管無監督翻譯的效果很可能遠比有監督差。
  • ...2深度學習環境到神經機器翻譯,上手機器學習這些開源項目必不可少
    監督學習使用以及標註過的和結構化的數據,通過制定一組輸入數據集合所需的輸出,機器可以學習如何識別目標並且映射到其他的學習任務上。監督學習可能會使用電子表格作為數據的輸入,而無監督學習可能會用來理解一本書或者一篇文章。
  • 從星際2深度學習環境到神經機器翻譯,上手機器學習這些開源項目必...
    從模式識別到電子遊戲,開發者們通過訓練 AI 算法實現了各種各樣好玩的應用:MarI/O 源碼地址:https://pastebin.com/ZZmSNaHX一段用神經網絡和遺傳算法寫的程序,可以玩「超級馬裡奧世界」。
  • Transformer新型神經網絡在機器翻譯中的應用|公開課筆記
    產業的興旺離不開背後技術的巨大進步,從今天的課程當中,我會給大家介紹背後技術的神秘面紗,然後對Transformer這個神經網絡做深入的解析。神經網絡機器翻翻譯是目前比較主流的機器翻譯方法,它是「Sequence to Sequence」model,也就是端到端的翻譯框架。
  • Masakhane開源項目希望藉助機器翻譯和AI改變非洲
    今年年初,這種擔憂導致建立了Masakhane開源項目,非洲技術人員正在努力使用神經機器翻譯來翻譯非洲語言。Kathleen Siminyu是肯亞盧希亞部落的成員。儘管學校和全國各地都說英語,但部落說不同的語言,這在Siminyu和她的鄰居之間造成了語言障礙。
  • EMNLP 2019論文分享|神經網絡機器翻譯多智能體聯合學習模型
    一、研究動機在機器翻譯任務中,我們經常會遇到這樣的情況,如表1 中的例子所示,L2R(從左到右解碼的智能體,本文中智能體 指翻譯模型)所產生的譯文,前半段質量較好,而後半段,錯誤逐漸增多。這是因為模型在翻譯的過程中,每個時刻的輸入是上個時刻的輸出,一旦某個時刻發生錯誤,就會不斷往右傳遞,導致翻譯質量下降。
  • 輕量級部署,騰訊優圖開源深度學習推理框架TNN
    機器之心發布機器之心編輯部6 月 10 日,騰訊優圖實驗室宣布正式開源新一代移動端深度學習推理框架 TNN。從學界到工業界,「開源」已經成為 AI 領域的關鍵詞。可以說「開源」是 AI 落地和繁榮不可或缺的源動力。6 月 10 日,騰訊優圖實驗室宣布正式開源新一代移動端深度學習推理框架 TNN,通過底層技術優化實現在多個不同平臺的輕量級部署落地。該框架性能優異、簡單易用。基於 TNN,開發者能夠將深度學習算法輕鬆移植到手機端並高效執行,開發人工智慧 APP,真正將 AI 帶到指尖。
  • 如何評價Google神經機器翻譯(GNMT)系統?
    其中,Google Translate的核心技術 「統計機器翻譯」其基本思想是通過對大量平行語料進行統計分析、構建統計翻譯模型、進而使用此模型進行翻譯。簡單來說,Google Translate 在生成譯文時,會在大量人工翻譯的文檔中查找各種模型,進行合理的猜測,從而得到恰當的翻譯。
  • 華為深度學習框架MindSpore正式開源:自動微分不止計算圖
    機器之心報導機器之心編輯部千呼萬喚始出來——3 月 28 日,華為的全棧全場景 AI 計算框架 MindSpore 終於正式開源了。今年的華為開發者大會 HDC 2020 上,除了昇騰、鯤鵬等自研晶片硬體平臺之外,最令人期待的就是深度學習框架 MindSpore 的開源了。今天上午,華為 MindSpore 首席科學家陳雷在活動中宣布這款產品正式開源,我們終於可以在開放平臺上一睹它的真面目。
  • 國內高校與廣州重點實驗室合作,發布對抗式神經機器翻譯
    在2014年由Bahdanau等人提出的神經機器翻譯(NMT)近幾年獲得了學術和工業領域越來越多的關注。這種新式的翻譯方法與傳統的基於統計數據的翻譯機制(SMT)相比,可以獲得更好的翻譯質量。但是,其翻譯結果還遠遠沒有達到人類對機器翻譯的期待,基於NMT的研究還有很長的路要走。在研究領域,學者們使用的傳統NMT通常運用最大接近預測機制(MLE),使用翻譯原文段落和句子進行訓練。但
  • 五張動圖,看清神經機器翻譯裡的Attention
    本文用一系列動圖帶你看個明白。過去幾十年來,統計機器翻譯一直是佔據主導地位的機器翻譯模型[9],直到神經機器翻譯(NMT)誕生。神經機器翻譯(NMT)是近幾年來新興的機器翻譯模式,該模式試圖構建和訓練能夠讀取輸入文本,並輸出翻譯結果的單個大型神經網絡。NMT的最初來自Kalchbrenner和Blunsom(2013)等人的提議。
  • 一文看懂我國機器翻譯發展情況及BAT、科大訊飛等機器翻譯格局分析
    華為、OPPO、中興、三星等手機廠商,金山詞霸、靈格斯詞霸、敦煌網等眾多產品均接入了百度翻譯API。資料來源:官網在2013年,百度就布局神經網絡翻譯,算力、算法、模型等方面展開研究,突破了神經網絡翻譯的核心技術瓶頸。