Facebook 開源可直接翻譯上百種語言的 AI 模型

2021-01-08 DoNews

DoNews 10月20日消息(記者 劉文軒)Facebook 近期宣布將首個不需透過英語、可直接翻譯兩種語言的 AI 模型 M2M-100 開源。

Facebook 表示一般機器翻譯需要為每種語言及每種任務建立一種 AI 模型,由於英語訓練資料較充裕,因此形成以英語為中心的翻譯模式;碰到要翻譯非英語的兩種語言,例如中文和法文時,大部份機器翻譯採取法文翻成英文,再由英文翻成中文。

Facebook 指出,這種需要以英文為中介的翻譯會導致原意流失或翻譯錯誤,並不適合臉書平臺上160多種語言貼文翻譯的需求。

於 GitHub 釋出的 M2M-100 是 Facebook AI 多年機器翻譯研究的成果。它是第一個不需仰賴英語直接為 100 種語言中的 2 種進行翻譯的單一多語言機器翻譯(multilingual machine translation,MMT)。

相關焦點

  • Facebook 100種語言互譯模型原始碼公開!機器翻譯再也不用英語當...
    智東西(公眾號:zhidxcom)編 | 子佩智東西10月23日消息,Facebook近期開源其M2M-100原始碼,這是首個可以不依賴英語數據而可以實現100個語言對互相翻譯的機器翻譯模型(如中文-法文互譯為一個語言對)。
  • 無需依賴英語中介,Facebook 發布可翻譯 100 種語言的 AI 模型
    針對這些問題,最近,Facebook 開發了新的機器翻譯模型,可以不藉助英語直接實現兩種語言的雙向互譯,而且新模型在 BLEU 評估算法下的得分比傳統的藉助英語的模型還高了 10 分。  Facebook 的新模型被稱作 M2M-100,Facebook 宣稱它是第一個多語言機器翻譯模型,可以直接在 100 種語言中的任何一對之間來回翻譯。
  • 最強翻譯?Facebook AI可以直接翻譯100種語言
    近日,Facebook 宣稱已經開發出一種人工智慧翻譯系統,能夠在 100 種語言之間進行精確翻譯,而不需要像許多現有 AI 翻譯那樣先翻譯成英語在翻譯成目標語言。圖 | 新翻譯系統使 Facebook 每天能做 200 億份翻譯任務(來源:incamerastock / Alamy)在學術機構用來自動評估機器翻譯質量的 100 分制中,該人工智慧的表現比同類翻譯系統高出 10 分。該模型的翻譯也由人類進行了翻譯評估,其準確率約為 90%。
  • Facebook AI 年度總結來啦
    這一核心信念有助於推動我們的 AI 戰略,將投資重點放在與使用真實數據學習的系統相關的長期研究上,激勵工程師與更廣泛的人工智慧社區共享尖端工具和平臺,並最終展示使用技術造福世界的新方法。2018 年,我們在各個領域都取得了重要進展。我們提出了新的研究,除了圖像識別上的進展,在NLP領域,我們現在可以用較少的監督數據翻譯更多的語言。
  • Facebook 發布無梯度優化開源工具 Nevergrad,可應用於各類機器...
    、圖像分類到翻譯以及大量其他任務,都依賴於無梯度優化來調整模型中的參數和/或超參數。為了使得參數/超參數的調整更快、更簡單,Facebook 創建了一個名叫 Nevergrad(https://github.com/facebookresearch/nevergrad)的 Python 3 庫,並將它開源發布。Nevergrad 提供了許多不依賴梯度計算的優化算法,並將其呈現在標準的問答 Python 框架中。此外,Nevergrad 還包括了測試和評估工具。
  • 速度、準確率與泛化性能媲美SOTA CNN,Facebook開源高效圖像...
    機器之心報導參與:魔王、小舟、杜偉將自然語言處理領域主流模型 Transformer 應用在視覺領域似乎正在成為趨勢。
  • 重磅| Facebook提出全新CNN機器翻譯:準確度超越谷歌而且還快九倍...
    近日,Facebook 也宣布在神經機器翻譯上取得了重大進展,在超過了去年穀歌研究的水平的同時還實現了顯著的速度提升。而和谷歌的方法不一樣,Facebook 的方法採用了一種完全基於卷積神經網絡的架構。機器之心對 Facebook 博客上的介紹文章進行編譯,同時在文末附上了該研究論文的摘要介紹,另外該研究的相關原始碼和模型也已經在 GitHub 上開源。
  • Facebook AI 正在升維突破:教AI像人類一樣理解三維世界
    圖 | 通過二維圖片關鍵點(上)生成三維模型(下)(來源:Facebook)無需明確預測圖像底層的 3D 結構,就可以直接將圖像中的像素映射到 3D 形狀模板的表面上。 這種映射不僅可以幫助系統更好地理解圖像,還能夠幫助歸納相同類別物體之間的關係。以人類為例,當我們看到左側圖像中高亮顯示的鳥喙,就可以輕鬆找到右側圖像中對應的點。
  • 漫畫翻譯、嵌字 AI,東京大學論文被 AAAI』21 收錄
    發論文、公開數據集、商業化一條龍在科研方面,目前該篇論文已經被 AAAI 2021 接收,研究團隊還開源了一個包含五部不同風格(幻想、愛情、戰鬥、懸疑、生活)的漫畫,所組成的翻譯評估數據集。/hyper.ai/datasets/14137在產品化方面,Mantra 計劃上線封裝好的自動翻譯引擎,不僅面向出版社提供漫畫的自動化翻譯與發行服務,也會發布面向個人用戶的服務。
  • Facebook推出新AI工具可直接識別圖片中的物體
    Transformer架構可以像近年來對自然語言進行處理一樣,徹底改變計算機視覺,或者縮小自然語言處理與計算機視覺之間的差距。「通過將通用的CNN與Transformer架構相結合,DETR可以直接(並行)預測最終的檢測結果,與許多其他現代檢測工具不同,新模型在概念上很簡單,不需要專門的資料庫。」研究員在論文中稱。
  • Facebook 發布 Detectron2:基於 PyTorch 的新一代目標檢測工具
    雷鋒網 AI 開發者按:Detectron 是 FAIR 在 2018 年初公開的目標檢測平臺,包含了大量業內最具代表性的目標檢測、圖像分割、關鍵點檢測算法,該框架主要基於 python 和 caffe2 實現,開源項目已獲得了超 2.2w 的星標數。
  • 華人研究團隊推出AI「諷刺」檢測模型,準確率達86%
    其實也就這樣,大家還是買1024g的吧如果答對了,你可別驕傲,因為這道題可能連AI都會。最近,中國北京的信息工程研究所和中國科學院聯合推出的一款AI模型,『諷刺』識別準確率高達86%。而且,這項研究成果還登上了計算機語言協會(ACL)。
  • 華人研究團隊推出AI「諷刺」檢測模型,準確率達86%
    在這個社會上,不管承受多少的責難,都別忍。因為現在管虛偽不叫虛偽了,都叫做情商高。長得醜真是難為你了,早上跑出來嚇人,晚上跑出來嚇鬼。iphone 11 pro max真的一點也不好用,我的卡死了,還是512g的暗夜綠!其實也就這樣,大家還是買1024g的吧如果答對了,你可別驕傲,因為這道題可能連AI都會。
  • Facebook開源物體識別工具Detectron,加速計算機視覺研究
    這一職位變動也從人員架構上說明了Facebook高層對AI的重視程度在提升。正如Yann LeCun所言,Facebook人工智慧實驗室發展勢頭正猛。不久前,FAIR才開源了語音識別的工具wav2letter,戳這裡看大數據文摘介紹《快訊 | Facebook開源語音識別工具包wav2letter》。
  • 機器之心年度盤點:2018年重大研究與開源項目
    其中最突出的就是機器翻譯與預訓練語言模型,其中機器翻譯已經由去年的 Seq2Seq 到今年大量使用 Transformer,而預訓練語言模型更是從 ELMo 到 BERT 有了長足發展。預訓練語言模型大概在前幾年,很多人認為預訓練的意義不是特別大,都感覺直接在特定任務上做訓練可能效果會更好。
  • 學界| Facebook新論文介紹相似性搜索新突破:在GPU上實現十億規模
    近日,Facebook 人工智慧研究團隊在 arXiv 發布的新論文《Billion-scale similarity search with GPUs》宣稱在這一問題上取得了重大進展,在 GPU 上實現了十億規模級的相似性搜索。該團隊已經將相關實現的代碼進行了開源。機器之心在此對該研究論文及其代碼項目進行了簡單介紹。
  • 亞馬遜開源神經機器翻譯框架Sockeye:基於Apache MXNet的NMT平臺
    隨著神經機器翻譯(NMT)技術的不斷演進,越來越多的科研機構和公司選擇開源自己的項目,讓更多人能夠開發出自己的 NMT 模型。此前,清華大學開源了神經機器翻譯工具包 THUMT,谷歌也推出了基於 TensorFlow 的 NMT 模型搭建教程。
  • Facebook放了個大招,基於CNN的語言翻譯模型快9倍,同傳壓力山大了...
    但儘管如此,RNN在設計上所固有的局限性,還是制約了它在語言翻譯和文本處理上的進一步應用。不過,FAIR團隊意識到了這一技術的潛力,他們通過搭建翻譯模型驗證了CNN極佳的翻譯表現,如果在未來這一能力可以得到釋放的話,那麼精準、高效翻譯全球6900餘種語言將不再是夢想,人類文化的「巴別塔」將在技術的基石之上重建。  Facebook的全新翻譯系統到底表現如何?
  • 深度| Facebook官方詳解:使用Apache Spark進行大型語言模型訓練
    今天,Facebook 團隊也展示了他們使用 Apache Spark 進行大型語言模型訓練的方法。如何處理大規模數據是 Facebook 基礎設施團隊面臨的核心問題。隨著軟體技術的發展,我們面臨著越來越高的硬體需求,為了滿足需要,我們必須在開源架構上設計並構建新的系統。