機器翻譯器正成為現代人生活中必不可少的工具。
不管你在世界的哪個地方，美國、巴西、法國或者亞洲的婆羅洲島，藉助機器翻譯，谷歌和 Facebook 這類軟體都可以把平臺上的幾乎任何文字內容都翻譯成當地語言。
不過你可能不知道的是，多數翻譯系統都是將英語作為中間語言進行的翻譯工作。也就是說，在把中文翻譯成法語時其實是中文到英語再到法語的。
這麼做的原因是因為英語翻譯的數據集(包括譯入和譯出)非常多而且容易獲得。但是，用英語作為中介語總體上降低了翻譯的準確性，同時讓整個流程更加複雜臃腫。
比如說，在 Facebook 上，單是 News Feed 這一項服務，Facebook 就需要每天進行大約 200 億次翻譯。
針對這些問題，最近，Facebook 開發了新的機器翻譯模型，可以不藉助英語直接實現兩種語言的雙向互譯，而且新模型在 BLEU 評估算法下的得分比傳統的藉助英語的模型還高了 10 分。
Facebook 的新模型被稱作 M2M-100，Facebook 宣稱它是第一個多語言機器翻譯模型，可以直接在 100 種語言中的任何一對之間來回翻譯。Facebook AI 構建了一個共計由 100 種語言的 75 億個句子組成的龐大數據集。使用這個數據集，研究團隊訓練了一個擁有超過 150 億個參數的通用翻譯模型，據 Facebook 的一篇博客描述，該模型可以 「獲取相關語言的信息，並反映出更多樣化的語言文本和語言形態」。
「主要的挑戰在於，我們如何利用我們的翻譯系統，切實地去滿足全世界各地人們的需求，」Facebook AI 的助理研究員 Angela Fan 在採訪中表示。「你得翻譯所有的語言，涉及人們會遇到的各種需求。比如說，世界上有很多地方，當地人會使用多種語言，而英語不在其中，但現有的翻譯系統卻嚴重依賴英語。」她還指出，在 Facebook 平臺上每天以 160 種語言發布的數十億條帖子中，有三分之二是英語以外的語言。
為了做到這一點，Facebook 需要使用各種新技術從世界各地收集大量公開數據。「這裡頭很多工作其實建立在我們在 Facebook 多年研究的基礎之上，就像不同的樂高積木，我們有點像是把積木拼在一起來構建今天的系統，」Fan 解釋道。
該團隊首先採用 CommonCrawl 來從網絡上收集文本示例，這是一個開放的網絡抓取資料庫。然後他們著手用 FastText 來識別文本所屬的語言，後者是 Facebook 幾年前開發並開源的文本分類系統。「這個系統基本上是看一些測試然後嘗試判定文本是用什麼語言寫的，」Fan 說，「這樣我們就把一堆網絡文本按照不同的語言分開了，接下來我們的目標是識別對應的句子。」
「傳統上，人們使用人類譯員來創建翻譯數據，」她繼續說道，「這很難大規模來做，比如，你很難找到同時講英語和泰米爾語的人，同時講法語和泰米爾語的就更難了，非英語翻譯仍舊是一個有待加強的領域。」
為了大規模挖掘必需數據，Fan 的團隊重度依賴 LASER 系統。「它讀取句子，抓取文本並構建文本的數學表示，具有相同意思的句子將被映射到同一個意涵裡，」她解釋道，「如果我有一句中文和一句法文，說的是同一件事，它們就會像韋恩圖 (Venn diagram)一樣有所交疊——交疊區域我們就認為是一組對應的句子。」
當然，不是所有語言都有大量的文字內容在網上。
遇到這些情況，Fan 的團隊使用單語言數據來改進。以中文譯法文為例，Fan 解釋道：「如果我的目標是翻譯中文為法文，但是因為某些原因，達不到足夠好的翻譯質量，那麼我可以試著用法文的單語言數據來做改進。我要做的是訓練一個反過來的系統：從法文到中文。比如我從維基百科上取得所有的法文，然後把它翻譯到中文。」
這樣一來就有了大量的機器翻譯生成的 「人工合成」語料。Fan 說，「有了這些從法文反向譯過來的『人工合成』的中文之後，我可以把這些數據加在我的前向模型裡。也就是我用原來的中文數據加上這個補充出來的『合成』數據，然後再把它們都譯成法文。由於新加了很多例句——在輸入和輸出兩端都有——模型會更加強大。」
這個項目是否會產生一條 「數字巴別魚」，能在全球 6200 多種口語之間進行無損翻譯，還有待觀察。Fan 指出，這個項目的最終成功取決於 AI 能夠利用的資源量。對於法語、漢語、德語、西班牙語和印地語等主要語言，資源是海量的。「人們用這些語言在網絡上寫了大量的文字，」她說，「他們能貢獻大量數據，我們的模型可以利用這些數據變得更好。」
「對於資源非常少的語言，我個人確定了很多我們可能需要改進的語言類別，」Fan 繼續說道。「對於非洲語言，我們在斯瓦希裡語和南非荷蘭語方面相當不錯，我們可以在像祖魯語這樣的語言上進行很多改進，在這些語言上我們需要面對額外的研究挑戰。」 M2M-100 的 GitHub 代碼連結：
https://github.com/pytorch/fairseq/tree/master/examples/m2m_100
特別提醒：本網內容轉載自其他媒體，目的在於傳遞更多信息，並不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，並請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯繫我們，本站將會在24小時內處理完畢。