BAT、谷歌、Facebook都在搞的神經機器翻譯,真的就地表最強了嗎?

2014年到2016年，機器翻譯領域可以說是翻天覆地。

這期間發生的大事，是以神經網絡作為基礎的機器翻譯，開始在全面超越此前以統計模型為基礎的統計機器翻譯，並快速成為在線翻譯系統的主流標配。

在這場革命之後，機器翻譯徹底進入了Neural Machine Translation，即NWT神經機器翻譯時代。

很多人為此歡欣鼓舞。回想去年，谷歌在中英翻譯系統上部署了GNWT——谷歌神經機器翻譯之後，當時網上有一句廣為流傳的話：「作為翻譯，看到這個新聞的時候，我理解了18世紀紡織工人看到蒸汽機時的憂慮與恐懼。」

怎麼樣？是不是感受到了深深的絕望？

但是先讓咱們的小情緒平靜一下。時過一年，市面上的NWT系統越來越多，國內的BAT、搜狗，國外的谷歌、Facebook、微軟等都在布局。雖然翻譯質量確有提高，但遠沒到上述引文中描繪的發生「質變」的程度。這到底是為什麼？

於是，我們選取了目前最有代表性的谷歌GNWT和屢獲大獎的搜狗的SogouNWT，來摸索一下今天神經網絡機器翻譯的真實水平和進化空間。

應用效果測試

考慮到要求連貫性、語句準確的在線翻譯技術，其應用場景無非兩種：一是海外旅遊、購物為代表的實時溝通場景；二是垂直領域的專業內容翻譯（畢竟日常翻譯需求查單詞就夠了），所以這裡選取了一些旅遊用語和專業論文，來檢測一下SogouNMT和GNMT的翻譯實力。

此外，今年6月搜狗在發布翻譯APP時表示SogouNMT的獨門秘籍之一是翻譯古詩詞，所以我們也找來了古詩詞與文言文來折磨兩個「小傢伙」。

首先是來看一句基本的旅遊用語：

英譯漢：What is the possibility of my getting a seat if I wait?

谷歌答案：如果我等待，我可以得到座位的可能性？

搜狗答案：如果我等待的話，我有座位的可能性是多少？

漢譯英：如果我等下去的話有多大機率有座位？

谷歌答案：What is the chance of having a seat if I wait？

搜狗答案：How often do I have a seat if I wait?

從中可以看出，英譯漢的語序調整大體正確，搜狗對漢語的語法理解更準確。但漢譯英卻沒有那麼樂觀，對於表述比較口語化的「機率」，兩個系統都沒有表現出對上下文的理解能力。

我們來找點論文裡的長句子虐一下。

英譯漢：

It seems anachronistic to talk about intertextuality in the beginning of the Twenty First Century, almost forty years since the term first appeared with Julia Kristeva’s introduction of Mikhail Bakhtin to the Western world. 

谷歌答案：

在二十一世紀初談論互文性似乎不合時宜，自從Julia Kristeva將Mikhail Bakhtin引入西方世界以來，已經有四十年了。

搜狗答案：

在二十世紀初開始談論互文性似乎是不合時宜的，近四十年來，從Julia kristeva引進米哈伊爾·巴赫金到西方世界第一次出現。

漢譯英：

自四十年前朱麗婭·克裡斯蒂娃在介紹巴赫金思想時首次將"互文性"概念引進西方世界以來，到21世紀初的今天再針對「互文性」進行討論已經顯得有些不合時宜。

谷歌答案：

Since the introduction of the "intertextuality" concept for the first time in the introduction of Bakhtin's thought forty years ago, the discussion of "intertextuality" at the beginning of the 21st century has become somewhat outdated.

搜狗答案：

Since Julia Christie introduced the concept of " intertextuality" to the western world for the first time 40 years ago, it has become an anachronism to discuss the " intertextuality" in the early 21st century.

從長句子的翻譯上看，中英之間的語序調整還是大問題。而且語序引發的意義差別會影響整個翻譯的結果。另外漢譯英中，谷歌表現稍微好一點，搜狗出現了很嚴重的漏譯。值得肯定的是，二者對專有名詞的翻譯都比較準確，但是人名庫顯然還不夠大。

我們再來一點有意思的，杜甫的《石壕吏》：

暮投石壕村，有吏夜捉人。老翁逾牆走，老婦出門看。 吏呼一何怒！婦啼一何苦！

谷歌翻譯版：

Twilight cast stone trench village, there are officials to catch the night.

The old man went over the wall and the old woman went out to see.

Official call an anger! Women cry one bitter!

搜狗翻譯版：

Twilight lapidation the village, there are officials and night catchers. 

The old man went over the wall and the old woman went out to see.

The guards cried so fiercely  The old lady cried so sad.

參考巴頓·華茲生公認比較權威的譯文：

At evening I put up at Stone Moat Village;
that night an official came to round up people.
The old man at the inn scaled the wall and ran away; the old woman came to open the gate.
The official, how fiercely he shouted!
The old woman, how pitiful her cries!

可以看出谷歌對古詩詞的理解確實不如搜狗，比如婦啼一何苦搜狗翻譯長了「old women」應該是對應上了前文。再比如「夜捉人」變成了「catch the night」似乎不如搜狗的貼邊。當然了，兩邊對於「逾牆走」這類表達都無法準確理解，另外搜狗完全漏了石壕村。

另外還有一種情況，翻譯過程中根據詞的表面意義直翻的現象比較嚴重，並且應該是在算法的加持下強行組成句子。而這種翻譯模式下，漏翻現象會很嚴重。

從以上測試可以得出以下兩個問題：

當然以上只是根據我們的實驗得到的特徵，不一定全面和準確，但似乎確實說明了神經機器翻譯沒有那麼神，甚至有一些技術迭代後出現的新問題。

找鑰匙，搶鑰匙

目前來看，神經網絡機器翻譯未來很長時間都會處在主要位置。並且可能會短時間內不斷突破。而針對上面分析到的問題，有一些解決方案可以作為比較高效的補充，也許這些會成為神經網絡翻譯企業接下來的重點戰場。

這裡探討的是以其他技術力量完善神經網絡機器翻譯的方式，說不定其中某項會成為促進真人翻譯進一步失業的「鑰匙」：

一、引進NMT以外的人工智慧技術：巧合的是，近兩年關於機器翻譯的技術突破往往來自其他人工智慧領域。比如注意力模型，是來自Deepmind在機器視覺領域的技術構想。主動引入其他領域的算法和模型，或許在翻譯領域有神奇的效果。

二、建立機器學習使用的用戶資料庫，激發互動：在機器學習的原理當中，對錯誤樣本糾錯往往是最好的學習途徑，但翻譯上的糾錯行為顯然是企業難以完成的。調動用戶主動糾錯翻譯結果，並以之建立資料庫，或許是非常便捷的辦法。

三、嘗試優質訓練資料下的弱監督學習：目前的NMT體系，歸根結底是個有監督學習過程，很多所謂「莫名其妙」的翻譯結果都來自翻譯機制無法優化。嘗試一些深度學習架構讓翻譯系統自我優化，也許是個解決方案。

四、垂直領域語料資料庫&數據抽調系統：解決具體的專業領域，甚至文言文的中英互譯（當然也包括英文的詩歌和文學文本），其實也沒什麼特別的辦法，擁有強大的垂直領域資料庫是硬實力，當然好的數據抽調模型會事半功倍。

神經網絡機器學習，還是個標準的新生事物。業界願意選擇它只是因為它比此前的方案更優化，也更有發展潛力。絕不是因為它一出手就秒殺眾生，達到了取代人類同行的地步。

翻譯依舊是一個非常安全的工作，至少今天還是。