ICLR 2020 | 多模態下使用圖片信息顯著增強機器翻譯效果

論文標題：

Neural Machine Translation with Universal Visual Representation

論文作者：

Zhuosheng Zhang, Kehai Chen, Rui Wang, Masao Utiyama, Eiichiro Sumita, Zuchao Li, Hai Zhao

論文連結：

https://openreview.net/forum?id=Byl8hhNYPS

收錄情況：

ICLR 2020 (Spotlight)

代碼連結：

https://github.com/cooelf/UVR-NMT

長期以來，機器翻譯都只涉及到文本之間的轉換，但實際上，人的感知功能可以是「多模態」的。

本文提出一種通用的視覺表徵，將圖片信息融合到機器翻譯模型中。

使用這種視覺知識融合方法，不需要額外的雙語-圖片標註數據，模型就能夠在多個數據集上取得顯著的效果提升。

多模態與機器翻譯

機器翻譯是兩種語言間的轉換，比如「A dog is playing in the snow」翻譯為中文就是「小狗在雪地裡玩耍」。

但人類理解世界不只是用文字，還有視覺、聽覺等感知能力；並且翻譯的過程需要保持「語義」不變。比如下面的圖：

講中文的人會說「小狗在雪地裡玩耍」，而講英文的人會說「A dog is playing in the snow」。也就是說，人們對客觀世界的本質認知是相同的，只是「方法」不同，體現在語言上，就是語法上的差異。

為此，我們可以假設在機器翻譯模型中，融入這種「客觀的世界知識」，比如把圖片信息加入，以此期望增強翻譯能力。同時考慮文本和圖片，這就是一種多模態。

然而，過去的翻譯-圖片研究大都需要大量的雙語-圖片標註數據，這在數據上成為一個研究的瓶頸。本文針對這種情況，提出「通用的視覺表示」，僅用單語-圖片標註數據，就能顯著提高機器翻譯的效果。

本文的方法在數據集EN-RO，EN-DE，EN-FR上均有約一個BLEU值的提高，這說明了本方法的有效性。

具體來說，本文貢獻如下：

在閱讀完本文之後，讀者可以思考下述問題：

通用視覺表示

本節來介紹本文的方法。

首先我們有一個單語-圖片數據集，也就是，其中的每條數據都是一張圖片和對圖片的描述。

這個描述的句子為，把其中的停用詞去掉後得到了，它所描述的圖片是。

然後，對中的每個詞，計算它在整個數據集中的TF-IDF值，然後取中TF-IDF值最大的前個詞作為這個圖片的主題詞，也就是和圖片最相關的個詞。

這樣一來，每個圖片都有它主題詞，同時，每個詞都有可能同時是多個圖片的主題詞。我們可以把這看成一個「主題詞-圖片」查詢表，輸入一個詞，就可以在表中查詢以為主題的所有圖片。

那麼，現在輸入一個句子，我們就可以按照同樣的步驟：

1.去除停用詞；

2.計算每個詞的TF-IDF；

3.取前個TF-IDF最高的詞；

4.在查詢表中找到所有對應的圖片；

5.按照出現次數的多少排序，取出前個出現次數最多的圖片（因為多個詞可能對應同一個圖片），得到集合。

現在，這個圖片集合就可以認為是和輸入句子對應的視覺信息，可以用它去增強翻譯效果了。下圖是流程示意圖：

在機器翻譯中融合圖片信息

為了把圖片融合進去，我們首先用一個預訓練的ResNet提取圖片集的表示，然後計算與。

這裡，是Transformer Encoder的最後一層，是用ResNet得到的圖片集的表示，使用sigmoid計算。

在Decoder端，直接把送入即可。融合步驟如下所示：

實驗

我們在三個數據集上進行實驗：WMT16 En-RO, WMT14 EN-DE和WMT14 EN-FR。這三個數據集大小從小到大增加，從而在不同大小的數據集上都能驗證該方法。

下表是在這三個數據集上的結果，++表示顯著更優。

可以看到，和基線模型(Trans.(base/big))相比，本文的方法(+VR)在三個數據集上都能得到顯著的提升，平均提升約一個BLEU值。同時，只引入了很少的參數量，這就不會使訓練時間幾乎不會增加。

下表是在數據集Multi30K上的結果，這是一個多模態數據集。可以看到，即使在多模態設置下，本文方法依舊能夠取得顯著結果。

最後，我們來看看每個句子對應的圖片集的大小，和手動控制參數的影響。

下圖分別是兩個因素的影響結果。從圖片數量來看，並不是越多的圖片數量越好，也不是越少越好，而是在的區間較好。這是因為，過少的圖片信息不充分，過多的圖片噪聲太多。

參數控制的是圖片信息融合的程度，可以看到，無論融合多少，效果都比不融合圖片信息要好，這說明多模態是有效果的。

而且，手動控制它都沒有模型自動學習好，這也說明模型對不同的輸入句子，需要的視覺信息也是不同的。

小結

本文提出了一種簡單、有效的多模態視覺知識融合方法——首先構建從主題詞到圖片的查詢表，然後對輸入句子找到相關的圖片，然後使用ResNet提取圖片信息融入到機器翻譯模型中。

使用這種方法，可以避免對大規模雙語-圖片數據的依賴。實驗結果也表明，這種方法可以一致地提高翻譯效果。

思考題討論

如果要翻譯單語-圖片數據集中沒有的語言，可以怎麼做？

比如沒有日語，我們可以用一個日語的image caption模型去自動標註每個圖片的描述。

或者可以用X-日語的機器翻譯得到圖片翻譯後的描述；或者直接用一個現有的詞典，把圖片的主題詞直接翻譯成日語。其他方法亦可。

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號後臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群裡。