作者 | 朱軍楠、張家俊
多模態自動文摘是指利用計算機實現從含有兩種或兩種以上模態（如圖片、文本等）的信息中生成圖文式摘要的過程。該技術可以廣泛應用於新聞推送、跨境電商、產品描述自動生成等多個領域，具有重要的研究價值和豐富的應用場景。
近年來，隨著計算機視覺以及自然語言處理技術的發展，多模態自動文摘技術逐漸成為學術界和工業界研究的熱點。當前的多模態自動文摘受限於數據集本身的原因只能採用文本模態的負對數似然損失作為目標函數訓練整個網絡，同時利用注意力機制來輔助挑選圖片。
這種做法容易帶來模態偏差的問題，即整個網絡會傾向於優化文本生成的質量而忽視了圖片的挑選過程，如圖1所示。若只考慮文本模態的損失，B摘要是要優於A摘要的，但是很顯然B摘要中的圖片的人物對應關係不對；而當我們引入圖片選擇的損失時，我們可以明顯的判斷出A摘要是優於B摘要的，並且這也符合基本事實。
圖 1 模態偏差的示例
針對於上述問題，中科院自動化所自然語言處理組博士生朱軍楠、周玉研究員、張家俊研究員、宗成慶研究員等提出了多模態基準指導的多模態自動文摘方法。基本想法是優化多模態摘要訓練的目標函數，即在文本損失的基礎上增加圖片選擇的損失函數。
如圖2所示，該方法由三部分組成：
（1）首先利用數據集本身的特徵將只有文本基準的訓練數據擴展至多模態基準，主要採用兩種方式，即直接使用輸入圖片的順序對圖片進行排序或者使用圖片的文字描述與標準文本摘要參考答案之間的ROUGE值大小對輸入圖片進行排序；
（2）在模型上添加圖片判別器用於訓練圖片挑選的過程，模型的損失函數也由文本的損失函數及圖片挑選的損失函數加權求和而成；
（3）通過數據集中的圖片和文本描述構造文本-圖片對齊片段從而用來訓練能夠更好地評價多模態片段的評價模型，具體而言我們將兩對圖片-描述的文本部分（或圖像部分）進行交換去構造兩個匹配的多模態片段，如圖3所示。
圖 2 多模態基準指導的多模態自動文摘框架圖
圖 3 多模態匹配片段構造示意圖
目前多模態自動文摘的數據集還比較匱乏，我們之前發布了一個公開數據集MSMO，這項工作也在該數據集上進行實驗驗證。在對比摘要方法的性能之前，我們首先需要明確應該採用哪種評價指標。在之前的工作中，圖文式摘要的評價關注三個方面的指標：圖片準確率(IP)、文本摘要的ROUGE值(ROUGE-L)以及系統輸出中圖片文本的相關度(Msim)。在我們的方法中，我們引入一個新的自動評價指標MRmax用來直接度量兩個多模態信息之間的相似度（輸出和參考答案的最大相似度）。MMAE是對IP、ROUGE和Msim的組合，MMAE++是IP、ROUGE、Msim和MRmax四個自動評價指標的組合。我們利用與人工打分之間的相關度來對比不同的自動評價指標。
表 1 不同評價指標與人工打分之間的相關度（分值越高、性能越好）
表1給出了不同的自動評價指標與人工打分的相關度，可以看出融入了直接測量多模態片段的評價指標MR之後，新的自動評價模型MMAE++相比於MMAE在與人工打分的相關度上有一個顯著的提升。為了衡量我們提出的多模態基準指導的模型，我們同多個強基線模型進行了對比，包括融入全局或者局部視覺特徵的多模態注意力機制的生成式自動文摘模型（ATG、ATL）、層次化的多模態自動文摘模型（HAN）以及基於圖模型的抽取式自動文摘模型（GR）。
表 2 不同模型生成的圖文式摘要的質量對比（MOF表示多模態基準指導的方法、RR表示通過ROUGE值對圖片排序，OR表示通過輸入圖片的順序對圖片排序，enc表示利用編碼器隱層狀態選擇圖片，dec表示利用解碼器隱層狀態選擇圖片）
表2給出了不同模型生成的圖文式摘要的質量對比。可以看出在引入多模態基準指導後，模型的圖片挑選質量（IP）得到了顯著的改善，並且文本生成質量也有略微改進，從而生成更高質量的圖文摘要。相對於使用編碼器隱層狀態而言，採用解碼器隱層狀態去進行圖片選擇效果會更好。另一方面，使用圖片描述與文本摘要之間ROUGE值的大小對圖片排序獲得的多模態基準對於模型的指導作用更加明顯。
表 3 圖片選擇的損失函數的權重大小
我們也對比了不同的圖片選擇損失函數權重對於模型性能的影響，可以看到當圖片和文本的損失函數的權重都相同時，圖文摘要的質量是最好的。
表 4 計算圖片損失中考慮的圖片的數量的影響
我們對比了在計算圖片損失中考慮的圖片數量（即top-K圖片作為gold standard）所帶來的影響，並且發現當 K=3的時候，模型取得了最好的效果。
相關細節可參考發表於人工智慧頂級學術會議AAAI 2020的論文：
Junnan Zhu, Yu Zhou, Jiajun Zhang, Haoran Li, Chengqing Zong, Changliang Li. Multimodal Summarization with Guidance of Multimodal Reference. AAAI-2020.
雷鋒網 AI 科技評論報導。雷鋒網(公眾號：雷鋒網)雷鋒網
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。