本欄目每周將推薦若干篇由師生精心挑選的前沿論文,分周三、周五兩次推送。
本次推薦了關於信息檢索、生成式摘要、開放域問答的三篇論文。
推薦組:CR
推薦人:劉元興(研究方向:推薦)
論文題目:IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models
作者:Jun Wang, Lantao Yu, Weinan Zhang, Yu Gong, Yinghui Xu, Benyou Wang, Peng Zhang, Dell Zhang
出處:SIGIR 2017 (Best Paper Award Honorable Mention)
論文主要相關:信息檢索
簡評:在現代信息檢索領域中主要存在兩種思維流派。經典思維流派假設在文檔和信息需求(由查詢可知)之間存在著一個獨立的隨機生成過程。而現代思維流派則充分利用機器學習的優勢,將文檔和搜索詞聯合考慮為特徵,並從大量訓練數據中預測其相關性或排序順序標籤。本篇論文首次提出將兩種思維流派的數據模型通過一種對抗訓練的方式統一在一起,使得兩方面的模型能夠相互提高,最終使得檢索到的文檔更加精準。與傳統的GAN不同,IRGAN直接將 Query 做輸入,利用 Generative和Discriminative IR Models分別作為GAN的生成器(generator)和判別器(discriminator)。除此之外,為了應對離散的數據,作者引入了強化學習的Policy Gradient代替常用的SGD方法,使得 GAN 更具有推廣意義。文章的實驗分別在網絡搜索、推薦系統以及問答系統三個應用場景中實現並驗證了IRGAN的優越性。
論文連結:
https://dl.acm.org/citation.cfm?doid=3077136.3080786
原始碼連結:
https://github.com/geek-ai/irgan
推薦組:LA
推薦人:趙懷鵬(研究方向:抽取式摘要、中文順滑)
論文題目:A Deep Reinforced Model for Abstractive Summarization
作者:Romain Paulus, Caiming Xiong, Richard Socher
出處:ICLR 2018
論文主要相關:生成式摘要,強化學習
簡評:近些年,seq2seq框架在生成式摘要任務上得到了廣泛的應用。這些模型在生成比較短的摘要時能夠取得較好的效果,但在生成長句子摘要時會產生重複和不連貫的短語。產生這種現象的主要原因是單純採用有監督訓練會產生「exposure bias」。為此,作者提出了一個新的摘要模型來解決上述問題。本文的主要貢獻有兩點:①採用了Intra-temporal attention和Intra-decoder attention兩種Attention機制能夠避免生成重複內容,同時也能夠使得生成的信息覆蓋原文內容。②僅使用有監督學習來擬合真實摘要會導致訓練和測試的不一致性。因此在目標函數中引入了強化學習,將評價指標ROUGE作為其reward,然後根據reward對模型進行獎勵和懲罰並更新參數。本文提出的新模型在CNN/DailyMail和NYT數據集上均達到了SOTA的結果。
論文連結:
https://arxiv.org/pdf/1705.04304.pdf
推薦人:齊樂(研究方向:問答系統)
論文題目:R3: Reinforced Ranker-Reader for Open-Domain Question Answering
作者:Shuohang Wang, Mo Yu, Xiaoxiao Guo, Zhiguo Wang, Tim Klinger, Wei Zhang, Shiyu Chang, Gerald Tesauro, Bowen Zhou, Jing Jiang
出處: AAAI 2018
論文主要相關:開放域問答
簡評:由於開放域問答系統需要從大規模語料中抽取答案,因此現今的系統往往由兩個模塊組成:信息檢索(IR)模塊和閱讀理解(RC)模塊。前者從大規模語料中抽取相關的段落,後者則從相關段落中進一步抽取答案。本文在其基礎上,提出了一種新的端到端的問答系統框架,稱為增強型排序-閱讀模型(Reinforced Ranker-Reader, R3)。該框架包含兩個模塊Ranker和Reader,其中Ranker根據段落包含答案的可能性對檢索到的段落進行排序,並選擇最有可能包含答案的段落,將其傳遞給Reader;Reader則從相關段落中抽取答案。最值得一提的是該框架利用強化學習,聯合訓練Ranker和Reader,將兩部分有機地結合起來,同時對兩者進行優化和訓練,而非將兩部分作為獨立的模型進行單獨訓練。本文在多個開放域問答數據集上進行了實驗,並達到了state-of-the-art的結果。
論文連結:
https://arxiv.org/abs/1709.00023
往期連結:
點擊文末「閱讀原文」即可查看完整賽爾推薦目錄
賽爾推薦 | 第11期
(句子表示學習、描述生成、遷移學習)
賽爾推薦 | 第10期
(自然答案生成、問句重新表述和問答系統)
賽爾推薦 | 第9期
(事件抽取、image caption、對象級情感分析)
賽爾推薦 | 第8期
(自然語言推理、文本蘊含識別、句子表示、文本摘要、序列標註、數據稀疏、多任務學習)
本期責任編輯: 張偉男
本期編輯: 崔一鳴
「哈工大SCIR」公眾號
主編:車萬翔
副主編: 張偉男,丁效
責任編輯: 張偉男,丁效,趙森棟,劉一佳
編輯: 李家琦,趙得志,趙懷鵬,吳洋,劉元興,蔡碧波,孫卓
長按下圖並點擊 「識別圖中二維碼」,即可關注哈爾濱工業大學社會計算與信息檢索研究中心微信公共號:」哈工大SCIR」 。