立春剛過，人工智慧行業迎來2020年的第一個頂級學術大會。2月7日，AAAI 2020在美國紐約拉開了帷幕。本屆大會百度共有28篇論文被收錄，較AAAI 2019的15篇入選成績提升近一倍，本次入選論文涉及機器學習、自然語言處理、計算機視覺等多個領域。
原計劃有多位百度重量級科學家、研究者將受邀赴會發表演講。受疫情影響，眾多中國學者缺席了本次大會，百度作為中國人工智慧行業「頭雁」，通過積極地遠程參與，向世界展示技術、學術能力，提振中國AI開年信心。
自1979年成立至今，AAAI已舉辦34屆，大會匯集了全球頂尖的人工智慧領域專家學者，可謂是人工智慧行業的科研風向標。
本屆會議共收到的有效論文投稿超過8800篇，其中7737篇論文進入評審環節，最終錄取數量為1591篇，錄取率為20.6%。
此次百度入選的28篇論文覆蓋機器學習、自然語言處理、計算機視覺等領域，完成了在數量上和研究方向的雙向突破，創新科研能力可見一斑。以下就入選的4篇自然語言處理領域的論文為大家詳細解讀：
NLP 預訓練領域入選論文
在NLP預訓練領域，百度入選論文《ERNIE 2.0: A Continual Pre-training Framework for Language Understanding》也被選做Oral進行展示。
ERNIE 2.0是持續學習的語義理解框架，該框架可以增量地學習海量數據中的知識，持續提升語義理解效果。在ERNIE 2.0中，知識可通過預訓練任務的形式加入到訓練框架，每當引入新任務時，該框架可在學習該任務的同時，不遺忘之前學到過的信息。
基於該框架，ERNIE 2.0模型通過命名實體預測、句子排序結構重建、語義邏輯關係預測等預訓練任務，從大規模訓練數據中獲取到詞法、句法、語義等多個維度的知識，大幅提升了通用語義理解水平。
ERNIE 2.0同現有的預訓練模型在英文數據集合GLUE和9個中文任務上進行了實驗。在英文任務上，模型幾乎全面優於之前的SOTA模型BERT和XLNet，在7個GLUE任務上取得了最好的結果；中文任務上，ERNIE 2.0模型在9個中文NLP任務中全面優於BERT。
去年12月，基於ERNIE 2.0改進的模型在GLUE上首次突破90大關，超越人類基線3個點拿到全球第一。
機器閱讀理解領域入選論文
機器閱讀理解領域，百度入選論文《A Robust Adversarial Training Approach to Machine Reading Comprehension》，討論了機器閱讀理解模型面臨對抗攻擊時的效果魯棒性問題甚至安全問題。
通過人工方式發現、總結並生成用於訓練對抗樣本的方式會產生需要人工參與的缺點，且不可能通過規則的方式枚舉出所有可能的對抗樣本類型及其規則。針對此，論文提出一種模型驅動的方式，使用自動對抗的方法無需人工參與，能夠自動地發現未觀察過的對抗樣本類型並最終提升閱讀理解的效果魯棒性。
該方法可以簡單地劃分為三個步驟：
1、對每個訓練樣本我們利用對抗的方法生成一個幹擾向量輸入，使得它能夠誤導當前的閱讀理解模型；
2、採用貪心策略從幹擾向量的詞彙權重中採樣得到對應的離散化的幹擾文本；
3、使用幹擾文本構建用於訓練的對抗樣本，並重新訓練閱讀理解模型並重複上述步驟直至收斂。
實驗驗證，運用上論文中的對抗訓練方法後，在不同的對抗數據集上均有非常顯著的效果提升，並發現論文提出的模型驅動的方法確實能夠生成多樣性更加豐富的對抗樣本，從而補充人工規則的不足。
同時也發現使用該方法生成的對抗樣本 case 仍然較為雜亂，並不具備很好的流利度甚至完全不是自然語言，因此當前對抗生成的方法仍然有較大提升空間。
機器翻譯領域入選論文
機器同聲傳譯是近年來人工智慧領域前沿研究方向，百度入選論文《Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding》，提出了一種基於交互式解碼的同步語音識別與語音翻譯模型，提升了端到端機器同傳模型性能。
端到端的語音翻譯模型通過直接建立源語言語音到目標語言文本的映射關係，一步實現跨模態跨語言的翻譯，理論上可以讓語音翻譯更準更快，極大地提升模型的性能。作者發現語音識別和語音翻譯兩個任務是相輔相成的，希望設計一種交互式的模型，讓語音識別與語音翻譯兩個任務可以動態交互學習，實現知識的共享和傳遞。
作者使用基於自注意力機制的Transformer模型作為主框架，語音識別任務和語音翻譯解碼任務共享同一個編碼器，在解碼器中加入一個交互注意力機制層，實現兩個任務的知識交互和傳遞。
通過實驗結果可以看出，在大多數情況下，基於交互式解碼的同步語言識別與語音翻譯模型的性能表現不管在語音識別任務還是語音翻譯任務上都要顯著高於預訓練的端到端模型、多任務模型和兩階段模型。
對話生成領域入選論文
對話生成領域，百度入選論文《Knowledge Graph Grounded Goal Planning for Open-Domain Conversation Generation》，提出了一個基於知識圖譜及層次化強化學習的開放域對話模型（KnowHRL）。
經典的基於神經網絡的開放域對話生成沒有有效的機制來管理聊天主題，所以容易生成不太連貫的多輪對話。在人-人對話策略的啟發下，作者首次提出將多輪開放域會話生成任務分為兩個子任務：顯式目標（話題選擇）序列規劃和目標細化（深入話題聊天），提出了一個基於知識圖譜及層次化強化學習的開放域對話模型（KnowHRL）。
具體來說，對於第一個子任務，上層策略學習遍歷知識圖譜（KG），以規劃顯式目標序列，從而在對話自洽性與用戶興趣感知程度之間取得良好平衡。對於第二個子任務，中間層策略和下層策略協同工作，藉助目標完成機制，圍繞給定話題的同用戶進行深入聊天。
顯式目標序列規劃功能使開放域聊天機器人具備主動引導對話能力，具有許多實際應用場景，如推薦學習資源。實驗表明，該模型在用戶興趣感知程度、對話自洽性和知識準確性方面優於最新的基線。
入選論文數量的增加可以看出百度 AI 的學術能力已經獲得國際認可，而在技術研發、產業落地等方面，百度 AI 更是拿出實打實的「成績單」。
在過去一年中：
百度深度學習平臺——百度飛槳，累計服務150多萬開發者，發布模型達到16.9萬個，成為中國首個也是目前國內唯一開源開放、功能完備的產業級深度學習平臺。
百度大腦已經升級成「軟硬一體AI大生產平臺」，對外開放240項核心AI能力，服務超過150萬開發者，日均調用量突破1萬億次，語音、人臉、NLP、OCR 調用量中國第一。
百度 Apollo 已跑入23個城市，測試裡程已經突破300萬公裡，智能駕駛專利1237項，位列全國第一。
截至2019年6月，搭載小度助手的智能設備激活數量已突破4億臺，小度助手語音交互超過36億次，前三季度，小度有屏音箱出貨量穩居全球第一。
百度作為AAAI 2020的金牌贊助商，在全面展示論文研究成果的同時，百度展臺現場也十分火爆，現場交流者眾多，宣傳材料已被「搶光」。
作為中國AI的領軍者，百度AI既是中國AI的底氣，也是中國AI的信心。2020年伊始，百度 AI憑藉強有力的技術、科研實力，向全世界注入中國AI強心劑。未來，百度將繼續衝在前面，「產研」結合推動技術創新，帶領中國 AI 起舞於國際舞臺。
登錄百度NLP官網可查看百度NLP更多學術論文，下期我們將為大家詳細解讀AAAI 2020百度入選的4篇NLP領域論文，敬請期待！
百度自然語言處理（Natural Language Processing，NLP）以『理解語言，擁有智能，改變世界』為使命，研發自然語言處理核心技術，打造領先的技術平臺和創新產品，服務全球用戶，讓複雜的世界更簡單。