5月26日，由百度與中國計算機學會中文信息技術專委會、中國中文信息學會青工委聯合舉辦的「2019自然語言處理前沿論壇」正式召開。本屆論壇主題為「機器之『讀、寫、說、譯』—— 探尋NLP未來之路」。論壇圍繞語義計算、自動問答、語言生成、人機對話及機器翻譯五大議題，與學術界、工業界一線青年專家學者共同探討NLP領域的最新技術進展、產業應用及發展趨勢。
語義計算
語義計算方面，學者專家圍繞詞向量、稀疏化深度學習、表示學習等方向進行分享。
哈爾濱工業大學計算機科學與技術學院教授車萬翔以「從『靜態』到『動態』詞向量」為題發表演講。詞向量的引入開啟了深度學習應用於自然語言處理的時代。相比於靜態詞向量，動態詞向量可以根據上下文，更好地處理一詞多義現象，大幅提高自然語言處理多個任務的準確率。車萬翔介紹了研究組基於動態詞向量開展的相關工作，包括跨語言動態詞向量[1]、few-shot learning、輕量級動態詞向量模型等。關於未來的研究方向，車萬翔認為可以挖掘更多的「偽數據」訓練詞向量模型，同時進一步降低模型的複雜度、提升模型速度。
北京大學信息科學技術學院研究員、長聘副教授孫栩的演講主題為「Recent Studies on Sparse Deep Learning for Natural Language Processing」。 孫栩表示，當前深度學習多是密集型深度學習，需要更新所有神經元，這對能量消耗非常大。孫栩聚焦在稀疏化的深度學習NLP，提出一個簡單有效的算法meProp[2]來簡化訓練及訓練出的神經網絡。在反向傳遞算法中，找出梯度中最重要的信息，僅用全梯度的一小部分子集來更新模型參數。實驗表明，在多個任務上5%左右的稀疏化程度就可以達到很好的效果。此外，還提出了帶記憶的meProp，具有更好的穩定性，達到更好的反向傳遞。在進一步的自然語言處理任務中，可以把模型裁剪為原來的1/10左右[3]，而保持效果基本不變。
復旦大學計算機科學技術學院副教授邱錫鵬主要介紹了NLP中的表示學習進展。目前全連接自注意力模型在自然語言處理領域取得廣泛成功。模型層面，他分析和對比了CNN、RNN、Transformer的基本原理和優缺點，還介紹了如何設計模型，以更好地融合局部和非局部的語義矩陣關係。邱錫鵬介紹了研究組最新提出的star-transformer模型[4]，通過引入中間節點，大幅降低了模型複雜度。學習層面，通過預訓練模型以及知識增強(比如ELMo、BERT、GPT、ERNIE等)提高模型泛化能力，在自然語言任務上獲得了更好的性能。邱錫鵬認為，未來可以進一步探索如何更好地融合先驗知識，構建更靈活、兼容性更強的預訓練框架。
百度NLP主任研發架構師、語義計算技術負責人孫宇介紹了百度語義計算技術發展脈絡及研發現狀，並分享了該技術在百度各產品中的應用情況。據介紹，百度語義計算著力研究如何利用計算機對人類語言的語義進行表示、分析和計算，使機器具備語義理解能力。研發了包括語義表示ERNIE[5]、語義匹配SimNet、語義解析、多模態語義計算在內的多項領先語義技術。語義匹配方面，百度提出了一種基於增強學習的語義匹配框架，有效解決長文本匹配問題。在語義表示方面，今年3月，提出知識增強的語義表示模型 ERNIE，並發布了基於 PaddlePaddle 的開原始碼與模型[6]。相較於BERT學習原始語言信號，ERNIE 直接對先驗語義知識單元進行建模，增強了模型語義表示能力，在多項中文自然語言處理任務上取得最好的效果。
自動問答
中國科學院自動化研究所模式識別國家重點實驗室副研究員劉康結合研究組近年的工作[7][8]，介紹了文本閱讀理解的研究進展與挑戰。劉康首先介紹了閱讀理解的主要任務、基本原理和數據集。在研究進展方面，介紹了基於深度學習的閱讀理解模型框架、注意力機制、基於上下文的編碼模型，以及預訓練模型等。同時，他強調，閱讀理解面臨一系列的挑戰，如合理構建數據集、如何提升模型推理能力、如何更好地使用外部知識等。在未來工作方面，劉康認為閱讀理解經過了數據驅動模型的階段，現在學術界開始逐步研究如何利用知識圖譜提升機器閱讀理解效果。在未來，如何更好地表示和應用知識，是非常值得研究的，也有很長的路要走。
百度NLP資深研發工程師、閱讀理解與問答技術負責人劉璟介紹了百度機器閱讀理解技術。百度的研究內容主要包含多文檔閱讀理解模型V-NET[9]，以及知識表示和文本表示融合模型KT-NET[10]。其中，V-NET模型在MSMARCO數據集上三次獲得第一。KT-NET目前是常識推理閱讀理解數據集ReCoRD榜單上排名第一的模型。除了在技術方面不斷投入，百度在去年對外發布了面向搜索場景的閱讀理解數據集DuReader 2.0[11]，數據規模包含30萬問題、150萬文檔和66萬人工標註的答案。百度、中國計算機學會和中文信息學會連續兩年舉辦了基於DuReader數據集的機器閱讀理解評測，推動了中文閱讀理解技術的進步。
語言生成
自然語言生成技術研究如何讓機器能像人一樣使用自然語言進行表達和創作。機器表達、寫作的能力既是衡量機器智能水平的重要標準，同時也具有廣闊的應用前景。
北京大學計算機科學技術研究所教授萬小軍總結了自然語言生成技術的研究現狀，並介紹了可控自然語言生成與跨模態語言生成等方面的研究進展。萬小軍分享了自然語言生成的發展趨勢，包括受控語言生成[12]、文本保真度[13]、問題生成、生成帶特定屬性的文本，以及跨模態生成[14]等，同時也展示了多模態作詩系統。萬小軍還指出，自然語言生成目前面臨兩大挑戰，首先是自動準確的生成文本質量評估，其次是基於少量平行數據的語言生成。如果這兩大問題解決了，將極大地推動自然語言生成技術的發展。
百度NLP主任研發架構師、篇章理解與語言生成技術負責人肖欣延主要分享了百度在自然語言生成方面的技術進展，以及技術如何助力媒體進行智能創作。據介紹，百度研發了基於宏觀規劃、微觀規劃、表層實現的篇章生成算法，同時提出基於規劃、信息選擇、層次化等多種創新神經網絡生成算法，在數據到文本生成、摘要生成、詩歌生成[15]等任務上取得良好效果。目前，百度已將語言生成技術應用於百家號內容創作、語音播報等。值得一提的是，百度還推出了智能寫作平臺[16]，通過提供自動寫作和輔助寫作能力，提升內容創作的效率和質量，為智能創作領域提供更多可能。
人機對話
人機語音交互是一個發展趨勢，對話將成為未來人與智能設備交互的主流形式。 「人機對話」專題探討了對話的研究進展與應用。
清華大學計算機系副教授黃民烈發表了「對話系統中的強語義、弱語義和未來趨勢」主題演講。他表示，經典的對話系統大多採用了強語義方法，例如Frame、slot-filling等;現代神經網絡方法則發展了弱語義方法，完全基於數據驅動和概率統計。前者在實際應用中表現良好，後者則存在嚴重的可控性問題。結合研究組工作，介紹了開放域對話系統面臨的挑戰[17]，更好的融合知識[18]等。黃民烈表示，當下在強語義和弱語義方法間找一個結合點，希望能把數據驅動的模型和知識結合起來。
百度NLP主任研發架構師、UNIT技術負責人孫珂結合智能對話技術產業應用實踐，探討了產品架構、關鍵技術以及對現存問題的思考。圍繞近期百度發布的智能對話系統訓練與服務平臺UNIT3.0[19]，孫珂介紹了任務型、問答型、閒聊型三種在工業界較為成熟的對話系統。此外，為了適應全面豐富的NLP任務，方便更多開發者靈活插拔嘗試多種網絡結構，並且讓應用最快速達到工業級效果，百度還開源了基於PaddlePaddle的工業級中文NLP工具與預訓練模型集PaddleNLP[20]。
機器翻譯
機器翻譯研究如何利用計算機實現人類語言之間的自動翻譯。基於深度學習的機器翻譯方法利用神經網絡直接實現語言之間的自動翻譯，目前已取代傳統的統計機器翻譯，成為學術界和工業界新的主流方法。
清華大學計算機系長聘副教授劉洋介紹了神經網絡機器翻譯的基本原理、重要挑戰以及最新研究進展。近年來，隨著深度學習技術的發展，機器翻譯的質量邁上了一個新的臺階。但是神經網絡翻譯模型仍然面臨一系列重要挑戰，例如：現有模型都是基於雙語平行語料進行學習的，缺乏先驗知識的融合;神經網絡模型就像一個黑盒子，缺乏可解釋性，難以調試和分析;模型對訓練數據敏感、魯棒性較差。針對以上挑戰，劉洋結合研究組工作，介紹了他們在知識驅動[21]、可視化和可解釋性[22]、魯棒性神經網絡機器翻譯[23]方面的最新進展。談及未來工作，劉洋認為，基於規則的翻譯模型需要設計規則，統計機器翻譯需要設計特徵，神經網絡機器翻譯需要設計架構，未來是否能讓機器自動設計神經網絡架構，是一個非常有價值的研究方向。
機器同傳近年來成為人工智慧領域一個前沿研究方向。百度人工智慧技術委員會主席何中軍詳細介紹了機器同傳面臨的主要技術挑戰，並結合百度在機器同傳上的一系列技術創新介紹了該方向的前沿進展。值得一提的是，何中軍的全場報告採用了百度翻譯最新研發的AI同傳小程序進行端到端的語音翻譯，只需要手機掃描會議二維碼，就可以實時收聽到翻譯後的語音。新產品集成了百度在機器同傳上的最新技術，如噪聲容錯、自動斷句、可控時延[24]、篇章翻譯[25]、端到端翻譯[26]等。針對目前的挑戰，何中軍也指出機器同傳未來的三個發展方向：模型方面，研發更加魯棒的同傳模型;數據方面，建設大規模、高質量同傳數據;評價方面，研究和建立面向同傳的評價體系和評價標準。
這場學術界與工業界攜手帶來的深度交流會幹貨頗多，讓與會者收穫滿滿。自然語言處理是人工智慧皇冠上的明珠。當學術界、工業界更緊密地交流合作，越來越深入地理解自然語言、掌握知識，必將共同推動人工智慧發揮更大的價值。
[1] Jiang Guo, Wanxiang Che, David Yarowsky, Haifeng Wang, Ting Liu. Cross-lingual Dependency Parsing Based on Distributed Representations. In Proceedings of the 53nd Annual Meeting of the Association for Computational Linguistics (ACL). 2015.07. Beijing, China
[2] Xu Sun, Xuancheng Ren, Shuming Ma, Houfeng Wang. meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting. In Proceedings of the 34th International Conference on Machine Learning. 2015. Sydney, Australia
[3] Xu Sun, Xuancheng Ren, Shuming Ma, Bingzhen Wei, Wei Li, Jingjing Xu, Houfeng Wang, Yi Zhang. Training Simplification and Model Simplification for Deep Learning: A Minimal Effort Back Propagation Method. IEEE Transactions on Knowledge and Data Engineering (TKDE) 2019
[4] Qipeng Guo, Xipeng Qiu, Pengfei Liu, Yunfan Shao, Xiangyang Xue, Zheng Zhang. Star-Transformer. https://arxiv.org/abs/1902.09113
[5] Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Xuyi Chen, Han Zhang, Xin Tian, Danxiang Zhu, Hao Tian, Hua Wu. ERNIE: Enhanced Representation through Knowledge Integration. https://arxiv.org/abs/1904.09223
[6] https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE
[7] Shizhu He, Kang Liu and Weiting An, Learning to Align Question and Answer Utterances in Customer Service Conversation with Recurrent Pointer Networks, in Proceedings of AAAI 2019, Honolulu, Hawaii, USA, January 27 - February
[8] Cao Liu, Shizhu He, Kang Liu and Jun Zhao, Curriculum Learning for Natural Answer Generation, in Proceedings of IJCAI-ECAI 2018, Stockholm, Sweden, July 13-19.
[9]Yizhong Wang, Kai Liu, Jing Liu, Wei He, Yajuan Lyu, Hua Wu, Sujian Li and Haifeng Wang. Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification. In ACL-2018.
[10] An Yang, Quan Wang, Jing Liu, KAI LIU, Yajuan Lyu, Hua Wu, Qiaoqiao She, Sujian Li，Enhancing Pre-trained Language Representations with Rich Knowledge for Machine Reading Comprehension. ACL-2019
[11] http://ai.baidu.com/broad/subordinate?dataset=dureader
[12] Zhiwei Yu and Jiwei Tan and Xiaojun Wan. A Neural Approach to Pun Generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. 2018. Melbourne, Australia.
[13] Liunian Li and Xiaojun Wan. Point Precisely: Towards Ensuring the Precision of Data in Generated Texts Using Delayed Copy Mechanism. COLING-2018.
[14] Lixin Liu, Xiaojun Wan and Zongming Guo. Images2Poem: Generating Chinese Poetry From Image Streams.2018. In ACM Multimedia Conference.
[15] Zhe Wang, Wei He, Hua Wu, Haiyang Wu, Wei Li, Haifeng Wang, Enhong Chen. 2016. Chinese poetry generation with planning based neural network. In COLING 2016
[16] http://ai.baidu.com/tech/intelligentwriting
[17] Huang, Minlie, Xiaoyan Zhu, and Jianfeng Gao. "Challenges in Building Intelligent Open-domain Dialog Systems." arXiv preprint arXiv:1905.05709 (2019).
[18] Hao Zhou, Tom Young, Minlie Huang, Haizhou Zhao, Jingfang Xu, Xiaoyan Zhu. Commonsense Knowledge Aware Conversation Generation with Graph Attention. IJCAI-ECAI 2018
[19] https://ai.baidu.com/unit/home
[20] https://nlp.baidu.com/homepage/nlptools/
[21] Jiacheng Zhang, Yang Liu, Huanbo Luan, Jingfang Xu and Maosong Sun. 2017. Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization. In Proceedings of ACL 2017, Vancouver, Canada, July
[22] Yanzhuo Ding, Yang Liu, Huanbo Luan and Maosong Sun. 2017. Visualizing and Understanding Neural Machine Translation. In Proceedings of ACL 2017, Vancouver, Canada, July.
[23] Yong Cheng, Zhaopeng Tu, Fandong Meng, Junjie Zhai, and Yang Liu. 2018. Towards Robust Neural Machine Translation. In Proceedings of ACL 2018, pages 1756-1766, Melbourne, Australia, July 15-20
[24] Mingbo Ma, Liang Huang, Hao Xiong, Kaibo Liu, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Haifeng Wang. STACL: Simultaneous Translation with Integrated Anticipation. ACL-2019
[25] Hao Xiong, Zhongjun He, Hua Wu, Haifeng Wang. Modeling Coherence for Discourse Neural Machine Translation. AAAI-2019.
[26] Yuchen Liu, Hao Xiong, Zhongjun He, Jiajun Zhang, Hua Wu, Haifeng Wang, Chengqing Zong. End-to-End Speech Translation with Knowledge Distillation. https://arxiv.org/abs/1904.08075