機器之心報導
參與：魔王、小舟、杜偉
在陸續放出時間檢驗獎、終身成就獎和傑出服務獎之後，ACL 2020 終於公布了今年的最佳論文獎。該獎項由來自微軟研究院、華盛頓大學和加州大學歐文分校的研究者摘得，主題是與任務無關的 NLP 模型測試方法。
ACL 是自然語言處理領域的頂級會議，根據剛剛發布的最新版 Google Scholar Metrics，ACL 繼續領跑計算語言學領域，h5 指數達到 135。
今年的 ACL 會議於本月 5 日至 10 日在線上召開。此次會議公布了最佳論文、最佳主題論文、最佳 demo 論文、時間檢驗獎等多個獎項。
此外，大會官方也介紹了今年的接收論文、熱門研究主題等數據。
ACL 2020 共收到投稿 3429 篇，創下了 ACL 投稿數量的新紀錄。此次會議共接收論文 779 篇，包括 571 篇長論文和 208 篇短論文，論文接收率為 22.7%。
接下來，我們看下 ACL 2020 的熱門研究主題。
用於 NLP 的機器學習、對話與交互技術、機器翻譯、信息提取和 NLP 應用是此次會議最熱門的 5 個研究主題，每個都有超過 200 篇論文投稿。其中「用於 NLP 的機器學習」主題的論文投稿接近 300 篇（296）。
此外，大會公布了論文提交數量最多的 25 個國家或地區，中國大陸以 1084 篇的提交量位列第一，其次是美國。
從接收論文的數量看，排在前 5 位的國家或地區分別是：美國（305 篇），中國大陸（185 篇），英國（50 篇），德國（44 篇），日本（24 篇）。
接下來就是今天的重頭戲——獎項了。
最佳論文獎
ACL 2020 最佳論文獎項由來自微軟研究院、華盛頓大學、加州大學歐文分校的研究人員摘得，該研究提出了一種與任務無關的 NLP 模型測試方法。
論文連結：https://www.aclweb.org/anthology/2020.acl-main.442.pdf
簡介：儘管衡量留出（held-out）準確率是評估模型泛化性能的主要方法，但它通常會高估 NLP 模型的性能，而其他評估模型的替代性方法要麼專注於單項任務，要麼只看特定行為。
受軟體工程中行為測試原則的啟發，這項研究提出了一種與任務無關的 NLP 模型測試方法——CheckList。CheckList 不僅包含一些通用語言能力和測試類型以促進全面的測試，還包括一個軟體工具，能夠快速生成大量不同測試案例。
研究人員在三項任務中測試了 CheckList 的效果，在商業化模型和 SOTA 模型中都發現了嚴重的問題。一項用戶調查顯示，負責商業化情感分析模型的團隊在一個經過大量測試的模型中發現了新的 bug。而在另一項用戶調查中，使用 CheckList 的 NLP 從業者創建的測試數量是未使用 CheckList 的兩倍，發現的 bug 數量是後者的三倍。
此外，大會還公布了最佳論文榮譽提名獎，共有兩篇論文獲得此獎項。
最佳主題論文獎
此次會議的最佳主題論文獎由來自美國華盛頓大學和德國薩爾大學的研究者摘得。
論文連結：https://www.aclweb.org/anthology/2020.acl-main.463/
簡介：大型神經語言模型在許多 NLP 任務上獲得成功。但是，該研究發現這些成功有時會被過度誇大。這些模型經常被描述成「理解」語言或者捕獲語言的「意義」。該研究認為，僅接受形式訓練的系統不具備學習語言意義的能力。在 ACL 2020 的主題「Taking Stock of Where We』ve Been and Where We’re Going」下，該研究認為，清晰地理解「形式」與「意義」的區別有助於引導該領域在自然語言理解層面有更科學的發展。
此外，會議還公布了最佳主題論文提名獎：
最佳 Demo 論文
論文連結：https://blender.cs.illinois.edu/paper/aidaacl2020demo.pdf
簡介：這項研究提出了首個綜合開源的多媒體知識提取系統，該系統可基於不同的內容源和語言提取大量非結構化異構多媒體數據，並遵循豐富細粒度本體，創建出連貫且結構化的知識庫、索引實體、關係和事件。
該研究提出的系統 GAIA 可實現複雜圖 query 的無縫搜索，並檢索出文本、圖像和視頻等多媒體證據。GAIA 在近期的 NIST TAC SM-KBP2019 評估中實現了頂級性能。
GitHub 地址：https://github.com/GAIA-AIDA
論文講解視頻：http://blender.cs.illinois.edu/aida/gaia.mp4
以下兩篇論文獲得了 ACL 2020 最佳 demo 論文榮譽提名獎：
除了最佳論文、最佳主題論文和最佳 Demo 論文之外，ACL 2020 還公布了時間檢驗獎、終身成就獎，以及傑出服務獎。
時間檢驗獎
ACL 2020 的時間檢驗獎（Test of Time Awards）頒給了 4 篇論文，其中 2 篇發表於 1995 年，經受住了 25 年的時間檢驗，另外兩篇發表於 2010 年。
論文 1：Centering: A Framework for Modeling the Local Coherence of Discourse
論文連結：https://www.aclweb.org/anthology/J95-2003.pdf
論文作者：Barbara J. Grosz（哈佛大學）、Aravind K. Joshi（賓大）、Scott Weinstein（賓大）
這篇論文於 1995 年發表在 CL 上，被引用次數高達 2700 多次。
該論文是計算對話（computational discourse）領域最重要的論文之一，融合了理論語言學、心理語言學和形式語義學，展示了「語言學」在「計算語言學」中的力量。
論文 2：Unsupervised Word Sense Disambiguation Rivaling Supervised Methods
論文連結：https://www.aclweb.org/anthology/P95-1026.pdf
論文作者：David Yarowsky（賓大計算機與信息科學系）
這篇論文於 1995 年發表在 ACL 上，被引用次數也在 2700 次以上。
該論文開創性地將語言學假設和無監督學習融合起來，展示了統計數據驅動的技術在 NLP 領域中的強大作用。這篇論文探討的問題——監督學習和無監督學習的性能差距、標註數據的成本，放到現在依舊不過時。
論文 3：Distributional Memory: A General Framework for Corpus-Based Semantics
論文連結：https://www.mitpressjournals.org/doi/pdf/10.1162/coli_a_00016
論文作者：Marco Baroni（特倫託大學）、Alessandro Lenci（比薩大學）
本文於 2010 年發表在 CL 上，被引用次數近 700 次。
該論文開創性地提倡詞彙語義學的通用學得表徵，提出自監督預訓練方法（類似於 word2vec、BERT 中所使用的），促進了計算語義學、認知建模和語言學理論之間的聯繫。
論文 4：Word representations: A simple and general method for semi-supervised learning
論文連結：https://www.aclweb.org/anthology/P10-1040.pdf
論文作者：Joseph Turian（蒙特婁大學）、Lev Ratinov（伊利諾伊大學厄巴納 - 香檳分校）、Yoshua Bengio（蒙特婁大學）
這篇論文於 2010 年發表在 ACL 上，被引用次數超過 2200 次。
該論文是將向量表示用於 NLP 任務的裡程碑式著作。它在提出詞嵌入方面早了大約五年，並首次在多項 NLP 任務上對比了 distributional 和 distributed（分布式）詞表示，論文倡導的思想至今在 NLP 領域佔據中心地位。
終身成就獎
大會將終身成就獎頒給了愛丁堡大學榮休教授 Bonnie Webber。ACL 組委會表示，該獎項旨在表彰她在篇章分析領域做出的傑出貢獻。
1978 年，Bonnie Webber 在哈佛大學獲得博士學位。之後在賓夕法尼亞大學任教多年，後進入愛丁堡大學任教。2016 年，她從愛丁堡大學退休，成為愛丁堡大學語言、認知和計算研究所智能系統的名譽教授。
Bonnie Webber 致力於篇章研究，參與了賓州篇章樹庫（Penn Discourse TreeBank）的開發。
她的博士論文《A Formal Approach to Discourse Anaphora》使用形式邏輯對自然語言語句的意義進行建模。此外，Bonnie Webber 與人合著《模擬人類：計算機圖形動畫和控制》一書，並參與編寫了《Elements of Discourse Understanding》、《Readings in Artificial Intelligence》等書籍。
Bonnie Webber 於 1980 年擔任 ACL 主席，1991 年成為 AAAI Fellow，2004 年當選愛丁堡皇家學會會士。2012 年因其在篇章結構和基於篇章的解釋方面的突出貢獻，Bonnie Webber 被授予 ACL Fellow。在本屆 ACL 大會上，她獲得 ACL 終身成就獎。
出生於 1946 年，現年 74 歲的 Bonnie Webber 仍然筆耕不輟。從她的谷歌學術頁面，我們可以看到她 2019 年參與的論文數量達 12 篇之多。
傑出服務獎
ACL 2020 將今年的傑出服務獎頒給了多倫多大學計算機語言學教授 Graeme Hirst。
Graeme Hirst 的研究興趣為：計算機語言學和自然語言處理，及其在醫療衛生、社會科學和人文科學中的應用。他是《Human Language Technologies》綜合叢書的編輯，曾獲得加拿大人工智慧協會頒發的終身成就獎。
此外，Graeme Hirst 於 2004-05 年擔任 ACL 北美分會的主席，2008-2017 年擔任 ACL 財務主管，並於 2019 年成為 ACL Fellow。
ACL 主席 Hinrich Schutze 在頒獎時表示：「這些年來，Graeme Hirst 一直負責 ACL 的財務事宜，始終深入參與大會的組織流程等相關工作，為大會的順利舉辦做出了突出貢獻。感謝 Graeme Hirst 一直以來為 ACL 做出的貢獻。」