機器之心 & ArXiv Weekly Radiostation
參與：杜偉、楚航、羅若天
本周的重要論文包括 ACL 2020 公布的最佳論文、最佳主題論文、最佳 Demo 論文以及其他獎項論文，此外還有 MIT 和香港科技大學學者的貝葉斯深度學習綜述論文。
目錄：
Beyond Accuracy: Behavioral Testing of NLP Models with CheckList
Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data
GAIA: A Fine-grained Multimedia Knowledge Extraction System
A Survey on Bayesian Deep Learning
Deep Isometric Learning for Visual Recognition
Data Science: A Comprehensive Overview
Adaptive Graph Encoder for Attributed Graph Embedding
ArXiv Weekly Radiostation：NLP、CV、ML 更多精選論文（附音頻）
論文 1：Beyond Accuracy: Behavioral Testing of NLP Models with CheckList
作者：Marco Tulio Ribeiro、Tongshuang Wu、Carlos Guestrin、Sameer Singh
論文連結：https://www.aclweb.org/anthology/2020.acl-main.442.pdf
摘要：儘管衡量留出（held-out）準確率是評估模型泛化性能的主要方法，但它通常會高估 NLP 模型的性能，而其他評估模型的替代性方法要麼專注於單項任務，要麼只看特定行為。
受軟體工程中行為測試原則的啟發，這項研究提出了一種與任務無關的 NLP 模型測試方法——CheckList。CheckList 不僅包含一些通用語言能力和測試類型以促進全面的測試，還包括一個軟體工具，能夠快速生成大量不同測試案例。研究人員在三項任務中測試了 CheckList 的效果，在商業化模型和 SOTA 模型中都發現了嚴重的問題。
一項用戶調查顯示，負責商業化情感分析模型的團隊在一個經過大量測試的模型中發現了新的 bug。而在另一項用戶調查中，使用 CheckList 的 NLP 從業者創建的測試數量是未使用 CheckList 的兩倍，發現的 bug 數量是後者的三倍 。
商業情感分析模型的 Checklist。
情感分析測試。
用戶研究結果。
推薦：本文斬獲 ACL 2020 最佳論文獎。
論文 2：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data
作者：Emily M. Bender、Alexander Koller
論文連結：https://www.aclweb.org/anthology/2020.acl-main.463/
摘要：大型神經語言模型在許多 NLP 任務上獲得成功。但是，在本文中，來自華盛頓大學和薩爾大學的兩位研究者發現這些成功有時會被過度誇大。這些模型經常被描述成「理解」語言或者捕獲語言的「意義」。
該研究認為，僅接受形式訓練的系統不具備學習語言意義的能力。在 ACL 2020 的主題「Taking Stock of Where We』ve Been and Where We’re Going」下，該研究認為，清晰地理解「形式」與「意義」的區別有助於引導該領域在自然語言理解層面有更科學的發展。
研究者使用的示例。
推薦：本文斬獲 ACL 2020 最佳主題論文獎。
論文 3：GAIA: A Fine-grained Multimedia Knowledge Extraction System
作者：Manling Li、Alireza Zareian、Ying Lin 等
論文連結：https://blender.cs.illinois.edu/paper/aidaacl2020demo.pdf
項目地址：https://github.com/GAIA-AIDA
摘要：在本文中，來自 UIUC、哥大等機構的研究者提出了首個綜合開源的多媒體知識提取系統，該系統可基於不同的內容源和語言提取大量非結構化異構多媒體數據，並遵循豐富細粒度本體，創建出連貫且結構化的知識庫、索引實體、關係和事件。
該研究提出的系統 GAIA 可實現複雜圖 query 的無縫搜索，並檢索出文本、圖像和視頻等多媒體證據。GAIA 在近期的 NIST TAC SM-KBP2019 評估中實現了頂級性能。
GAIA 多媒體知識提取的架構。
與以往研究中的粗粒度知識提取系統相比，GAIA 支持細粒度實體、關係和事件提取。
基於人臉識別、地標識別和國旗識別的視覺實體連結示例。
推薦：本文斬獲 ACL 2020 最佳 Demo 論文獎。
論文 4：A Survey on Bayesian Deep Learning
作者：Hao Wang、Dit-Yan Yeung
論文連結：https://arxiv.org/pdf/1604.01662.pdf
摘要：一個全面的人工智慧系統不僅需要通過視覺和聽覺等不同的「感官」來感知環境，還需要對條件甚至因果關係以及相應的不確定性進行推理。在過去十年裡，感知任務已經陸續取得重大進展，比如視覺目標識別以及使用深度學習模型的語音識別。但是，對於更高層次的推理，具有貝葉斯屬性的概率圖模型（Probabilistic Graphical Model, PGM）仍然更加強大和靈活。
近年來，作為一種統一的概率框架，貝葉斯深度學習（Bayesian Deep Learning, BDL）已經緊密結合了深度學習與貝葉斯模型。並且在這個通用框架中，藉助深度學習感知文本或圖像可以提升更高層次推理的性能。
在本文中，來自麻省理工學院和香港科技大學的兩位研究者對貝葉斯深度學習進行了全面的介紹，綜述了貝葉斯深度學習在推薦系統、主題模型和控制等方面的最新應用。此外，研究者還探討了貝葉斯深度學習與神經網絡貝葉斯處理等其他相關主題之間的關係和區別。
貝葉斯深度學習示例的概率圖模型結構。
左為協同深度學習（Collaborative Deep Learning, CDL）的圖模型，右為退化協同深度學習的圖模型。
推薦：本文一作王灝（Hao Wang）為 MIT CSAIL 博士後研究員，論文已被 ACM Computing Surveys 接收。
論文 5：Deep Isometric Learning for Visual Recognition
作者：Haozhi Qi、Chong You、Xiaolong Wang、Yi Ma、 Jitendra Malik
論文連結：https://arxiv.org/pdf/2006.16992.pdf
摘要：初始化、歸一化和殘差連接（skip connection）被認為是訓練深度卷積神經網絡（ConvNet）並獲得最優性能的三大必備技術。
最近，來自加州大學伯克利分校和聖地牙哥分校的研究者發布一項研究，提出不使用歸一化和殘差連接的深度 ConvNet 在標準圖像識別基準上也能實現優異的性能。其實現方式是：在初始化和訓練期間，令卷積核具備近似保距性（near isometric）；使用 ReLU 激活函數的變體，實現保距性。
研究人員進行了大量實驗，結果表明此類近似保距網絡與殘差連接結合後，在 ImageNet 數據集上的性能與 ResNet 相當，在 COCO 數據集上的性能甚至超過 ResNet。
ISONet 的基礎構造塊圖示。
ISONet 的 Top-1 準確率接近 ResNet。
不同層數（18、34、50 和 101）時 ISONet 在 ImageNet 上的 top-1 準確率。
推薦：靠暴力土豪 trial and error 的方式尋找網絡結構的風氣，應該會很快過去。
論文 6：Data Science: A Comprehensive Overview
作者：Longbing Cao
論文連結：https://arxiv.org/pdf/2007.03606.pdf
摘要：在本文中，來自雪梨科技大學的研究者對數據科學的基礎知識進行了全面的綜述，涵蓋數據分析到數據科學的演變、數據科學的概念、數據科學時代的願景、數據創新的主要挑戰和發展方向、數據分析的本質、數據經濟中的新型工業化和服務機遇、數據教育專業和能力、以及數據科學的未來。
數據科學領域的一些關鍵術語。
谷歌在線搜索數據科學關鍵詞的逐年變化曲線。
數據科學概念圖。
推薦：這篇論文首次勾勒出了數據科學領域的全面視圖，還提供了關於數據科學和分析的豐富觀察、教訓和思考。
論文 7：Adaptive Graph Encoder for Attributed Graph Embedding
作者：Ganqu Cui、Jie Zhou、Cheng Yang、Zhiyuan Liu
論文連結：https://arxiv.org/pdf/2007.01594.pdf
摘要：在本文中，來自清華大學等機構的研究者提出了一種新穎的屬性圖嵌入框架自適應圖編碼器（Adaptive Graph Encoder, AGE）。該框架由兩個模塊組成，其一，為了更好地減輕節點特徵中的高頻噪聲，AGE 首次應用了精心設計的拉普拉斯算子平滑濾波器；其二，AGE 採用的自適應編碼器能夠取得濾波後特徵的迭代增強，以實現更好的節點嵌入。
在實驗部分，研究者使用四個公共基準數據集進行實驗，以驗證 AGE 在節點聚類和鏈路預測任務上的效果。
AGE 框架圖。
自適應圖編碼器算法。
AGE 與其他方法在節點聚類任務上的實驗結果比較。
推薦：實驗結果表明，AGE 在節點聚類和鏈路預測任務上始終優於當前 SOTA 圖形嵌入方法。
ArXiv Weekly Radiostation
機器之心聯合由楚航、羅若天發起的ArXiv Weekly Radiostation，在 7 Papers 的基礎上，精選本周更多重要論文，包括NLP、CV、ML領域各10篇精選，並提供音頻形式的論文摘要簡介，詳情如下：
本周 10 篇 NLP 精選論文是：
1. Improving Event Detection using Contextual Word and Sentence Embeddings. (from Evangelos Milios)
2. TICO-19: the Translation Initiative for Covid-19. (from Philipp Koehn)
3. On-The-Fly Information Retrieval Augmentation for Language Models. (from David McAllester)
4. Principal Word Vectors. (from Joakim Nivre)
5. Greedy Transition-Based Dependency Parsing with Discrete and Continuous Supertag Features. (from Joakim Nivre)
6. Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion. (from Kun Zhou, Ji-Rong Wen)
7. Interpreting Hierarchical Linguistic Interactions in DNNs. (from Xiaoyi Bao)
8. What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets. (from Louis-Philippe Morency)
9. Learning Neural Textual Representations for Citation Recommendation. (from Massimo Piccardi)
10. KQA Pro: A Large Diagnostic Dataset for Complex Question Answering over Knowledge Base. (from Juanzi Li)
本周 10 篇 CV 精選論文是：
1. Long-term Human Motion Prediction with Scene Context. (from Jitendra Malik)
2. 3D Shape Reconstruction from Vision and Touch. (from Jitendra Malik)
3. LabelEnc: A New Intermediate Supervision Method for Object Detection. (from Xiangyu Zhang, Jian Sun)
4. AutoAssign: Differentiable Label Assignment for Dense Object Detection. (from Jian Sun)
5. End-to-end Interpretable Learning of Non-blind Image Deblurring. (from Jian Sun, Jean Ponce)
6. Video Prediction via Example Guidance. (from Xiaokang Yang, Trevor Darrell)
7. Human Trajectory Forecasting in Crowds: A Deep Learning Perspective. (from Sven Kreiss)
8. Explainable Deep One-Class Classification. (from Klaus-Robert Müller)
9. Dynamic Group Convolution for Accelerating Convolutional Neural Networks. (from Matti Pietikäinen, Li Liu)
10. ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation. (from Joshua B. Tenenbaum)
本周 10 篇 ML 精選論文是：
1. 3D Topology Transformation with Generative Adversarial Networks. (from Albert-László Barabási)
2. Network Embedding with Completely-imbalanced Labels. (from Zheng Wang, Philip S. Yu)
3. Personalized Federated Learning: An Attentive Collaboration Approach. (from Jiangchuan Liu, Jian Pei)
4. Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data. (from Gang Wang, Georgios B. Giannakis)
5. Strong Generalization and Efficiency in Neural Programs. (from Pushmeet Kohli, Oriol Vinyals)
6. Estimating Generalization under Distribution Shifts via Domain-Invariant Representations. (from Antonio Torralba)
7. Deep Partial Updating. (from Lothar Thiele)
8. PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest. (from Jure Leskovec)
9. Neural Subgraph Matching. (from Jure Leskovec)
10. Semi-Supervised Learning with Meta-Gradient. (from Ming-Ming Cheng, Ming-Hsuan Yang)
原標題：《7 Papers & Radios | ACL 2020獲獎論文；貝葉斯深度學習綜述》
閱讀原文