機器之心 & ArXiv Weekly Radiostation
參與：杜偉、楚航、羅若天
本周的重要論文包括 登上 Nature 的 NumPy 論文，以及高效 Transformer 綜述論文。
目錄：
High-frequency Component Helps Explain the Generalization of Convolutional Neural Network
Learning from Very Few Samples: A Survey
Array programming with NumPy
Progress in Quantum Computing Cryptography Attacks
Implicit Graph Neural Networks
Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
Efficient Transformers: A Survey
ArXiv Weekly Radiostation：NLP、CV、ML 更多精選論文（附音頻）
論文 1：High-frequency Component Helps Explain the Generalization of Convolutional Neural Network
作者：Haohan Wang、Xindi Wu、Zeyi Huang、Eric P. Xing
論文連結：https://arxiv.org/pdf/1905.13545.pdf
摘要：如何理解神經網絡的泛化能力？CMU 的汪浩瀚、邢波等人在這篇論文中另闢蹊徑，從數據的角度入手，探討那些曾讓我們百思不得其解的泛化現象。
人與模型視覺上的區別：低頻重建的圖片與原圖看起來幾乎一致，卻被模型預測成了不同的 label。高頻重建的圖片人眼幾乎無法識別，模型卻能成功預測出原來的 label。
左：普通卷積神經網絡的卷積核的可視化；右：對對抗攻擊魯棒的卷積神經網絡的卷積核的可視化。
在訓練過程中，測試準確率隨著 epoch 數的變化。每一個板塊描述的是一個不同的訓練技巧。顏色代表著區分低頻信息和高頻信息的半徑。實線代表低頻信息，虛線代表高頻信息。虛線越高，表示越多的高頻信息被學習到了。
推薦：研究者認為在未來，更加直觀地把人的視覺特徵加入模型中的技術可能會比較重要。
論文 2：Learning from Very Few Samples: A Survey
作者：Jiang Lu、Pinghua Gong、Jieping Ye、 Jianwei Zhang、Changshui Zhang
論文連結：https://arxiv.org/pdf/2009.02653.pdf
摘要：少樣本學習（FSL）是機器學習領域中重要且有難度的課題。基於少量樣本進行學習和泛化的能力是區分人工智慧和人類智能的重要分界線，因為人類往往能夠基於一個或少量樣本建立對新事物的認知，而機器學習算法通常需要數百或數千個監督樣本才能實現泛化。
少樣本學習的研究可以追溯到 21 世紀初，近年來隨著深度學習技術的發展它也受到廣泛的關注，但是目前關於 FSL 的綜述文章較少。清華大學教授、IEEE Fellow 張長水等人廣泛閱讀和總結了自 21 世紀初到 2019 年的 300 餘篇論文，寫了一篇關於 FSL 的綜述文章。
這篇綜述文章回顧了 FSL 的演進歷史和當前進展，將 FSL 方法分為基於生成模型和基於判別模型兩大類，並重點介紹了基於元學習的 FSL 方法。
該綜述文章的主要內容，包括 FSL 的發展過程、方法分類、擴展性主題和應用。
基於生成模型的 FSL 方法。
基於增強的 FSL 方法的通用框架。
推薦：30 頁 PDF，400+ 參考文獻，清華大學張長水等撰寫少樣本學習綜述文章。
論文 3：Array programming with NumPy
作者：Charles R. Harris、K. Jarrod Millman、Travis E. Oliphant 等
論文連結：https://www.nature.com/articles/s41586-020-2649-2
摘要：NumPy 是什麼？它是大名鼎鼎的使用 Python 進行科學計算的基礎軟體包，是 Python 生態系統中數據分析、機器學習、科學計算的主力軍，極大簡化了向量與矩陣的操作處理。近日，NumPy 核心開發團隊的論文終於在 Nature 上發表，詳細介紹了使用 NumPy 的數組編程。這篇綜述論文的發表距離 NumPy 誕生已經過去了 15 年。
NumPy 數組包括多種基礎數組概念。
NumPy 是科學 Python 生態系統的基礎。
NumPy 的 API 和數組協議向生態系統提供了新的數組。
推薦：15 年！NumPy 論文終出爐，還登上了 Nature。
論文 4：Progress in Quantum Computing Cryptography Attacks
作者：WANG Chao、YAO Hao-Nan、WANG Bao-Nan、HU Feng、ZHANG Huan-Guo、JI Xiang-Min
論文連結：http://cjc.ict.ac.cn/online/onlinepaper/08150%20%E7%8E%8B%E6%BD%AE-202094103159.pdf
摘要：通用量子計算機器件進展緩慢，對實用化 1024-bit 的 RSA 密碼破譯尚不能構成威脅，現代密碼依舊是 安全的。量子計算密碼攻擊需要探索新的途徑：一是，量子計算能否協助 / 加速傳統密碼攻擊模式，拓展已有量子 計算的攻擊能力；二是，需要尋找 Shor 算法之外的量子計算算法探索密碼攻擊。對已有的各類量子計算整數分解 算法進行綜述，分析量子計算密碼攻擊時面對的挑戰，以及擴展至更大規模整數分解存在的問題。
結合 Shor 算法 改進過程，分析 Shor 算法對現代加密體系造成實質性威脅前遇到的困難並給出 Shor 破譯 2048 位 RSA 需要的資 源。分析基於 D-Wave 量子退火原理的 RSA 破譯，這是一種新的量子計算公鑰密碼攻擊算法，與 Shor 算法原理上 有本質性不同。將破譯 RSA 問題轉換為組合優化問題，利用量子退火算法獨特的量子隧穿效應跳出局部最優解逼 近全局最優解，和經典算法相比有指數級加速的潛力。進一步闡述 Grover 量子搜索算法應用於橢圓曲線側信道攻 擊，拓展其攻擊能力。探討量子人工智慧算法對 NTRU 等後量子密碼攻擊的可能性。
Shor 量子算法改進過程。
Shor 算法求解橢圓曲線離散對數 k 的流程圖。
量子退火與模擬退火示意圖。
推薦：這篇論文在 2020 年 9 月份的《計算機學報》上發表。
論文 5：Implicit Graph Neural Networks
作者：Fangda Gu、Heng Chang、Wenwu Zhu、Somayeh Sojoudi、Laurent El Ghaoui
論文連結：https://arxiv.org/pdf/2009.06211.pdf
摘要：圖神經網絡（GNN）是得到廣泛應用的深度學習模型，這些模型從圖結構數據中學習有意義的表示。但是，由於底層循環結構的有限屬性，當前 GNN 方法可能很難捕獲底層圖中的長期依賴（long-range dependency）。
為了克服相關困難，來自 UC 伯克利和清華大學的研究者在本文中提出了一種名為隱圖神經網絡（implicit graph neural network, IGNN）的圖學習框架，其中預測基於包含隱定義「狀態」向量的定點平衡方程的解。
具體而言，研究者使用 Perron-Frobenius 定理推導出了確保該框架適定性（well-posedness）的充分條件。通過隱微分，研究者又推導出了一種易處理的投影梯度下降方法來訓練框架。
一系列任務上的實驗表明，IGNN 始終捕獲了長期依賴，並優於當前 SOTA 模型。
IGNN 與其他模型在 PPI 數據集中的多標籤節點分類 Micro-F_1 的結果比較。
圖分類準確率結果比較。
異構網絡數據集上節點分類 Micro/Macro-F_1 的結果比較。
推薦：論文一作 Fangda Gu 為 UC 伯克利 EECS 博士生。
論文 6：Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
作者：Kun Zhou、Wayne Xin Zhao、Shuqing Bian、Yuanhang Zhou、Ji-Rong Wen、Jingsong Yu
論文連結：https://arxiv.org/pdf/2007.04032.pdf
摘要：在這篇論文中，來自北京大學和中國人民大學的研究者合併了面向單詞和實體的知識圖譜（KG）以提升對話推薦系統（CRS）中的數據表示，並採用互信息最大化來對齊單詞和實體層面的語義空間。
基於對齊的語義表示，研究者進一步推出了用於做出準確建議的知識圖譜增強型推薦組件，以及可以在響應文本中生成信息關鍵詞或實體的知識圖譜增強型對話組件。
大量的實驗表明，本研究中的方法可以在推薦和對話任務中實現更好的性能。
電影推薦場景中的模型架構圖。
推薦任務上的比較結果。
對話任務上的自動評估結果比較。
推薦：這篇論文被 ACM SIGKDD 2020 收錄。
論文 7：Efficient Transformers: A Survey
作者：Yi Tay、Mostafa Dehghani 、Dara Bahri、Donald Metzler
論文連結：https://arxiv.org/pdf/2009.06732.pdf
摘要：該論文提出了一種針對高效 Transformer 模型的分類法，按照技術創新和主要用途進行分類。具體而言，該論文綜述了在語言和視覺領域均有應用的 Transformer 模型，並為其中的部分模型提供了詳細的解讀。
標準 Transformer 架構圖。
高效 Transformer 模型
按發布時間順序整理的高效 Transformer 模型。
推薦：這是一篇針對高效 Transformer 模型的綜述文章。
ArXiv Weekly Radiostation
機器之心聯合由楚航、羅若天發起的ArXiv Weekly Radiostation，在 7 Papers 的基礎上，精選本周更多重要論文，包括NLP、CV、ML領域各10篇精選，並提供音頻形式的論文摘要簡介，詳情如下：
本周 10 篇 NLP 精選論文是：
1. Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks. (from Andrew McCallum)
2. Generative Language-Grounded Policy in Vision-and-Language Navigation with Bayes' Rule. (from Kyunghyun Cho)
3. Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation. (from Kyunghyun Cho)
4. A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation. (from Kyunghyun Cho)
5. UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation. (from Minlie Huang)
6. Leveraging Semantic Parsing for Relation Linking over Knowledge Bases. (from Salim Roukos)
7. Lessons Learned from Applying off-the-shelf BERT: There is no SilverBullet. (from Lior Rokach)
8. Noisy Self-Knowledge Distillation for Text Summarization. (from Yang Liu, Mirella Lapata)
9. Reasoning about Goals, Steps, and Temporal Ordering with WikiHow. (from Chris Callison-Burch)
10. A Computational Approach to Understanding Empathy Expressed in Text-Based Mental Health Support. (from David C. Atkins)
本周 10 篇 CV 精選論文是：
1. Layered Neural Rendering for Retiming People in Video. (from Andrew Zisserman, David Salesin, William T. Freeman)
2. Evaluating Self-Supervised Pretraining Without Using Labels. (from Trevor Darrell, Kurt Keutzer)
3. Perceiving Traffic from Aerial Images. (from Sven Kreiss)
4. Multiple Exemplars-based Hallucinationfor Face Super-resolution and Editing. (from Tinne Tuytelaars)
5. BOP Challenge 2020 on 6D Object Localization. (from Carsten Rother, Jiri Matas)
6. Promoting Connectivity of Network-Like Structures by Enforcing Region Separation. (from Pascal Fua)
7. HOTA: A Higher Order Metric for Evaluating Multi-Object Tracking. (from Philip Torr, Andreas Geiger, Bastian Leibe)
8. Calibrating Self-supervised Monocular Depth Estimation. (from Andrea Vedaldi)
9. PointIso: Point Cloud Based Deep Learning Model for Detecting Arbitrary-Precision Peptide Features in LC-MS Map through Attention Based Segmentation. (from Ming Li)
10. Optimal Use of Multi-spectral Satellite Data with Convolutional Neural Networks. (from James Foley)
本周 10 篇 ML 精選論文是：
1. Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization. (from Jiawei Han)
2. Real-Time Streaming Anomaly Detection in Dynamic Graphs. (from Christos Faloutsos)
3. Holistic Filter Pruning for Efficient Deep Neural Networks. (from Wolfram Burgard)
4. Demand Forecasting of individual Probability Density Functions with Machine Learning. (from U. Kerzel)
5. Matrix Profile XXII: Exact Discovery of Time Series Motifs under DTW. (from Eamonn Keogh)
6. Analyzing the effect of APOE on Alzheimer's disease progression using an event-based model for stratified populations. (from M. Kamran Ikram, Wiro J. Niessen)
7. Evaluating representations by the complexity of learning low-loss predictors. (from Kyunghyun Cho)
8. Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification. (from Yang Gao)
9. Decoupling Representation Learning from Reinforcement Learning. (from Pieter Abbeel)
10. LAAT: Locally Aligned Ant Technique for detecting manifolds of varying density. (from Reynier F. Peletier)
原標題：《7 Papers & Radios | NumPy論文登上Nature；高效Transformer綜述》
閱讀原文