機器之心 & ArXiv Weekly Radiostation
參與：杜偉、楚航、羅若天
本周的重要論文包括 SIGGRAPH 2020 最佳博士論文，以及南開大學等提出的自校準卷積和相應網絡。
目錄：
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
Deformable Siamese Attention Networks for Visual Object Tracking
Boosting Few-Shot Learning With Adaptive Margin Loss
Improving Convolutional Networks with Self-Calibrated Convolutions
Meta-Graph: Few Shot Link Prediction Via Meta Learning
Differentiable Visual Computing
Semantic Image Manipulation Using Scene Graphs
ArXiv Weekly Radiostation：NLP、CV、ML 更多精選論文（附音頻）
論文 1：LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
作者：Xiangnan He、Kuan Deng、Xiang Wang、Yan Li、Yongdong Zhang、Meng Wang
論文連結：http://staff.ustc.edu.cn/~hexn/papers/sigir20-LightGCN.pdf
摘要：在本文中，來自中國科學技術大學和新加坡國立大學等機構的研究者簡化了 GCN 設計，使它更加簡潔且更適合推薦任務。他們提出了一個新模型 LightGCN，其中僅使用 GCN 中的最基本組件鄰域聚合（neighborhood aggregation）來進行協同過濾。具體來說，LightGCN 通過在用戶 - 物品（user-item）交互圖上線性地傳播用戶和物品嵌入，進而學習它們，並將所有層上學得的嵌入加權和用作最終嵌入（final embedding）。
這種簡單、線性和整潔的模型實現和訓練起來更加容易，並在相同的實驗設置下較當前基於 GCN 的 SOTA 推薦模型神經圖協同過濾（Neural Graph Collaborative Filtering, NGCF）有了 j 較大的性能提升，平均提升約 16.0%。
當前基於 GCN 的 SOTA 推薦模型 GGCF 及其三種變體的性能表現。
LightGCN 模型架構圖。
NGCF 與 LightGCN 在不同數量層上的性能比較。
推薦：研究者在 TensorFlow 和 PyTorch 中均提供了 LightGCN 模型實現。
論文 2：Deformable Siamese Attention Networks for Visual Object Tracking
作者：Yuechen Yu、Yilei Xiong、Weilin Huang、Matthew R. Scott
論文連結：https://arxiv.org/pdf/2004.06711.pdf
摘要：在本篇論文中，碼隆科技提出了可變形孿生注意力網絡（Deformable Siamese Attention Networks, SiamAttn），以此來提升孿生網絡跟蹤器的特徵學習能力。這種注意力機制為跟蹤器提供了一種自適應地隱式更新模板特徵的方法。
本研究中 SiamAttn 方法與其他三種當前 SOTA 跟蹤器的跟蹤效果比較。可以看到，SiamAttn 的結果更加準確，並且對外觀變化、複雜背景和幹擾物具有更強的魯棒性。
SiamAttn 網絡架構圖示，包括一個可變形孿生注意力（deformable Siamese attention, DSA）模塊、孿生候選區域網絡（Siamese region proposal network, SiamRPN）和區域細化模塊（region refinement module）。
可變形孿生注意力模塊包括兩個子模塊：self-attention 子模塊和 cross-attention 子模塊。
推薦：研究者在 6 個基準上進行實驗，結果表明該網絡取得了新的 SOTA 結果，超越了強大的基線方法 SiamRPN++。
論文 3：Boosting Few-Shot Learning With Adaptive Margin Loss
作者：Aoxue Li、Weiran Huang、Xu Lan、Jiashi Feng、Zhenguo Li、Liwei Wang
論文連結：https://www.weiranhuang.com/publications/pdf/traml2020.pdf
摘要：在本文中，來自北京大學信息科學技術學院和華為諾亞方舟實驗室等機構的研究者提出了一種自適應邊際損失方法，對於少樣本學習（few-shot learning）問題的度量元學習方法來說，這種自適應邊際損失方法可以提升它們的泛化能力。具體來說，研究者首先開發了一個類相關額外邊際損失（additive margin loss），其中每對類之間的語義相似性用來將特徵嵌入空間中的樣本與相似類分離開來。
此外，他們將所有類的語義語境整合進一個樣例訓練任務，並創建任務相關額外邊際損失以更好地區分不同類的樣本。這種自適應邊際方法可以輕鬆地擴展至更真實的泛化 FSL 設置。
自適應邊際損失方法的原理圖。研究者利用不同類之間的語義相似性來生成類間自適應邊際，然後將生成的邊際集成至分類損失中，使得相似類在嵌入空間中的可分離性更強，由此有益於少樣本學習。
自適應邊際損失方法整體架構圖，它包含元訓練和元測試兩個階段。
任務相關邊際生成器架構圖。
各模型在 ImageNet2012 數據集上的泛化少樣本學習結果對比，其中本研究採用的是任務相關額外邊際損失（task-relevant additive margin loss, TRAML ）。
推薦：實驗表明，在標準和泛化少樣本學習兩種設置下，本研究提出的自適應邊際方法均可以增強當前度量元學習方法的效果。
論文 4：Improving Convolutional Networks with Self-Calibrated Convolutions
作者：Jiang-Jiang Liu、Qibin Hou、Ming-Ming Cheng、Changhu Wang、Jiashi Feng
論文連結：http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf
代碼連結：https://github.com/MCG-NKU/SCNet
摘要：近來卷積神經網絡（CNN）的進展主要是設計更複雜的架構以增強它們的表徵學習能力。在本文中，來自南開大學、新加坡國立大學和字節跳動 AI 實驗室的研究者探究如何在不調整模型架構的情況下依然提升 CNN 的基本卷積特徵轉換過程。為此，他們提出了一種新穎的自校準卷積（self-calibrated convolution），它通過內部通信來顯式地擴展每個卷積層的視野，進而豐富輸出特徵。具有自校準卷積的網絡分別命名為 SCNet、SCNeXt 和 SE-SCNet。
具體來說，與使用小核（如 3×3）融合空間和通道信息的標準卷積不同，研究者提出的自校準卷積通過新型自校準運算（self-calibration operation）圍繞每個空間位置自適應地構建遠程空間和通道間依賴。如此，通過整合更豐富的信息，CNN 可以生成判別性更強的標準。這種自校準卷積在設計上簡單且具有通用性，同時在不引入額外參數和複雜度的情況下可以輕鬆地運用於擴增的標準卷積層。
在使用 Grad-CAM （Gradient-weighted Class Activation Mapping）方法的情況下，不同網絡學得的可視化特徵激活圖。
自校準卷積示意圖。可以看到，原始濾波器分為四部分，每部分負責不同的功能。這與以相同方式執行的傳統或分組卷積明顯不同。
當卷積層分別為 50 和 101 時，具有自校準卷積的網絡 SCNeXt、SCNet 和 SE-SCNet 與其他卷積神經網絡的結果對比。
推薦：實驗表明，當這種自校準卷積應用於不同的骨幹網絡時，基線模型在目標檢測、實例分割和關鍵點檢測等多種視覺任務上都有顯著的性能提升，並且不需要改變網絡架構。
論文 5：Meta-Graph: Few Shot Link Prediction Via Meta Learning
作者：Joey Bose、Ankit Jain、Piero Molino、William L. Hamilton
論文連結：https://arxiv.org/pdf/1912.09867.pdf
摘要：在本文中，來自加拿大麥吉爾大學和優步人工智慧實驗室的研究者提出通過元學習來進行少樣本鏈路預測，其目的是通過從圖分類中學習，模型能夠在少量訓練後快速推理出新圖中的缺失邊緣。研究者認為當前的鏈路預測方法通常無力處理上述任務，具體來說，這些方法既不能有效地將學得知識從一圖遷移至另一圖上，也無法有效地從稀疏樣本邊緣學習。為了解決這些問題，研究者引入了一種新的梯度元學習框架元圖（Meta-Graph），該框架利用到了高階梯度以及一個有條件地生成圖神經網絡初始化的學得圖函數籤名（signature function）。
左：Meta-Graph 與 MAML(Model-Agnostic Meta-Learning) 的結構比較；右：Meta-Graph 具體架構。
算法 1：用於少樣本鏈路預測的 Meta-Graph。
不同模型在在 PPI、FirstMM DB 和 Ego-AMINER 數據集上的收斂 AUC 結果對比。
推薦：在使用一組新型鏈路預測基準時，研究者證實了元圖可以在使用少量真實邊緣（true edge）時學習快速地適應新圖，在快速適應的同時也可以提升收斂結果。
論文 6：Differentiable Visual Computing
作者：李子懋
論文連結：https://people.csail.mit.edu/tzumao/phdthesis/phdthesis.pdf
摘要：在這篇 148 頁的博士論文中，MIT CSAIL 博士後研究員、太極（Taichi）論文第二作者李子懋（Tzu-Mao Li）探討了視覺計算、編程系統和統計學習之間的關係。他將經典計算機圖形學和圖像處理算法與現代數據驅動方法相結合，從而增強了物理理解。李子懋利用統計學中的數學工具和機器學習開發能夠解決圖形和視覺問題的新算法。此外，他開發的編程系統簡化了可學得視覺計算算法的高效實現和數學推導。
該論文的主題是解決計算和應用複雜圖形學 pipeline 導數所面臨的挑戰，以便利用這些導數更好地擬合和採樣參數或者解決逆問題（inverse problem）。這項研究被認為「解決了圖形學算法中的不連續性以及現代硬體的大規模並行性問題，其貢獻遠遠超出了傳統的自動微分」。
可微圖像處理流程包括三部分：（a）神經網絡算子：雙邊分切；（b）：優化前向圖像處理 pipeline 的參數；（c）優化逆問題的重建和扭曲參數。
可微蒙特卡羅光線追蹤。
黑塞 - 哈密頓蒙特卡羅方法。
推薦：這篇博士論文斬獲 ACM SIGGRAPH 2020 年度最佳博士論文獎。
論文 7：Semantic Image Manipulation Using Scene Graphs
作者：Helisa Dhamo、Azade Farshad、Iro Laina、Nassir Navab 等
論文連結：https://arxiv.org/pdf/2004.03677.pdf
摘要：圖像處理是圖像生成領域的一種應用場景，其中生成圖像是對原始圖像的修改。在大多數情況下，圖像生成和處理任務是在原始像素上進行操作。但是，學習豐富圖像和目標表示兩方面取得的顯著進展為文本到圖像或布局到圖像等主要由語義驅動的任務開闢了路徑。
在本文中，來自慕尼黑工業大學、牛津大學、約翰霍普金斯大學和谷歌的研究者基於場景圖（scene graph）來解決圖像生成新問題，其中用戶僅通過應用圖像生成語義圖的節點或邊緣改變，即可以編輯圖像。研究目的是在給定的群集中對圖像信息進行編碼，進而生成新的群集，如目標替換以及目標之間關係的變化，同時原始圖像的語義和風格保持不變。他們提出的空間語義場景圖網絡不需要直接監督群集變化或圖像編輯，這使得人們可以從已有真實世界數據集中訓練系統並且不需要做額外注釋。
訓練策略圖示。
本研究方法（圖中）與基線方法（圖上）的視覺特徵編碼效果對比，其中場景圖保持不變。
效果展示 3 個示例：騎馬變牽馬、樹的位置從後方變前方，以及摩託車上變摩託車旁。
推薦：本研究提出的方法可以使用戶在保持場景不變的情況下實現目標的位置變化。
ArXiv Weekly Radiostation
機器之心聯合由楚航、羅若天發起的ArXiv Weekly Radiostation，在 7 Papers 的基礎上，精選本周更多重要論文，包括NLP、CV、ML領域各10篇精選，並提供音頻形式的論文摘要簡介，詳情如下：
本周 10 篇 NLP 精選論文是：
1. M3P: Learning Universal Representations via Multitask Multilingual Multimodal Pre-training. (from Haoyang Huang, Lin Su, Di Qi, Nan Duan, Edward Cui, Taroon Bharti, Lei Zhang, Lijuan Wang, Jianfeng Gao, Bei Liu, Jianlong Fu, Dongdong Zhang, Xin Liu, Ming Zhou)
2. Situated and Interactive Multimodal Conversations. (from Seungwhan Moon, Satwik Kottur, Paul A. Crook, Ankita De, Shivani Poddar, Theodore Levin, David Whitney, Daniel Difranco, Ahmad Beirami, Eunjoon Cho, Rajen Subba, Alborz Geramifard)
3. A Survey of Neural Networks and Formal Languages. (from Joshua Ackerman, George Cybenko)
4. A Unified Dual-view Model for Review Summarization and Sentiment Classification with Inconsistency Loss. (from Hou Pong Chan, Wang Chen, Irwin King)
5. Extracting COVID-19 Events from Twitter. (from Shi Zong, Ashutosh Baheti, Wei Xu, Alan Ritter)
6. Emergent Multi-Agent Communication in the Deep Learning Era. (from Angeliki Lazaridou, Marco Baroni)
7. Response to LiveBot: Generating Live Video Comments Based on Visual and Textual Contexts. (from Hao Wu, Gareth J. F. Jones, Francois Pitie)
8. Syntactic Search by Example. (from Micah Shlain, Hillel Taub-Tabib, Shoval Sadde, Yoav Goldberg)
9. Context-based Transformer Models for Answer Sentence Selection. (from Ivano Lauriola, Alessandro Moschitti)
10. The Importance of Suppressing Domain Style in Authorship Analysis. (from Sebastian Bischoff, Niklas Deckers, Marcel Schliebs, Ben Thies, Matthias Hagen, Efstathios Stamatatos, Benno Stein, Martin Potthast)
本周 10 篇 CV 精選論文是：
1. Look Locally Infer Globally: A Generalizable Face Anti-Spoofing Approach. (from Debayan Deb, Anil K. Jain)
2. Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining. (fromYiqun Mei, Yuchen Fan, Yuqian Zhou, Lichao Huang, Thomas S. Huang, Humphrey Shi)
3. UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated Content. (from Zhengzhong Tu, Yilin Wang, Neil Birkbeck, Balu Adsumilli, Alan C. Bovik)
4. Flexible Bayesian Modelling for Nonlinear Image Registration. (from Mikael Brudfors, Yaël Balbastre, Guillaume Flandin, Parashkev Nachev, John Ashburner)
5. Recapture as You Want. (from Chen Gao, Si Liu, Ran He, Shuicheng Yan, Bo Li)
6. DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution. (from Siyuan Qiao, Liang-Chieh Chen, Alan Yuille)
7. HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens. (from Zhaohui Yang, Yunhe Wang, Dacheng Tao, Xinghao Chen, Jianyuan Guo, Chunjing Xu, Chao Xu, Chang Xu)
8. Boundary-assisted Region Proposal Networks for Nucleus Segmentation. (from Shengcong Chen, Changxing Ding, Dacheng Taoo)
9. CircleNet: Anchor-free Detection with Circle Representation. (from Haichun Yang, Ruining Deng, Yuzhe Lu, Zheyu Zhu, Ye Chen, Joseph T. Roland, Le Lu, Bennett A. Landman, Agnes B. Fogo, Yuankai Huo)
10. Nested Scale Editing for Conditional Image Synthesis. (from Lingzhi Zhang, Jiancong Wang, Yinshuang Xu, Jie Min, Tarmily Wen, James C. Gee, Jianbo Shi)
本周 10 篇 ML 精選論文是：
1. Learning Kernel Tests Without Data Splitting. (from Jonas M. Kübler, Wittawat Jitkrittum, Bernhard Schölkopf, Krikamol Muandet)
2. Rethinking Empirical Evaluation of Adversarial Robustness Using First-Order Attack Methods. (from Kyungmi Lee, Anantha P. Chandrakasan)
3. Learning Robust Decision Policies from Observational Data. (from Muhammad Osama, Dave Zachariah, Peter Stoica)
4. DC-NAS: Divide-and-Conquer Neural Architecture Search. (from Yunhe Wang, Yixing Xu, Dacheng Tao)
5. The Value-Improvement Path: Towards Better Representations for Reinforcement Learning. (from Will Dabney, André Barreto, Mark Rowland, Robert Dadashi, John Quan, Marc G. Bellemare, David Silver)
6. Shapley Value as Principled Metric for Structured Network Pruning. (from Marco Ancona, Cengiz Öztireli, Markus Gross)
7. Hierarchical forecast reconciliation with machine learning. (from Evangelos Spiliotis, Mahdi Abolghasemi, Rob J Hyndman, Fotios Petropoulos, Vassilios Assimakopoulos)
8. Anomaly Detection with Tensor Networks. (from Jinhui Wang, Chase Roberts, Guifre Vidal, Stefan Leichenauer)
9. The Convolution Exponential and Generalized Sylvester Flows. (from Emiel Hoogeboom, Victor Garcia Satorras, Jakub M. Tomczak, Max Welling)
10. DeepCoDA: personalized interpretability for compositional health. (from Thomas P. Quinn, Dang Nguyen, Santu Rana, Sunil Gupta, Svetha Venkatesh)
原標題：《7 Papers & Radios | SIGGRAPH 2020最佳博士論文；南開等提出新型自校準卷積》
閱讀原文