AI求解薛丁格方程;陶大程等深度學習理論進展綜述

機器之心 & ArXiv Weekly Radiostation

參與：杜偉、楚航、羅若天

本周的重要論文包括人工智慧計算薛丁格方程的基態解以及雪梨大學陶大程等的深度學習理論進展綜述。

目錄：

Theoretical Issues in Deep Networks

Deep-Neural-Network Solution of the Electronic Schrödinger Equation

Graph Neural Networks: Taxonomy, Advances and Trends

Transferable Graph Optimizers for ML Compilers

Fourier Optical Preprocessing in Lieu of Deep Learning

Research on Deep Sequence Model for Text Generation

Recent Advances in Deep Learning Theory

ArXiv Weekly Radiostation：NLP、CV、ML 更多精選論文（附音頻）

論文 1：Theoretical Issues in Deep Networks

作者：Tomaso Poggioa、Andrzej Banburskia、Qianli Liaoa

論文連結：https://cbmm.mit.edu/sites/default/files/publications/PNASlast.pdf

摘要：人工智慧（AI）的復甦很大程度上歸功於深度學習在模式識別方面的快速發展。深度神經網絡架構的構建一定程度上受到了生物大腦和神經科學的啟發。就像生物大腦的內部運行機制一樣，深度網絡在很大程度上無法得到解釋，沒有一個統一的理論。對此，來自麻省理工學院（MIT）的研究者提出了深度學習網絡如何運行的新見解，有助於人們揭開人工智慧機器學習的黑匣子。

研究者重點探究了深度網絡對某些類型的多元函數的近似，這些函數避免了維數災難現象，即維數準確率與參數量成指數關係。在應用機器學習中，數據往往是高維的。高維數據的示例包括面部識別、客戶購買歷史、病人健康檔案以及金融市場分析等。深度網絡的深度是指計算的層數——計算層數越多，網絡越深。為了闡明自己的理論，三位研究者檢驗了深度學習的近似能力、動態優化以及樣本外性能。

網絡中的每個節點對應於要近似的函數的圖中的節點。

左圖顯示了在數據集（CIFAR-10）相同、初始化不同的網絡上，測試與訓練交叉熵損失的對比，結果顯示在訓練集上產生的分類誤差為零，但測試誤差不同；右圖顯示了在相同的數據、相同的網絡上測試與訓練損失的對比。

推薦：研究者探討了關於深度學習中非常基礎的問題，包括網絡的近似能力、優化的動態規律和強泛化能力等。

論文 2：Deep-Neural-Network Solution of the Electronic Schrödinger Equation

作者：Jan Hermann、Zeno Schätzle、Frank Noé

論文連結：https://www.nature.com/articles/s41557-020-0544-y

摘要：求解薛丁格方程可以為化學反應提供線索。化學反應的結果基本上與電子以及它們環繞原子和分子的方式有關。而控制事物反應的能量以及電子在分子中的軌道的差異決定了化學物質的形狀，也由此決定了其性質。計算這一能量的方式就是求解薛丁格方程。換句話說，求解出薛丁格方程，就可以知道化學反應的結果。然而，這並非易事。此前，我們可以精確求解的原子只有氫原子——僅具備一個質子和一個電子。最近，來自柏林自由大學的科學家提出利用人工智慧計算薛丁格方程的基態解。

受到「泡利不相容原理」（Pauli exclusion principle）的啟發，研究者將他們的方法命名為「PauliNet」。它是一種深度學習波函數擬設，可以獲得電子薛丁格方程的近乎精確解。PauliNet 具有一個作為基線的內置多參考哈特裡－福克（Hartree–Fock）解，集成有效波函數的物理特性，並使用變分量子蒙特卡羅方法（variational quantum Monte Carlo, VMC）進行訓練。

PauliNet 擬設架構的信息流。

使用這四種不同方法時，H_2、LiH、Be、B 和 H_10 五種系統的基態能量對比。

推薦：相關研究發表在 Nature Chemistry 上。

論文 3：Graph Neural Networks: Taxonomy, Advances and Trends

作者：Yu Zhou、Haixia Zheng、Xin Huang

論文連結：https://arxiv.org/pdf/2012.08752.pdf

摘要：基於特定任務，圖神經網絡為真實圖向低維空間的嵌入提供了一個強大的工具包。截止目前，針對這一主題的調研也出現了一些。但是，這些調研側重於不同的角度，如此讀者無法窺見圖神經網絡的發展全貌。所以，太原理工大學三位研究者的這篇論文克服了這一局限，對圖神經網絡進行了全面的綜述。

研究者首先提出了一種全新的圖神經網絡分類方法，然後參考了四百篇相關文獻以展示圖神經網絡的發展全景。此外，他們總結了未來圖神經網絡四種不同的發展方向，以克服面臨的挑戰。研究者希望更多的學者可以理解和探索圖神經網絡並將它們應用到自己的研究領域。

譜 GCNN（Graph Convolutional Neural Network）的計算框架。

兩種形式的圖注意力機制。

圖 LSTM 的計算框架。

推薦：圖神經網絡的分類、進展和趨勢綜述。

論文 4：Transferable Graph Optimizers for ML Compilers

作者：Yanqi Zhou、Sudip Roy、Amirali Abdolrashidi、Daniel Wong 等

論文連結：https://papers.nips.cc/paper/2020/file/9f29450d2eb58feb555078bdefe28aa5-Paper.pdf

摘要：本文中，來自谷歌、加州大學河濱分校等機構的研究者根據歸納圖神經網絡的可擴展序列注意力機制，提出了一種用於計算圖優化（graph optimization, GO）的端到端可遷移深度強化學習方法。就效果而言，GO 在整個圖上而非每個單獨的節點上生成決策，搜索速度相比以往方法大大加快。此外，研究者還提出使用循環注意力層來共同優化依賴圖優化任務並且與 TensorFlow 默認優化相比，在三個圖優化任務上實現了 33%-60% 的速度提升。

GO 架構圖。

GO 與其他模型對比。

運行時對比。

推薦：用於機器學習編譯器的可遷移圖優化器。

論文 5：Fourier Optical Preprocessing in Lieu of Deep Learning

作者：Baurzhan Muminov、Luat T. Vuong

論文連結：https://www.osapublishing.org/optica/fulltext.cfm?uri=optica-7-9-1079&id=437484

摘要：今年 8 月份，在一篇發表於 Optica 的論文中，加州大學河濱分校機械工程系助理教授 Luat Vuong 和博士生 Baurzhan Muminov 通過應用光學漩渦（具有深色中心點的旋繞光波），證明了混合計算機視覺系統的可行性。光學漩渦可以比喻為光繞著邊緣和角落傳播時產生的流體動力漩渦。

研究表明，光學預處理可以降低圖像計算的功耗，而電子設備中的數位訊號識別相關性，提供優化並快速計算可靠的決策閾值。藉助混合計算機視覺，光學器件具有速度和低功耗計算的優勢，並且比 CNN 的時間成本降低了 2 個數量級。通過圖像壓縮，則有可能從存儲和計算複雜性兩方面大幅減少電子後端硬體。Luat Vuong 表示：「本研究中的漩渦編碼器表明，光學預處理可以消除對 CNN 的需求，比 CNN 更具魯棒性，並且能夠泛化逆問題的解決方法。例如當混合神經網絡學習手寫數字的形狀時，它可以重建以前從未見過的阿拉伯或日語字符。」

該研究的成像方案。

推薦：該論文還表明，將圖像縮小為更少的高強度像素能夠實現極弱光線條件下的圖像處理。該研究為光子學在構建通用的小腦混合神經網絡和開發用於大數據分析的實時硬體方面的作用提供了新見解。

論文 6：Research on Deep Sequence Model for Text Generation

作者：張儒清

論文連結：https://www.ccf.org.cn/Focus/2020-12-03/717578.shtml

摘要：文本到文本的生成可以看做是將承載原始信息的文本轉變成符合用戶真實信息需求的文本。本文根據信息變換方式的不同，將文本到文本的生成劃分成三類任務：壓縮式生成、對等式生成和多樣化生成。其中壓縮式生成將文本或文本集合壓縮成簡明扼要的內容；對等式生成中輸入文本和輸出文本在語義上具有一一對應性；多樣化生成中輸入文本和輸出文本在語義上存在著多種對應關係。近年來，隨著深度學習的崛起，利用深度序列模型，實現序列到序列的學習已然成為文本到文本生成研究領域的主流。基於深度序列建模的文本到文本生成主要包含三個環節：輸入文本的語義理解，輸入信息到輸出信息的映射，以及輸出文本的建模。

基於此，本文研究了面向文本生成的深度序列建模過程中三個關鍵性的挑戰問題：1）輸入文本的語義繁雜性；2）輸入文本和輸出文本間的映射多 樣性；3）輸出文本的結構複雜性。

面向文本到文本生成的深度序列建模過程。

循環神經網絡 RNN 示意圖。左邊是 RNN 結構圖，右邊是輸入序列的層級展開圖。

編碼器 - 解碼器的基本框架。

推薦：本文作者為中科院計算所工學博士，主要研究計算機系統結構。

論文 7：Recent Advances in Deep Learning Theor

作者：Fengxiang He、Dacheng Tao

論文連結：https://arxiv.org/pdf/2012.10931.pdf

摘要：深度學習常常被描述成一個實驗驅動的領域，並被不斷地詬病缺乏理論基礎。得益於大量的研究文獻，這個問題已經得到了部分解決，但是這些文獻卻至今沒有很好地整合起來。在本文中，包括陶大程在內來自雪梨大學的兩位學者對深度學習理論的最新進展進行了回顧和整理，並分為以下六大部分內容：一是基於複雜性和能力的分析深度學習泛化性的方法；二是用於建模隨機梯度下降及其變體的隨機微分函數以及動態系統；三是驅動動態系統軌跡的損失場景的幾何結構；四是深度神經網絡過參數化的積極和消極作用；五是網絡架構中一些特殊結構的理論基礎；六是對倫理和安全及兩者與泛化性關聯的日益關注。

測試準確率與批大小和學習率的曲線變化圖。

MNIST 和 CIFAR-10 數據集上訓練和測試黑塞矩陣（Hessian matrices）頻譜圖。

深度學習主要泛化邊界的比較。

推薦：深度學習理論的最新進展匯總。

ArXiv Weekly Radiostation

機器之心聯合由楚航、羅若天發起的ArXiv Weekly Radiostation，在 7 Papers 的基礎上，精選本周更多重要論文，包括NLP、CV、ML領域各10篇精選，並提供音頻形式的論文摘要簡介，詳情如下：

本周 10 篇 NLP 精選論文是：

1. I like fish, especially dolphins: Addressing Contradictions in Dialogue Modelling. (from Jason Weston)

2. Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing. (from Richard Socher)

3. A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews. (from Kai Chen)

4. AdvExpander: Generating Natural Language Adversarial Examples by Expanding Text. (from Minlie Huang)

5. SubICap: Towards Subword-informed Image Captioning. (from Mohammed Bennamoun, Wei Liu)

6. Simple-QE: Better Automatic Quality Estimation for Text Simplification. (from Chris Callison-Burch)

7. ActionBert: Leveraging User Actions for Semantic Understanding of User Interfaces. (from Ying Xu)

8. Sentence-Based Model Agnostic NLP Interpretability. (from Pascal Frossard)

9. QUACKIE: A NLP Classification Task With Ground Truth Explanations. (from Pascal Frossard)

10. Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training. (from Jun Wang)

本周 10 篇 CV 精選論文是：

1. A Deep Reinforcement Learning Approach for Ramp Metering Based on Traffic Video Data. (from Bing Liu)

2. Deep Learning-Based Human Pose Estimation: A Survey. (from Mubarak Shah)

3. Task-Adaptive Negative Class Envision for Few-Shot Open-Set Recognition. (from Shih-Fu Chang)

4. Boosting Monocular Depth Estimation with Lightweight 3D Point Fusion. (from Jiri Matas, Janne Heikkila)

5. A Survey on Visual Transformer. (from Dacheng Tao)

6. Progressive One-shot Human Parsing. (from Dacheng Tao)

7. A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection. (from Xiaogang Wang)

8. Labels Are Not Perfect: Inferring Spatial Uncertainty in Object Detection. (from Masayoshi Tomizuka)

9. 3D Object Classification on Partial Point Clouds: A Practical Perspective. (from Tong Zhang, C. L. Philip Chen)

10. CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth. (from Marc Pollefeys)

本周 10 篇 ML 精選論文是：

1. Upper and Lower Bounds on the Performance of Kernel PCA. (from John Shawe-Taylor)

2. Towards Robust Explanations for Deep Neural Networks. (from Klaus-Robert Müller)

3. Augmenting Policy Learning with Routines Discovered from a Demonstration. (from Joshua Tenenbaum)

4. Unsupervised in-distribution anomaly detection of new physics through conditional density estimation. (from Uros Seljak)

5. Noisy Labels Can Induce Good Representations. (from Jimmy Ba)

6. Multi-fidelity Bayesian Neural Networks: Algorithms and Applications. (from George Em Karniadakis)

7. On Batch Normalisation for Approximate Bayesian Inference. (from Philip H.S. Torr)

8. Regret Bound Balancing and Elimination for Model Selection in Bandits and RL. (from Peter Bartlett)

9. Decentralized Federated Learning via Mutual Knowledge Transfer. (from Pramod K. Varshney)

10. Information-Preserving Contrastive Learning for Self-Supervised Representations. (from Dina Katabi)

原標題：《7 Papers & Radios | AI求解薛丁格方程；陶大程等深度學習理論進展綜述》

閱讀原文