乾明 發自 凹非寺 量子位 報導 | 公眾號 QbitAI
如果你想在人工智慧領域深耕，閱讀經典論文是一個必須要做的事情。
但是，怎麼讀？讀哪些？論文中哪些是關鍵？都是需要讓人去琢磨的地方。
最近，有一份資源悄然流傳出來，裡面匯集了29篇經典的機器學習論文的總結，這些論文都是作者近半年來讀到的。
每篇論文，作者都給出了論文的主要思路，與其他相關的研究有什麼區別，這篇論文有哪些亮點與創新點等等。而且，基本上每篇論文都附上了連結。
有哪些論文？
這些論文，一共分為六個部分。
語言/序列模型（Language/Sequence Models）
這部分，一共6篇。分別是：
BERT: Language Model Pretraining
來自谷歌AI，提出了一種強大的新的語言表徵模型。
You May Not Need Attention
來自艾倫人工智慧研究所，提出了一種循環神經翻譯模型，不需要注意力機制，也沒有單獨的編碼器和解碼器。
Trellis Networks for Sequence Modeling
論文提出了用於序列建模的新架構Trellis Networks，是時間卷積網絡和RNN之間的理論橋梁，但適用範圍比前者更小，比後者更廣泛。來自CMU和英特爾。
On the Evaluation of Common Sense Reasoning in Natural Language Processing
來自麥吉爾大學，目標是深入到用於評估模型性能的測試集中，並試圖理解它在多大程度上對模型行為進行了嚴格測試。這篇論文主要討論的是Winograd Schema Challenge (WSC)，圖靈測試的一個變種，旨在判定AI系統的常識推理能力。並提出了一個新的評估標準，彌補WSC等基準測試中的局限性。
SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient
這篇論文來自上海交通大學等。作者提出了一個序列生成框架SeqGAN，來解決GAN在生成離散數據時的局限性。
Evaluating Language GANs and Neural Text Generation
這篇論文研究了當前用於比較文本生成的度量標準為什麼無法全面描述模型的運行情況，並在與傳統的最大似然估計方法相比的情況下，評估了用於生成文本的GAN的性能。
元學習/多任務（Meta Learning / Multi Task）
這部分，一共4篇。分別是：
One-Shot Imitation Learning
來自OpenAI，提出了一個元學習框架，能夠從極少數演示中學習，去完成任何給定的任務。
Importance Weighted Actor Learner Architectures
來自DeepMind，開發了一個新的分布式智能體IMPALA，不僅在單機訓練中能更有效地使用資源，而且在不犧牲數據效率和資源利用率的情況下，可以擴展到數以千計的機器上。
Multi-Task RL Using Pop Art Normalization
強化學習領域，算法大部分都是一次訓練一個任務，每個新任務都需要重新訓練智能體。學習算法通用，但每個解決方案都不通用。這篇論文提出了一種方法，優化了同時掌握多個順序決策任務時的資源分配和注意力分散問題，在57款不同的Atari遊戲中的表現超過了中等水平的人類，這也是第一次單個智能體在這一多任務領域超過人類。
Proximal Meta Policy Search
來自加州大學伯克利分校等，開發了一個新的元學習算法，克服了不良信用分配的問題和先前評估元策略梯度方面的困難。
內在獎勵/基於模型的強化學習（Intrinsic Rewards/Model-Based RL）
這部分，一共9篇。分別是：
Curiosity Driven Learning
論文作者來自OpenAI和加州大學伯克利分校，目標是弄清楚在沒有外部獎勵信號的情況下，僅僅由好奇心驅動的學習能夠使強化學習系統走多遠。這也是第一次大規模研究純粹由好奇驅動的強化學習。
Episodic Curiosity Through Reachability
論文提出了一種新的好奇方法，利用情景記憶形成獎勵，作者來自谷歌大腦、DeepMind等。
Model-Based Active Exploration
提出了一種主動探索環境的算法。 通過計劃觀察新事件，而不是僅僅對偶然遇到的新事物做出反應，最大限度地減少了全面模擬環境所需的數據。作者來自「遞歸神經網絡之父」Jürgen Schmidhuber的創業公司NNAISENSE。
Combined Reinforcement Learning via Abstract Representations
來自麥吉爾大學等，對比了基於模型和無模型的強化學習，然後討論了他們提出的CRAR方法如何將這兩種結構結合起來。
Agent Empowerment
這是一篇經典論文，來自赫特福德大學，論文討論了「授權」的概念，提出了一種關於智能體的效用函數，適用於沒有提供任何明確短期回報的情況。
Recurrent World Models Facilitate Policy Evolution
論文作者David Ha（谷歌AI）和Jürgen Schmidhuber，以無監督的方式快速訓練生成型循環神經網絡，通過壓縮的時空表徵 (Spatio-Temporal Representations) ，來為那些常見的強化學習環境建模。作者曾對這篇論文做過一個總結：「世界模型」可以讓人工智慧在「夢境」中對外部環境的未來狀態進行預測。
Learning Plannable Representations with Causal InfoGAN
來自加州大學伯克利分校等，要解決的問題是：給定初始狀態和期望目標的情況下，如何讓系統通過學習，得到一系列可以達成目標的動作。
Counterfactually Guided Policy Search
無模型的強化學習，需要大量的數據訓練。研究者可以建立學習環境模型，生成合成軌跡，並在這些軌跡上進行訓練。但這些模型簡化了真實環境，而且可能不準確。這篇論文提出了一個明確的因果/反事實模型，來生成具有更高保真度的軌跡。來自DeepMind。
The Impact of Entropy on Policy Regularization
這篇論文通過定性研究表明，在某些環境中，引入熵正則化可以使優化曲面更加平滑、連接局部最優值，從而使用更大的學習速率。並提出了一個理解底層優化場景的新工具。來自谷歌大腦。
Multi-Agent強化學習
這部分，一共3篇。分別是：
Emergence of Grounded Compositional Language in Multi-Agent RL
來自OpenAI和加州大學伯克利分校，這篇論文做了一個有趣的實驗，看一群智能體在受到激勵的情況下，能否有效地發展出某種類似語言的東西。基於這個實驗，論文的作者提出了一種多智能體的學習方法。
Intrinsic Social Motivation via Causal Influence
在這篇谷歌等機構的論文中，在多智能體強化學習中，賦予一種新的內在社會動機，試圖解決有更明確目標的多智能體協調問題。
Relational Forward Models for Multi Agent Learning
介紹了一種用於多智能體學習的模型，可以在學習環境中準確預測智能體未來的行為，來自DeepMind等。
對抗樣本（Adversarial Examples）
這部分，一共2篇。分別是：
Adversarial Reprogramming of Neural Networks
對六種ImageNet分類模型的對抗性重新編程，並調整了這些模型的用途，以執行相應任務。來自谷歌大腦。
On the Intriguing Connections of Regularization, Input Gradients and Transferability of Evasion and Poisoning Attacks
這篇論文來自卡利亞裡大學等，作者對不同的模型進行了實證分析，研究不同模型之間的對抗樣本遷移情況有何不同。
其他
這部分，一共5篇。分別是：
Test to Image Generation With AttnGAN
一篇來自微軟研究院等機構的論文，提出了一個注意力生成對抗網絡，用於文本到圖像的生成。
An intriguing failing of convolutional neural networks and the CoordConv solution
這篇來自Uber的論文，針對卷積神經網絡在空間坐標轉換問題上的缺陷，提出了一種名為CoordConv的解決方案。工作原理是使用額外的坐標通道使卷積訪問輸入坐標。
Visualizing the Loss Landscape of Neural Networks
這篇論文提出了一種可視化損失函數的新方法，解決了理解損失函數的特徵如何影響模型性能的問題。來自馬裡蘭大學學院市分校等。
Embedding Grammars
這篇論文來自楊百翰大學。將單詞嵌入的語義泛化能力和語境無關的語法結構(比如正則表達式)結合起來，創造混合語義語法。
Deep Image Reconstruction from fMRI Data
來自日本ATR計算神經科學實驗室，提出了一種新的圖像重建方法，藉助fMRI技術和深度學習算法，根據人類的大腦活動重建人類看到的圖像。
誰寫的這些總結？
這份總結的作者，是一位名為Cody Wild的小姐姐，在一家名為Sophos的安全技術公司擔任數據科學家，喜歡貓。
每半年，她會花一個月的時間，給自己讀到的經典機器學習論文寫總結，這已經是第三次了
大家可以再Twitter上面關注她。ID：@decodyng。