曉查 發自 凹非寺量子位 報導 | 公眾號 QbitAI
NeurIPS 2020今天正式召開，今年共有1900篇論文被接收，創下歷史新高。
今天早晨，大會評委會公布了獲得最高榮譽的論文名單：
包括GPT-3在內的三篇獲得最佳論文獎，一篇2011年論文獲得時間檢驗獎。而去年新增的傑出新方向論文獎並未頒出。
由於受到新冠疫情影響，原計劃在溫哥華舉辦的NeurIPS不得不改為在線上舉辦。
最佳論文獎
No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium
這篇論文來自米蘭理工大學和卡內基梅隆大學，研究方向為學習理論。
論文地址：https://arxiv.org/abs/2004.00603
獲獎理由：
相關均衡（CE）易於計算，並且可以獲得比眾所周知的納什均衡要高得多的社會福利。在普通形式的遊戲中，CE的一個令人驚訝的特徵是，可以通過簡單且分散的算法最小化後悔的特定概念（即所謂內部後悔）。本文證明了在大型遊戲（即泛型或樹型遊戲）中收斂到CE的後悔最小化算法的存在性。該結果解決了博弈論、計算機科學和經濟學之間一個長期存在的開放性問題，並且可能對涉及中間人的遊戲產生重大影響，例如，通過導航應用程式對有效的交通路線產生影響。
Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystrm Method
這篇論文來自加州大學伯克利分校，也是一篇關於學習理論的論文。
論文地址：https://arxiv.org/abs/2002.09073
獲獎理由：
從一個大矩陣中選擇一個小的但有代表性的列向量子集是一個困難的組合問題，並且已知一種基於基數約束的行列式點過程的方法可以提供一種實用的近似解決方案。本文推導了近似解的近似因子在最佳可能低秩近似上的新上界和下界，該上下界甚至可以獲得關於子集大小的多重下降行為。本文進一步將分析擴展到獲得Nystrm方法的保證。由於這些近似技術在機器學習中得到了廣泛的應用，本文有望產生實質性的影響，並給出新的見解，例如核方法、特徵選擇和神經網絡的雙下降行為等。
Language Models are Few-Shot Learners
這篇論文可能是今年最知名、最出圈的論文，來自OpenAI的研究，也就是鼎鼎大名的GPT-3，作者數量達到31人之多！
論文地址：https://arxiv.org/abs/2005.14165
獲獎理由：
語言模型是解決自然語言處理中一系列問題的現代技術支柱。本文表明，當這樣的語言模型被擴大到前所未有的參數數量時，其本身可以作為少量樣本學習者，無需任何額外的訓練，就可以在許多此類問題上取得非常有競爭力的表現。這是一個非常令人驚訝的結果，預計將在該領域產生重大影響，並有可能經受住時間的考驗。除了這項工作的科學貢獻之外，本文還對這項工作的廣泛影響進行了非常廣泛和深入的闡述，這可以作為NeurIPS社區如何思考對現實世界影響的一個例子。
時間檢驗獎
NeurIPS每年都會從大約十年前的大會上選取一篇論文，授予時間檢驗獎（Test of Time Award，也稱經典論文獎），以表彰這篇論文對AI學界產生的持久而深遠的影響。
今年共選取了12篇候選者，最終獲獎的是在NeurIPS 2011年發表的論文：
HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent。
這篇論文主要提出了一種異步SGD算法，讓處理器平等地訪問共享內存，並且能夠隨意更新內存的各個部分，從而實現了幾乎線性的加速。
現在該論文的引用次數已經達到了1918次。
論文地址：https://arxiv.org/abs/1106.5730
獲獎理由：
本文首次展示了如何在沒有任何鎖定機制的情況下，並行化普遍使用的隨機梯度下降（SGD）算法，同時實現強大的性能保證。當時，一些研究人員提出了並行化SGD的方法，但是它們都需要不同工作進程之間的內存鎖定和同步。本文針對稀疏問題提出了一種簡單的策略，稱為Hogwild!：讓每個工作進程在不同的數據子集上並行運行SGD，並在託管模型參數的共享內存中執行完全異步更新。通過理論和實驗，他們證明了Hogwild!在滿足適當稀疏性條件的數據上，隨著處理器數量實現了近乎線性的加速。
該論文的第一作者是當時還在威斯康星大學麥迪遜分校就讀博士的華人學者Feng Niu，他也是清華大學計算機系2008年本科畢業生。
Feng Niu博士畢業後沒有進入學界，而是在谷歌工作了一年，之後和他的導師Christopher Ré（也是論文作者之一）等人共同創立AI公司Lattice Data。該公司2017年被蘋果以2億美元收購。
值得一提的是，去年的時間檢驗獎也頒給了華人學者，獲獎的是來自微軟研究院高級首席研究員Lin Xiao。
關於NeurIPS 2020
今年NeurIPS共收到9454篇論文投稿，1900篇被接收，論文接收率僅為20.09%。
雖然今年接收率比過去幾年都低，但論文的絕對數量卻增長了33%。這主要是由於今年論文投稿數量大增，去年總投稿數僅6743。
在今年投稿的機構學校中，谷歌以169篇入選位居第一，清華大學和北京大學分別有63篇、37篇被接收。
其中有兩位清華校友楊林和汪昭然分別入選9篇，是今年華人學者之最。
官方博客：https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537