解釋最新科技進展，報導矽谷大事小情
GPT-3取得的成績非常令人驚訝，將會在相關領域內造成深遠的影響，並且有可能經受住時間的考驗。
——
文｜杜晨 編輯｜Vicky Xiao
近日，人工智慧頂級學術會議 NeurIPS 2020，因為疫情的影響，在網絡上正式召開。
大會組委會公布了參會者和全球AI研究者、實踐者最為期待的獎項名單，結果也在意料之中：科研勁旅 OpenAI 提交的超強生成模型 GPT-3 論文（和另外兩篇論文一起）斬獲本屆 NeurIPS 最佳論文獎！
這篇論文標題為 Language Models are Few-Shot Learners, 意即語言模型也可以成為小樣本學習的利器。(arXiv:2005.14165)
OpenAI 研發多年的 GPT 語言生成模型迭代到第三代後，不僅能夠生成各種格式（如新聞、小說、對話等）以假亂真的文本內容，還獲得了十分強大並且多樣的新能力，包括並不限於翻譯、問答、算數等。
不僅如此，OpenAI 還前所未有地將 GPT-3 開發成了一個服務，提供了可以調用的 OpenAI API，並少量提供給包括學術機構、商業公司和個人開發者在內的公眾進行測試。
在今年早些時候的一篇文章中，我們著重介紹這些拿到 OpenAI API 體驗資格的人士，在 GPT-3 強大能力的加持下做出的很多有趣的 demo.
比如，有人利用 GPT-3 的翻譯能力，開發出了英語→LaTeX 數學公式的翻譯器：
還可以用自然語言進行描述，十秒鐘生成一個 Google 首頁：
如果把 GPT-3 放到谷歌表格裡，做成一個可以調用的函數，它將無所不能，可以自動查找美國各州的人口，還能查詢知名人物的社交網絡帳號：
個人開發者 Kevin Lacker 對 GPT-3 做了一次圖靈測試，發現它在絕大部分知識類、常識類、邏輯類的問題，甚至很多角度十分刁鑽的問題上，表現非常令人驚訝。「如果十年前用同樣的問題做測試，我會認為答題者一定是人。現在，我們不能再以為 AI 回答不了常識性的問題了。」 Lacker 在他的博客文章裡寫道。
GPT-3 取得這樣的能力也有著巨大的代價，也恐怕只有財力雄厚的 OpenAI 能夠支持：它的訓練過程使用了超過1750億參數，是其它已知的非稀疏語言模型的十倍。
NeurIPS 2020 組委會在評語中寫道：當語言模型的參數提升到如此前所未有的規模時，它能夠成為小樣本學習模型，而且竟然還可以在無需額外訓練的基礎上，在很多任務上取得非常有競爭力的成績。
對於這篇論文在人工智慧研究之於社會影響方面的探討，組委會也是讚不絕口。評語寫道：這篇論文對於其研究更廣泛的影響也進行了非常深入和有深思熟慮的闡述，對於整個 NeurIPS 社區在思考科研對於真實世界的影響提供了一份範例。
NeurIPS 2020 組委會甚至有點預告 GPT-3 在十年後很有可能獲得時間檢驗獎（Test of Time Award, 地位等於其它學術會議的經典論文獎）的意思。它的評語是這樣寫的：（GPT-3取得的）結果非常令人驚訝，將會在相關領域內造成深遠的影響，並且有可能經受住時間的考驗。
另外兩篇最佳論文獎得主：
No-Regret Learning Dynamics for Extensive-Form Corellated Equilibrium. （arXiv:2004.00603)這篇米蘭理工大學和卡內基梅隆大學研究者的機器學習論文，解決的是一個對於現實世界特別有意義的問題：如何在社會活動中更好地找到均衡。更準確來說，這種均衡叫做「相關均衡」(correlated equilibrium)，比人們更經常聽說的「納什均衡」對於社會更有幫助，而且用機器學習的方式更容易計算出來。
而這篇論文提出的結果，解決了博弈論、計算機科學和經濟學交界的一個長期存在的問題，對於諸如導航軟體路線規劃等涉及到博弈論的應用場景，都會有很大的幫助。
Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystrm Method. (arXiv:2002.09073)在機器學習的過程中，數據總結是一項重要的工作，但在過去很長時間以來，人們往往認為從越來越大的數據集中提取小且又代表性的子集作為數據總結，是一件很難的事情。而這篇來自UC伯克利的論文指出更優秀的數據總結方法是存在的，對於機器學習研究者可以說是期待已久的福音。
NeurIPS 2020 時間檢驗獎：
HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent (arXiv:1106.5730)梯度下降是機器學習範疇內的和新方法，而隨機梯度下降 (stochastic gradient descent) 是機器學習的關鍵算法之一。為了優化機器學習模型，以前的研究者需要並行運行隨機梯度下降算法，但當時同行提出的一些方法都對於性能有明顯影響。
由華人第一作者 Feng Niu 等人在 NIPS 2011 上發表這篇論文，提出了一種全新的並行運行隨機梯度下降的 HOGWILD!: 方法，在同行方法上有較大的創新，對於機器學習訓練的優化帶來了很大的幫助，顯著影響了後來的機器學習研究。
通過比較歷史引用、近期引用數量，以及召集本屆組委會的高級專家投票，Feng Niu 等人的這篇論文，從2009-2011年的12篇 NIPS 論文中脫穎而出，獲得了今年 NeurIPS 的時間檢驗獎。
喜歡這篇文章？