作者 | 陳大鑫
今日，終於等到了NeurIPS 2020的錄取郵件通知！
朋友圈裡低調很久的大佬們也紛紛曬出了錄用郵件截圖，畢竟一年來熬夜做實驗、寫論文的付出得到了肯定。
從杜克大學陳怡然老師微博上的消息也可以看出，今年共有9454篇論文提交，1900篇總接收，錄取率僅為20.09%，其中105篇被接收為oral，280篇被接收為spotlight，剩下的都被接收為poster。
1
史上最低錄取率很意外嗎？
首先對比一下2013年至今的數據，很明顯可以看出今年20.09%的錄取率稱得上史上最低，但是最近三年的錄取率都在21%左右，其實今年的錄取率相對而言也不是特別低。
這一數據可以更直觀地用下圖來表示：
那麼這個史上最低錄取率意外嗎？
其實並不意外，回顧NeurIPS 2020這一年，變化很多，為了把控論文質量的同時提高評審效率，NeurIPS今年在某些地方做的很用心，而某些地方則很狠心。
這些變化其中之一就是評審機制大變動：領域主席可拒稿20%，作者即評審，布局遠程會議！具體變動見如下。
2
NeurIPS 2020 評審機制大變動
第一，將摘要提交截止日期提前至5月5日，論文提交截止日期提前至5月12日，以給組委會預留更加充足的時間來審閱數量上大幅增加的論文投稿，以及給評審過程中的早期拒稿階段更多的考量時間。
第二，早期拒稿：領域主席有兩周的時間來挑選出一批早期拒稿的論文，比例大概為 20%。接著由高級領域主席在一周時間內通過決議，一經通過，被拒稿的論文作者就會收到其論文不會再接受進一步評審的通知。
第三，作者即評審：要求每篇論文的每位作者或共同作者，在要求他們參與評審論文的情況下都同意參與評審論文。這項要求能夠有效地擴大評審團隊的規模，並且還能夠在包括向NeurIPS 投稿的作者在內的社區成員間公平地分配評審負擔。
第四，提交影響陳述：要求作者在投稿論文中單獨擬一個章節來探討他們這項工作將帶來的更廣泛的影響，包括可能帶來的正面或負面的社會影響。
第五，視頻spotlight：要求所有的作者在camera-ready提交截止前，都上傳論文的spotlight演示視頻。現在NeurIPS正在嘗試為遠程演示和遠程參會做準備工作。
這一點在今天收到的錄用郵件中的確可以看到：
另外，如果作者提交的論文此前已在同行評審中被拒稿，必須標註這一信息，並且列出本次提交的論文所做出的改變。
其實去年，NeurIPS 組委會也在評審機制上做過一些調整，其中最引人關注的就是 NeurIPS 組委會與 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委員會主席通力合作，為防止一稿多投現象所採取的舉措。
最終，19 篇論文因一稿多投而被拒收，一時譁然，讓各位投稿作者不禁繃緊了神經弦。
3
NeurIPS 2020投稿一覽
今年7月，NeurIPS在Medium官方帳號發布了文章《Reviewing is Underway!》，對今年的投稿情況和審稿流程進行了說明。
文章中提到，今年的NeurIPS投稿數量比2019年增長了38%，具體而言，一共收到了12115份摘要，但隨後提交完整的只有9467份。另外還有184篇論文有違規行為：被作者撤回、非匿名提交以及論文篇幅超過最大頁數等。
其它「遵守紀律」的論文都已經分配給了領域主席以及Senior領域主席，這兩類主席在對這些論文簡單的瀏覽之後，進行了初步判斷：佔總數 11% 的論文被直接拒掉，其他89%的論文分配給了合適的審稿人。值得一提的是，這89%對應的具體數字8186。
另外，文章中還強調，這直接被拒掉的11%的論文，將不會再次接受審閱。
除此之外，今年的論文主題分布也有所變化，算法佔比29%，深度學習佔比19%，應用佔比18%，強化學習和規劃（planning）佔比9%，理論佔比7%，概率方法佔比5%，機器學習社會方面（ Social aspects of machine learning）佔比5%，優化佔比5%，神經科學和認知科學佔比3%。與2019年相比，深度學習和應用領域的論文略有下降(均下降了2%)，而機器學習社會方面有所增加（增加了3%）。
4
頂會大變化一覽
1、NeurIPS 直接拒絕機制
今年NeurIPS組委會指派領域主席和Senior 領域主席承擔「直接拒絕」的任務。其中領域主席識別可能被拒絕的論文，Senior 領域主席反覆核對這些論文。因此，每一篇被直接拒絕的論文，都有兩位資深的專家「籤字」。值得一提的是，為了降低偏見，這兩位專家是看不到論文作者的信息。
直接拒絕有利有弊，有很多地方可以改進。「直接拒絕」除了減輕了審稿者的負擔外，還能夠讓領域主席和Senior領域主席更加熟悉分配給他們的論文，為他們隨後「領導」審稿人提供幫助。此外，直接拒絕的壞處是，這些論文的作者幾乎沒有得到什麼建設性的反饋來改進他們的論文。
2、NeurIPS預註冊機制
今年九月，AI科技評論最新消息，NeurIPS2020提出嘗試機器學習論文的新型發表和同行評審模式，即預註冊。
預註冊簡而言之，就是將提出idea的過程和實驗結果確認分為兩個階段。在研究人員進行實驗之前，先把研究idea提交給NeurIPS，然後由評審決定該idea是否可行，通過的idea視為預註冊成功，然後研究人員可以著手進行實驗，無論實驗是失敗還是成功，結果都將發表在NeurIPS2020的一個研討會中。
對於提出這項嘗試的初衷，NeurIPS表示：
在過去幾年中，機器學習取得了巨大進步，其中基準數據集發揮了關鍵作用。但是，論文評審可能會傾向於將基準的增量改進放在優先位置，從而妨礙了其他類型研究課題的進步，甚至將好的idea扼殺在嬰兒期。論文計劃書是根據科學興趣進行評估的，而不是是否達到SOTA。
了解預註冊機制最新內容請移步「我有一個頂會idea還沒做實驗，NeurIPS：先佔坑再實驗！」一文。
3、EMNLP Findings
今年，EMNLP 2020帶來了：「Findings of ACL: EMNLP 2020」。
這是一種新的接收論文類型，EMNLP表示，這將使更多高質量的論文（短篇和長篇）被接收。它用於刊登在主會上未被接收，但經過程序委員會評估為足夠solid的工作，其實質、質量和新穎性有足夠保證。這些論文將作為ACL選集的一部分被收錄。
Findings中的論文將遵循與EMNLP 2020會議錄中接受的論文相同的時間表。也就是說，它們有相同的DDL。
這些論文與EMNLP會議接收的論文不同之處在於，Findings論文不會在會議上進行演講（包括演講和poster）。被Findings接收的論文不能提交給其他會議或期刊。
哪些類型的論文更適合出現在Findings中呢？例如：
1、擴展了有關特定任務的SOTA水平的論文，但是對於EMNLP社區而言，卻沒有新穎的見解或發現；
2、實驗實現良好，想法新穎，並提供詳盡的分析和發現，但使用的方法被認為不夠「新穎」；
了解EMNLP Findings更多內容，請移步「EMNLP 2020 錄取結果已出，聽說你中的是Findings？」一文。
其實，這些年來，頂會投稿量越來越多：
但是AI頂會總錄用率卻是連續下降多年：
會議加總之後，會議錄用率趨勢
不得不感慨，AI頂會灌水越來越難，頂會其實也在求變，而作為研究者，還是要潛心做研究才有出路~
最後今年大會的註冊已經於 9 月 15 日開啟，其中學生的註冊費用僅為 25 美元，其他參會者則為 100 美元，這一價格相比去年的線下參會的420和750美元優惠了不少，線上會議誠不欺我！
另外，所有人都可以在無需註冊的情況下訪問Tutorial、Keynote，而Poster宣講的錄像也預計會在會議結束後公開。