機器之心報導
參與：思源、一鳴、Jamin
NeurlPS 2020 將於 12 月開幕，為了解決暴增的投稿數等問題，官方公布了一系列新的變動。NeurlPS 2020 將在今年 12 月召開，今年的投稿、審稿、大會等方面政策是否會有所變動引起人們的關注。新的政策變化是否能夠避免投稿過多、審稿不專業等問題？近日，NeurlPS 官方公開了新一屆大會的變化：投稿截止日期提前；有部分論文會被提前拒絕；而絕大多數作者可能會參與審稿工作。
太長不讀版：
今年摘要提交的截稿日期提前到 2020 年 5 月 5 日，而論文提交的截止日期是 2020 年 5 月 12 日，此次調整目的是為了讓社區能夠合理的處理完增加的投稿量，以及配合提前拒稿這一新政策。提前拒稿：領域主席會有兩個星期時間去建議哪些論文會被提前拒絕，而且目前預計將有 20% 左右的論文會被提前拒絕。緊接著高級領域主席會有一個星期的時間來審核及批准這一決定。批准之後，這些論文作者將會得到通知。作者也是審稿人：此次改變提出，在需要時，論文作者或聯合作者都需要同意審稿。這一改變有助於增加審稿人員的總量，並可以在提交論文的員中更加公平地分配審稿的工作量。更廣泛的影響：作者被要求在他們提交的文件中包含新的討論部分，而討論部分是關於他們的研究工作可能產生的影響，包括一些可能導致的正面的或者負面的社會影響。Spotlight 視頻：社區要求所有作者在提交作品時都上傳一段視頻，主要是記錄該工作的 Spotlight 展示，該視頻和 camera-ready 版論文一同提交。同時，社區也在推進遠程演示以及遠程參會，他們也能看到這樣的視頻展示。
NeurIPS 2019 的嘗試早在 2019 年 12 月份，NeurIPS 就回顧並分析了 2019 年的會議情況。他們重點分析了論文提交與評審情況，並考慮採取一些措施限制投稿量。在當時的官方博客中，大會放出了一些「如果採納部分建議後」的假設結果。
審稿之前，先讓領域主席篩選：如果在審稿人接手論文之前先讓領域主席篩選一遍，能不能有效減輕審稿人負擔呢？限制每個人的投稿數：AAAI 甚至已經規定了 2020 年每個作者最多提交 15 篇論文，所以，NeurIPS 也想測試一下這一做法。只審吸引審稿人注意力的論文：引入市場機制來控制審稿量。只有那些引起了足夠關注的投稿才會被審閱。上面三個做法並不只是空談，NeurIPS 在 2019 年做了一系列實驗，並探討它們能「有效」減少多少審稿任務。例如領域主席預先篩選，他們選了 50% 的領域主席作為實驗對象，給每個人分配一些論文，然後讓他們在不看審稿意見的情況下，直接選出其中最差的 25%，還要給出每個意見的置信度。
圖註：2019 領域主席預先審稿，置信度＞＝5 表示「我確定這篇論文應該被拒」。其最後採用為 2020 的審稿策略。結果，這 50% 的領域主席給出了 110 篇「我確定這篇論文應該被拒」的論文。對比了最後確實被拒的論文，準確率也很高，達到 95.74%。但問題在於，即使篩掉這 110 篇，總共篩選出的論文也不到投稿量的 2%，佔比太少了。限制提交數也一樣，如果將每人的投稿量上限設置為 15 篇，只能減少不到 100 份投稿（總數的 1.5%）。如果將這一上限設置為 10，則會減少 4.3% 的投稿（減少 850 次審稿工作），但這對最終的接受結果並沒有太大的影響。最後一種「市場機制」很難預測稿件最終的被接收情況，被接收論文和被拒論文在審稿階段收穫的關注相差無幾。如果通過「市場機制」減少 1/4 的總投稿量，那麼被接收的論文也會被「誤殺」1/4。所以要減輕審稿壓力，似乎只能結合第一種與第二種，而在 NeurIPS 2020 的新策略中，提前拒絕就採用的領域主席預先篩選。NeurIPS 2020 新策略從 2019 年的探索到今年的策略調整，NeurIPS 官方最近介紹了最新策略的原因與具體措施。他們認為，目前有三個非常需要解決的問題：
日漸增長，且沒有停止跡象的論文投稿數和參會者人數；研究中需要注意的倫理問題和算法應用問題；對於遠程參會和參與的切實支持；因此，他們針對這三個問題提出了對應的措施。投稿者眾首先，NeurlPS 2020 大會亟待解決的是投稿數和參會人數暴增的問題。儘管大會過去幾年已採取了很多措施，但依然沒有很好地解決這個問題。官方認為，現在他們需要擴大審稿規模。在 2020 年的大會上，官方預計會有 10000 件投稿，來自 3000 位作者。因此他們會提出進一步的規則變動。首先，他們會引入「提前拒稿」機制。這是一個討論了很久但沒有實施的方法，直到 IJCAI 採用。這一方法也不是獨創的——很多期刊都在使用。具體而言，當某個投稿質量很低，或者很不相關，就會被期刊編輯直接拒稿，不經過評審。
在 2020 年的大會投稿上，領域主席會首先評價他們手裡的投稿，並挑出最多 20% 直接拒稿。然後這些投稿會交由高級領域主席進行確認。論文作者然後會得到通知。NeurlPS 表示他們希望論文作者能聚焦於少量優質論文，從而提升審稿效率。另一個改動是要求投稿作者披露投稿是否是重投的，即是否曾被拒稿過。此外，他們還需要寫一個總結，提及為什麼這篇論文會被拒稿，並列舉為了解決這些問題而對論文做出的改進。這一材料能夠幫助審稿人更好地了解稿件的問題，並幫助作者提高論文質量。參會者多為了解決參會者眾多這一問題，NeurIPS 2020 將鼓勵遠程參會。在過去幾次會議中，參會門票很快就被搶光了，以至於不得不通過抽獎的方式分配門票。在 2019 年世界範圍內的 Meetup，NeurIPS 發現這種線下分享的方式也非常優秀，因此 2020 年也會繼續鼓勵這種方式。為了進一步提升遠程訪問內容的完整度，NeurIPS 要求今年的演講者先上傳一份關於論文的視頻演講，該視頻與 camera-ready 版論文是同時提交的。
此外，參會者也可以選擇是否使用論文匹配系統來閱讀個性化推薦的論文，因為我們很難在眾多論文中找到感興趣的。後續 NeurIPS 還在探索遠程演講與海報展示的方法，它們能極大地提升遠程參會體驗。審稿者也不少為了提升同行評審系統，如果需要，NeurIPS 會要求每一位合著者擔任程序委員會成員。NeurIPS 表明，他們在同行評審中走出了重要一步，即要求所有論文合著者註冊 CMT 系統，並成為論文評審人。不遵守這項規定可能會導致他們的論文會被 desk-rejected。
如果合著者沒在限期內註冊 CMT，那麼他們的論文不用審就可以直接拒絕。通過這樣的舉措，論文評審者將大幅度增長，審稿壓力也會降低很多。額外新要求最後，官方表示，NeurIPS 社區正在日益活躍。他們對研究者的熱情參與，以及社區對長遠問題提出新的策略和機制表示感謝。考慮到避免 AI 研究被濫用，或者因失敗帶來嚴重後果，官方也要求研究者在投稿時留出一個部分，介紹論文的長遠影響。這部分內容不在 8 頁論文的限制範圍內。此外，NeurIPS 還希望作者能披露直接或間接研究資金的來源，因為它們可能會導致利益衝突。這一項舉措在物理、醫藥等領域已經非常成熟了，引入到機器學習社區也應該非常合適。該信息可能有損雙盲審，因此只需要加到最後的 camera-ready 版本就行。