機器之心原創
編輯：魔王
NeurIPS 2020 論文評審結果出來了，你有被評審結果「摧殘」到嗎？
經歷了兩次 deadline 推遲之後，NeurIPS 2020 的論文評審結果終於出來了！一如既往，評審結果一出就引發了大量吐槽。
評審結果一出來，眾多作者「在線攤手」
或許很多投稿作者的內心 OS 是：收到這樣的評審結果，我該怎麼辦？
評審意見不一，rebuttal 可怎麼寫？
投稿人 Adarsh Jamadandi 表示自己收到的評審意見截然相反。一個認為論文寫作思路不清晰，另一個則認為寫得很好，很適合 NeurIPS 會議。他對此發出了靈魂一問：作為第一次投稿 NeurIPS 的人，我應該怎麼寫 rebuttal 呢？
辛苦做的研究得了低分，一個月搞定的工作拿到高分：NeurIPS 不值得
reddit 用戶 enematurret 則表示：算了，改投別家吧……
我花了一年時間寫的論文，解決了開放性問題，性能大幅超越 SOTA 結果，得了 6/4/4 分；提交前一個月才開始做項目，不到 48 小時寫完論文，而且實驗大多比較初級，這篇論文竟然得了 8/6/6 分。
現在我確信，評審結果大部分是噪聲了。從現在開始，我要保存自己的論文草稿和 NeurIPS 認為不好的論文，將自己最好的工作投到別的渠道。
評審讓我對比投稿時還沒發布的論文……
更奇葩的還有這個。
reddit 用戶 Lolikyon 表示，評審者認為 ta 沒有與另一篇論文進行對比，而那篇論文 7 月 12 日才上傳到 arXiv！
另一位用戶提建議：「你的 rebuttal 可以這樣寫：『很遺憾，我們沒有時光機器，能讓我們對比還沒發表的工作。』」
NeurIPS 2020 新審稿機制惹爭議
除了和往年一樣，大家對評審結果表示不理解和不認同外，今年還有很多爭議圍繞著 NeurIPS 2020 的新審稿機制。
頂會論文數量增長迅猛，隨之而來的是評審人員不足、評審質量不夠等問題。針對這一現象，2020 年收到將近 10000 篇提交論文、提交數量再次刷新記錄的 NeurIPS 會議決定採取一些措施：
提前拒稿：領域主席會有兩個星期時間去建議哪些論文會被提前拒絕，而且目前預計將有 20% 左右的論文會被提前拒絕。緊接著高級領域主席會有一個星期的時間來審核及批准這一決定。批准之後，這些論文作者將會得到通知。
作者也是審稿人：此次改變提出，在需要時，論文作者或聯合作者都需要同意審稿。這一改變有助於增加審稿人員的總量，並可以在提交論文的人員中更加公平地分配審稿的工作量。
然而，這些試圖解決論文評審問題的機制就執行結果而言真的符合設置初衷嗎？
7 月中旬，NeurIPS 提前拒稿結果出來後，即引發大量吐槽。研究者們吐槽最多的問題是，這種提前拒稿機制著實有點「隨機拒稿」的樣子。提前拒稿確實減少了審稿人的負擔，但這會讓被拒絕的投稿人相當痛苦——失望來得太快，並且無法從中獲得任何建設性的意見來改進論文。
剛剛，NeurIPS 2020 論文評審結果出來後，再次引發了對 NeurIPS 評審制度的批評和思考。英偉達機器學習研究負責人 Anima Anandkumar 直言：
再一次看到 NeurIPS 會議糟糕的論文評審結果，我確認了一點：如果評審人員沒辦法真誠地寫評審結果，那就應該禁止他們同時作為作者提交論文。我們的 AI 會議需要更有可信度。
在這條推特的留言區，大家也是眾說紛紜。
谷歌 AI 研究科學家 Hossein Mobahi 表示：
目前在 ICML 和 NeurIPS 會議評審過程中，領域主席（AC）已經對評審人員進行評分了。據我所知，這個分數僅用於發現優秀的評審人員，進而激勵評審者。它其實可以有另一種類似的用途：摒棄不好的評審人員（這一過程應該接受更多 AC 的監督）。
加德滿都大學計算機科學與工程博士生、前華為網絡工程師 Shashi Raj Pandey 表示：
認真工作了好幾個月或好幾年，評審一兩天就結束了，評審結果還像出自機器人之手——不具備恰當的 pointer、敘述、構造、善意等。大部分學術研究評審結果都是這樣，唉！
oblivious.ai 聯合創始人 Jack Fitzsimons 從更宏觀的角度思考了這個問題 ：
論文提交數量日益增長，肯定會有更多初級研究者擔任評審（論文作者兼任評審加劇了這一點），因此我認為評審質量變差在情理之中。但是 NeurIPS 會議仍然具備很高的聲譽。其他不錯的會議（如 UAI、AISTATS）也收到了大量投稿。我認為我們缺乏足夠好、具備較高聲譽的子領域會議，不然評審和作者能夠得到更好的匹配，這方面還大有可為。
俄勒岡州立大學傑出教授 Thomas G. Dietterich 發表了較為審慎的觀點：
禁止並非解決問題的良策。我們需要更好地教育論文評審（和作者）。我們還需要重新思考 21 世紀的會議論文發表系統。
此外，Thomas G. Dietterich 教授連發 21 條推文，介紹了自己設想的 ML 研究和論文發表系統。
我對此的建議包括四部分。
核心部分是包含以下三個主要組件的 wiki：1）已發表論文的有標註、有組織的目錄；2）機器學習實驗設計和分析流程（包含代碼）的集合；3）證明優化和學習理論發現的數學結果和分析技術集合。
該 wiki 應由包含高級編輯的研究社區維護，這些人員分別歸屬於三個專家組：1）領域專家組，負責持續跟進某些研究領域；2）方法論專家組，負責實驗設計和統計分析部分；3）數學專家組，負責分析機器學習算法。
高級編輯應擁有不錯的職業路徑，具備相關的知名度和獎項。作者應查詢該 wiki，找到相關的研究結果和方法。沒有引用該 wiki 中的相關工作或方法的論文可被拒。
第二部分：論文投稿應包括結構化的摘要和附錄。摘要應表明研究動機、研究問題、方法和貢獻。附錄應包含：a）解釋作者認為論文與哪些 wiki 類別相關，與哪些不相關；b）實驗設計和分析流程的偽代碼；c）對所有形式化結果的陳述和證明。
第三部分：每篇論文分配一名編輯 / 指導者，負責幫助作者改進論文。
編輯閱讀論文並就其「敘事」提供反饋，然後將建議以 pointer 的形式發送給作者。作者根據編輯的反饋更新論文，然後編輯通過，將該論文發布在某個平臺上（如 Open Review），邀請研究社區進行評審和復現。
第四部分：如果研究社區認為某篇論文很重要或效果驚人，則論文進入深入的正確性檢查環節。
由某個受資助組織接受聘請評審進行此類檢查。論文發送給三類評審人員：a）研究類似問題的人員：這類評審負責評估論文的研究問題、論斷和證據是否得到準確描述；b）方法論專家（如果論文包含實驗的話）：這類評審負責評估方法和分析的正確性；c）分析專家（如果論文做出了形式化論斷）：這類專家負責檢查理論論斷和證明。
其整體目標是對重要的論文進行再次檢查，相當於「可編輯的 arXiv」，擴展性優於現有系統。
社區創建和維護 wiki 以跟蹤領域最新知識，與為作者提供「doing research right」的更好工具同等重要。
Thomas G. Dietterich 教授表示：這個系統或許可以解決機器學習領域研究工作大爆炸的問題。