原創 Synced 機器之心
機器之心報導
參與：澤南、蛋醬
看完摘要，領域主席：我覺得你這篇論文不太行。
「我收到了 NeurIPS 發來的拒稿郵件，感到有苦說不出。」今年 NeurIPS 新提出的「提前拒稿」機制，對於很多人來說有些猝不及防。
在兩次推遲 Deadline 之後，全球人工智慧頂會 NeurIPS 2020 終於到了論文評審階段。最近，有關收到大會領域主席 Desk reject 的消息時常出現在社交網絡上。
在一些人收到的郵件中，NeurIPS 表示：「由於 NeurIPS 近年來論文提交數量大幅增長，會方難以找到足夠數量的評審者。我們今年收到了史無前例的 9467 篇論文提交。因此，我們今年使用了摘要拒稿程序：每篇論文都會經過兩名不同有經驗的研究者評估（領域主席 AC 和高級領域主席 SAC），決定論文是否需要接受進一步的評審。」
根據 NeurIPS 官方統計，今年大會的論文提交數量比上一年增長了 38%，再次刷新了 NeurIPS 史上的提交數量記錄。
在今年提交論文的研究類型中，算法領域佔據 29%，深度學習領域佔據 19%，應用領域佔據 18%，三者佔據了絕大多數。其餘分別為強化學習和規劃領域 (9%) 、理論領域 (7%) 、概率方法領域 (5%) 、機器學習與社會 (5%) 、優化領域 (5%) 、神經與認知科學領域 (3%) 、數據、挑戰、實現和軟體等領域 (1%)。與 2019 年相比，深度學習和應用領域的比例略有下降 (兩者都下降了 2%) ，而機器學習與社會則上升了 3%。
與往年不同的是，除了因重大違規行為（例如非匿名或超出頁數限制）而被拒絕的研究之外，組委會也在「提前拒稿」階段刷掉了11%的論文。最終接收結果計劃在9月底之前通知作者。
很多人收到了組委會發來的拒稿郵件，理由包括但不限於：
「該提交被拒絕因為論文的版式不符合 NeurIPS 的要求，且未充分匿名化。」
但作者重新仔細檢查了版式和匿名化的相關要求，並無不妥，這讓人懷疑：「拒稿理由就這麼隨便？」
UT Austin 的助理教授 Sinead Williamson 也收到了拒稿通知，她在社交網絡上的吐槽引來了人們的注意。
「拒稿原因是我們提交的結果是『已知結果』，但我有相當把握認為不是，那麼領域主席是不是要寫一份解釋說明到底哪裡重複了？」Williamson 說道。「我自己就是今年 NeurIPS 的領域主席，我 desk reject 了兩篇論文，儘可能詳細地寫了拒稿原因，包括對於類似研究的引用，這應該是最基本的禮貌了吧。但令人失望的是，我自己的研究遭遇了『未被勾選上』形式的拒絕，如果是個學術新人，這種打擊可能會更加令人傷心。」
也有其它研究者表示：「這拒稿理由竟然和我們一模一樣……」
「我看過 6 個人都是因為這個原因被拒的……」如果是真的，未免也太巧合了？
這一度讓人懷疑：「他們不會是為了完成 kpi，在沒認真審稿的情況下，隨機分配了拒稿理由吧？」
這次引發爭議的第一波拒稿，源於今年二月 NeurlPS 組委會的決定。在新一屆大會中，不僅投稿截止日期提前了（在因為新冠推遲之前），還將有部分論文會被提前拒絕，絕大多數作者也可能會參與審稿工作。
太長不讀版：
今年摘要提交的截稿日期提前到 2020 年 5 月 5 日，而論文提交的截止日期是 2020 年 5 月 12 日，此次調整目的是為了讓社區能夠合理的處理完增加的投稿量，以及配合提前拒稿這一新政策。
提前拒稿：領域主席會有兩個星期時間去建議哪些論文會被提前拒絕，而且目前預計將有 20% 左右的論文會被提前拒絕。緊接著高級領域主席會有一個星期的時間來審核及批准這一決定。批准之後，這些論文作者將會得到通知。
作者也是審稿人：此次改變提出，在需要時，論文作者或聯合作者都需要同意審稿。這一改變有助於增加審稿人員的總量，並可以在提交論文的員中更加公平地分配審稿的工作量。
更廣泛的影響：作者被要求在他們提交的文件中包含新的討論部分，而討論部分是關於他們的研究工作可能產生的影響，包括一些可能導致的正面的或者負面的社會影響。
Spotlight 視頻：社區要求所有作者在提交作品時都上傳一段視頻，主要是記錄該工作的 Spotlight 展示，該視頻和 camera-ready 版論文一同提交。同時，社區也在推進遠程演示以及遠程參會，他們也能看到這樣的視頻展示。
研究者們吐槽最多的問題是，這種提前拒稿機制著實有點「隨機拒稿」的樣子。提前拒稿確實減少了審稿人的負擔，但這會讓被拒絕的投稿人相當痛苦——失望來得太快，並且無法從中獲得任何建設性的意見來改進論文。
最近，機器之心也收到了一些 NeurIPS 2020 論文被拒稿研究者的吐槽。來自華為的研究員謝凌曦表示，他剛剛收到了來自 NeurIPS 的 desk reject 郵件，而遭到拒稿的正是他今年自己最滿意的工作，GOLD-NAS 的神經網絡架構搜索算法（https://arxiv.org/abs/2007.03331）。
「我個人覺得這是一個很能啟發未來 NAS 研究方向的工作。它定義了一個超大搜索空間，並論證了可微分搜索方法能夠在這個空間上以單階段、漸進剪枝的方式，穩定地找到性價比更高的結構。我們發現了很多以往從來沒有研究過的結構，並且證實了他們在精度和複雜度之間取得了更好的平衡，」謝凌曦表示。
他還透露了更多拒稿細節，例如組委會為每篇 desk reject 文章提供了一份「chair note」，但是他在與其他被拒稿的同行交流後發現，組委會為每篇文章提供的 note 是完全一樣的：
This submission is summarily rejected because:
- There is not a significant contribution with respect to previous work; for example, the paper presents an incremental method, the gains are not significant, or the main theoretical results are variations of known results.
- The proposed approach is not supported with sufficient empirical evidence, or important baselines are missing.
通篇沒有針對文章的具體描述。隨後，這位研究者給組委會寫了一封郵件，表達了自己的不滿，得到的同樣是模板化的回覆：
I'm sorry, but the summary rejection decisions are final.
Please be assured that your AC did read the paper, as did the senior AC who confirmed their decision.
From their internal discussion, the following concerns emerged: the proposed method did not have enough contribution because it was a collection of known techniques, and the experiments did not include enough ablation studies, making it hard to properly motivate the architectural and methodological choices made by the authors.
Even if you disagree with these arguments and motivations, you may want to consider clarifying these aspects in the future revisions of your work.
I realize that this is a disappointing outcome, and I wish you the best for future submissions.
謝凌曦認為，這種敷衍的態度是對於研究者的不尊重，這種做法也是在浪費作者的寶貴時間。作為世界頂級的機器學習會議，每年都會有大量的研究者將自己最好的工作投稿至 NeurIPS，這樣的拒稿方式，可能會傷害一部分研究者的熱情。
參考連結：
https://medium.com/@NeurIPSConf/reviewing-is-underway-a5532d4615ec
https://www.reddit.com/r/MachineLearning/comments/hqpwvc/d_weird_nips_rejection/
本文為機器之心報導，轉載請聯繫本公眾號獲得授權。
✄------------------------------------------------
加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com
投稿或尋求報導：content@jiqizhixin.com
原標題：《NeurIPS「提前拒稿」直接刷掉11%，投稿人質疑：像是為了完成KPI隨機分配的理由》
閱讀原文