年初投過 ICML 2021 的同學們要注意了，組委會剛剛做出了一個艱難的決定……影響結果是，各位的論文的接收概率似乎又下降了一點。
今天，馬裡蘭大學計算機系副教授 Tom Goldstein 在推特上表示，他從一位 ICML 2021 主席那兒獲知，大會主辦方正準備削減本次的論文接收數量。「請與您的SAC一起提升水準，AC/SAC 不再僅因為未出現錯誤就同意接收一篇論文。」
ICML 是機器學習領域最重要的會議之一，在該會議上發表論文的研究者也會備受關注。近年來，ICML會議的投稿數量一直增長：ICML 2020 投稿量為4990篇，ICML 2021的投稿量據說更多，有研究者在官網註冊ID，發現已經排到了8000多名。這一度讓人好奇，ICML 2021 會成為CVPR 2020 之後又一個「投稿破萬」的AI頂會嗎？
投稿數量激增一定會帶來很多問題，比如審稿人數量不足、工作量激增、部分審稿人資質不足，長遠來看也會對會議本身的口碑造成影響。
也許這就是推動ICML 2021 主辦方決定主動降低接收率的原因之一。Tom Goldstein 補充說：「他們表示首要任務是接收有趣的、原創的（或高風險的）論文，但沒有說明為什麼要削減目前接收的論文數量……」
同為AI頂會，其實 ICML 會議並不屬於接收率很高的那一檔：ICML 2019 為22.6％，ICML 2020 為 21.8％。相比於26.5％（ICLR 2020）、28.7％（ICLR 2021）等數字來說，是有一定差距的。
普林斯頓大學計算機教授 Ryan Adams 透露，本次降低的接收比例大概是10%：「根據當前的 Meta-Review 統計數據，我們需要提高接收標準。請與 AC 協調以減少大約10％的接收。」
但這一消息也受到了機器學習社區部分研究者的質疑，Ryan Adams 就認為：作為線上舉辦的會議，又不受線下資源限制，為什麼要來這麼一出呢？
滑鐵盧大學教授Gautam Kamath也認為：我同意「論文沒有錯」確實不足以被接收，論文也應該有趣。但我不同意減少接收論文的數量，尤其當我們沒有傳統的空間限制時。
紐約大學教授機器學習教授Andrew Gordon Wilson表示，基於平均審閱者分數對論文進行排名也是個問題，特別是如果目標是鼓勵「冒險」和「啟發性」，這樣的論文在得分上常常是兩極分化的。
有人認為ICML會議主辦方搞的這個方法，如果真正落實，未必會取得更好的效果：
理想效果：1、會議排名提升；2、效果提升。
實際效果：1、審稿心態變為「為什麼要拒掉這篇稿」，而不是「為什麼要接收這篇稿」；2、技術上不合格或懶惰的審稿人變得更加不認真，為了讓均分低於6.0而審稿，不再好好閱讀Rebuttal。
再過幾天，ICML 2021就要放榜了，驟聞拒稿新規，各位投稿人心裡大概是起起落落……
頂會該怎麼改革？隨著投稿數量逐年激增，機器學習頂會審稿壓力日益加大，審稿質量也成為人們的一大憂慮。最近，各大頂會也都紛紛推出改革措施，以提升審稿質量。圍觀之後，方式主要有幾種：
以IJCAI為例，降低論文接收率也許是提升頂會論文質量的一種方法。在4月30日放榜的IJCAI 2021上，論文接收率僅為13.9%。相比於去年的12.6%雖略有上漲，但仍低於15%。對比往年接收率會發現，IJCAI的論文接收率自2016年開始出現斷崖式下跌。圖源：https://github.com/lixin4ever/Conference-Acceptance-Rate
另一方面，一些頂會通過改革審稿機制來提升論文質量。
今年4月初，NeurIPS 2021宣布將大會的全部審稿流程轉移到論文審閱平臺 OpenReview 上，並在被公開的論文下，把審稿意見、作者的討論等內容全都一併曝光出來。NeurIPS 2021大會方面表示：「儘管現在我們還是無法利用開放審稿系統的全部好處，但新政策確實可以給論文作者們提供一個可以公開顯示，並反擊論文評審中存在問題的機會。」
國際計算語言學協會 ACL 今年推出了自己的新機制 ACL Rolling Review，它適用於所有 ACL 系列會議和 Workshop 的投稿與審稿流程。這種滾動審稿機制將在今年 11 月 7 日舉行的 EMNLP 2021 大會上首次得到應用。在一些AI 頂會的審稿工作中，主辦方使用了 Toronto Paper Matching System (TPMS)，在此之前 TPMS 也被應用於其他多個會議的投遞論文分配工作，它通過對比投稿論文和審稿人研究工作之間的文本，來計算投稿與審稿人專業知識之間的相關性。這個篩選過程是匹配系統中的一部分，期間審稿人也可以主動爭取自己希望審閱的論文。
TPMS架構。
此外，OpenReview 開發了一種「親和力評測」系統，藉助了神經網絡「Spectre」來分析論文標題和摘要。OpenReview 和麻省大學阿默斯特分校的計算機科學家 Melisa Bok 和 Haw-Shiuan Chang 表示：「包括 NeurIPS 在內的一些計算機科學大會將在今年把親和力評測系統與 TPMS 結合使用。」
在機器學習論文爆炸的今天，頂會不斷引進的新措施將讓論文質量邁上一個新的臺階。https://twitter.com/tomgoldsteincs/status/1388156022112624644https://www.reddit.com/r/MachineLearning/comments/n243qw/d_icml_conference_we_plan_to_reduce_the_number_of/
CVPR 2021 線下論文分享會
為更好的服務 AI 社區，促進國內計算機視覺學術交流，機器之心計劃於 6 月 12 日組織大型「CVPR 2021 線下論文分享會」。本次活動將設置
Keynote、 論文分享和 Poster 環節，邀請頂級專家、論文作者與現場參會觀眾共同交流。歡迎論文作者、AI 社區從業者們積極報名參與。
© THE END
轉載請聯繫本公眾號獲得授權
投稿或尋求報導：content@jiqizhixin.com