ICLR 2021 正式放榜!接收率29%、高分論文被拒、評審遭質疑...

2021-01-19 網易

  
作者 | 陳大鑫

  ICLR 2021今日正式放榜! 首先恭喜所有論文被接收錄用的作者!

  本次ICLR 2021一共有2997篇有效論文投稿,最後一共 860 篇被接收,錄取率達到了 28.7% ,相比去年的26.5%有提升,與其他一些AI頂會大幅降低接收率相比,ICLR 似乎顯得更加友好。

  被接收論文中有53篇論文被接收為 Oral(錄取率僅為6% )、114篇論文被接收為Spotlight、693篇論文被接收為Poster。

  

  值得一提的是本次ICLR 2021一共有3013篇論文提交,其中有856篇論文是來自NeurIPS 2020 Rejection 之後重新提交的。

  以下是本次ICLR 2021提交論文關鍵詞的詞雲圖:

  

  以下是論文被接收的通知郵件,大家快來下滑翻一翻沾沾喜氣!

  

  

  

  1

  ICLR介紹

  ICLR,全稱為International Conference on Learning Representations(國際學習表徵會議),2013年由兩位深度學習大牛、圖靈獎得主 Yoshua Bengio 和 Yann LeCun牽頭創辦。 ICLR成立至今僅七年,但它已被學術研究者們廣泛認可,被認為是「深度學習領域的頂級會議」。

  在ICLR論文結果公布之際,LeCun在推特上感慨道:

  

「ICLR的h5指數為203,在所有科學出版物中排名第17,超過了NeurIPS、ICCV和ICML(在AI頂會中僅落後於CVPR,該榜單的前三名是 Nature、新英格蘭醫學雜誌和 Science。)。在過去五年中有203篇論文獲得了超過203個引用,這對於一個從2013年才開始的會議來說,取得的成績可謂是令人驚嘆」。

  

  另外 ICLR 採用開放評審(Open Review )機制。所有提交的論文都會公開,並且接受所有同行的評審及提問,任何學者都可或匿名或實名地評價論文。而在初審公開之後,論文作者也能夠對論文進行調整和修改以及進行Rebuttal。

  ICLR 2021官方已做出表示, 2021年5月4日-8日會議將 線上召開 。

  2

  被接收論文數據統計

  在論文放榜之後,又是辣個男人,Criteo AI Lab機器學習研究科學家Sergey Ivanov,他又一次火速爬取了ICLR 2021全部的被接收錄用的論文:

  

  文檔連結:https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007

  Sergey Ivanov也製作了論文可視化統計圖,如下所示,可以看出全部論文的平均得分大概是符合正態分布的。

  

  Sergey Ivanov之後又把論文接收等級情況做了可視化,發現論文是否被錄用以及被接收為Oral、Spotlight、Poster的等級程度在整體上是符合分數高低排序的,即得分越高越容易被接收,以及被接收的等級越高。

  

  據數據統計:

  1、有超過72%(1936篇)的論文評審分數沒有任何變化!

  2、論文平均得分在7分以上的103篇論文全部都被接收。

  3、平均得分為7分的論文一共有109篇,其中有兩篇被拒絕,這表示就算論文平均分達到了7分也不意味著百分百被錄取。

  4、論 文平均得分在6分以下的論文足足有95篇左右的論文被接收!

  5、論文平均分在5分以下基本算是可以放棄治療了,平均分在5分以下一共有700篇論文,其中只有5篇被接收。

  6、被接收的論文最低平均分是4.67(分別是6,4,4)。

  7、被接收的860篇論文整體的平均得分為7.25。

  8、平均得分為6分的論文有39%的機會被接收,而平均得分為6.5的論文被接收的概率大大增加,達到了91% !

  

  3

  評審質量受到質疑

  首先雙盲評審有多盲?

  Sergey Ivanov指出:

  

對NeurIPS 2020來說,在9298份提交的論文中,已有2313篇論文發在arXiv上,佔所有提交論文的25%。 相比之下,ICLR 2021有557篇論文發在arXiv上,佔所有提交論文的25%。

  之後Sergey Ivanov簡單的指出了有得分為7,8,6和6,8,6,8的論文被拒絕,而得分為4,6,4的論文被幸運接收。

  

  Facebook AI科學家田淵棟表示他參與的一篇得分9,8,7,5,4的論文不幸被拒絕了。

  

「AC忽視了好的評審,反而抱怨我們選擇了一些表面上相似的方法來研究。

  

  論文連結: https://openreview.net/forum?id=_ptUyYP19mP

  田淵棟隨後又說道,他們的另一篇得分為8,7,6,5,3的論文也被拒絕了,似乎AC只信任給了3分的評審,而忽略了後續的一些討論(一些評審後來意識到有些針對論文的批評是完全錯誤的,更不用說後來檢查修訂刪除了一個主要的假設)。

  

  「 今年元評審(meta-review)質量降低了嗎 ?」田淵棟之後發問?

  牛津大學機器學習副教授、應用和理論機器組(OATML)負責人Yarin表示:

  

是否好奇想看看一篇得分8,8,6,4的論文被ICLR 2021拒絕是什麼樣的?(哪怕被拒也不妨搞些PR宣傳(手動狗頭) ) 這裡介紹我們在信息瓶頸的可處理目標方面的工作!我們提出了IB邊界,它可以擴展到ImageNet並且非常容易實現。

  

  論文連結: https://openreview.net/forum?id=5rc0K0ezhqI

  AI研究員RogerGrosse也表示他們有一篇得分8,7,7,6的論文在經過了全面的評審和大量的討論仍被拒絕了,拒絕的理由用一句話來說就是:「在數據上的訓練是向算法灌輸知識的錯誤方式—— 感覺像是AAAI 1993中的舊東西 。

  

  而谷歌大腦的一位研究科學家 Hardmaru則以身作則,對此次評審過程解釋道:

  

作為本次ICLR 2021的一位領域主席,我嘗試花費更多的時間來撰寫相對複雜詳細的評審回復,以給被拒絕的論文更多的反饋,同時給被能接收的論文相對較短的評審回復。

  

  4

  論文被接收的喜悅

  最後,做研究和寫論文終究是個辛苦的差事,需要默默付出很多汗水,論文能被接收殊為不易,當然要值得祝賀一番。

  谷歌大腦機器學習科學家Hannie Sedghi表示很開心很激動。

  

  機器學習研究員Balcilar在得知自己的論文被ICLR 2021錄取之後甚至表示:「在我四十歲之後,我總是問自己我這一生中最大的成就是什麼,我之前的答案是是在被獨裁者監禁之前逃離我的國家。現在是時候改變我的答案了!

  

  AI科技評論在這裡也祝所有AI人不忘初心、不驕不躁、繼續砥礪前行!

  食物、能源、水的短缺是人類面對的終極挑戰。人工智慧技術是我們面對這些挑戰強有力的武器。最前沿的發展如何?我們如何突破困境?騰訊首席探索官網大為最新力作《重構地球:AI FOR FEW》,馬化騰力薦!

  在1月13日末條文章(注意不是本文!)《贈書福利!騰訊x先生論AI如何解決全球吃飯難題,馬化騰力薦》留言區暢所欲言,談一談你對本書的看法。

  由於微信公眾號試行亂序推送,您可能不再能準時收到AI科技評論的推送。為了第一時間收到AI科技評論的報導, 請將「AI科技評論」設為星標帳號,以及常點文末右下角的「在看」。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關焦點

  • 數十篇滿分論文,接收率26.5%,ICLR2020接收結果,明年非洲見
    今年的 ICLR 也不算風平浪靜,先是投稿數量爆炸導致審稿負擔急劇增加,結果被爆出一半審稿人根本沒在相關領域發過論文,輿論風向一度演化為「機器學習同行評審崩塌了」。 之後,又有網友摘出某篇由滿分『8-8-8』轉為超低分『1-1』的論文,質疑 ICLR 評審結果的權威性。「頂會審稿水平到底行不行」這個話題再一次鬧得紛紛揚揚。
  • IJCAI 2020接收率斷崖式下跌,但還是有華人大佬中了三篇
    北京時間 4 月 20 日晚,IJCAI 2020 接收結果出爐了:在 4717 份有效投稿中,最終僅有 592 篇被接收,接收率為 12.6%,這也是 IJCAI 史上最低的接收率。消息一出,立即引來人們的關注:討論論文審稿的較多,宣傳「論文被接收了」的目前還比較少。
  • 還沒進評審就被拒:IJCAI 2020 近半投稿遭summary reject
    研究者應該陸陸續續會收到評審結果的郵件了,本次大會的評審可以說是腥風血雨。不少作者還未等 Rebuttle 和終審結果,就已經收到的拒稿信。拒稿信內容顯示,有近半論文在 summary reject 階段就被拒絕了。根據這些拒稿信的內容,很多研究者的工作在評審第一階段:summary reject 階段就被拒稿了,甚至沒能進入正式的審稿過程。
  • ICLR 2020接收結果已出,明年非洲見
    今年的 ICLR 也不算風平浪靜,先是投稿數量爆炸導致審稿負擔急劇增加,結果被爆出一半審稿人根本沒在相關領域發過論文,輿論風向一度演化為「機器學習同行評審崩塌了」。之後,又有網友摘出某篇由滿分『8-8-8』轉為超低分『1-1』的論文,質疑 ICLR 評審結果的權威性。「頂會審稿水平到底行不行」這個話題再一次鬧得紛紛揚揚。
  • 投稿數翻倍,接收率不到三成!史上最難的ECCV你中了嗎?
    最終有1361篇文章被接收發表,接收率27%,較上屆稍有下降。 ECCV 2020論文接收情況已於昨日公布! 今年,由於疫情的影響,諸多會議轉為線上。每兩年舉辦一次的ECCV也不例外,ECCV將於2020年8月23日至28日在線上舉行。
  • 算法最熱arXiv論文接收率高一倍,NeurIPS2019最全報告+視頻+筆記
    這一數字在高級 SAC 中更高——平均每位 SAC 提交了 5.24 篇論文,接收率為 34.78%。來自學術界的審稿人與 AC 的比例約為 70%。發表在 arXiv 上的論文接收率更高在本次大會中,過半數(54%)的投稿曾經發表在 arXiv 上,其中有21% 的論文被至少一位審稿人閱讀過。這些被讀到過的論文的接收率為34%,明顯高於 21.6% 的整體接收率。相比之下,未曾在 arXiv 上發表過的論文的接收率僅為 17%。
  • AAAI 2021最「嚴」一屆發榜,1692篇論文中選,錄取率僅為21%
    聯合主席 Kevin Leyton-Brown 在自己的Twitter上稱AAAI 2021共收到了有史以來最多的9034份論文投稿,而去年是8800份。 同時,AAAI 2021共有9492位PC成員、606位SPC成員、以及246位領域主席。
  • 發SCI論文有技巧?不同的期刊接收率不同,大數據下發SCI有捷徑?
    被拒稿後的煩躁心情攻讀研究生、評職稱,發表SCI論文似乎都躲不過,雖然2019年清華大學不再要求博士生在校期間發表論文,但是現實的情況是,學校有總的要求,不同的學院也有不同的要求,同一學院不同教授也有不同的要求,既然攻讀了研究生,做科研如果沒有
  • 即將放榜!國家自然科學基金委醫學科學部三大項目評審結果
    9月21日,國家自然科學基金委醫學科學部以公告的形式,正式公布了2020年醫學科學領域專業評審組專家名單,並明確已於9月12日-16日對申請項目進行評審。這也意味著,醫學科學部尚未公布的幾個項目立項結果即將放榜。
  • 即將放榜!國家自然科學基金委醫學科學部三大項目評審結果
    高校科技進展9月21日,國家自然科學基金委醫學科學部以公告的形式,正式公布了2020年醫學科學領域專業評審組專家名單,並明確已於9月12日-16日對申請項目進行評審。這也意味著,醫學科學部尚未公布的幾個項目立項結果即將放榜。
  • 十年來最難的一屆CVPR:接收率22%,百度入選19篇,曠視17篇
    原創 關注前沿科技 量子位郭一璞 發自 雲凹非寺量子位 報導 | 公眾號 QbitAI現在,CVPR 2020中選論文已經放榜了。本屆CVPR共有198位區域主席、3664位審稿人參與,共收到6656篇投稿,有1470篇論文被接收,接收率約22%。注意,雖然論文編號排到了10000多,但其實沒這麼多論文,編號出現了一些玄學(見文末彩蛋)。比起NeurIPS 2019的6743篇投稿,1428篇接收,21%的接收率,競爭難度幾乎一樣。
  • 2021申請季美國本科學校錄取放榜時間匯總
    2020-2021申請季美國本科早申階段和UC的申請已經結束,大家在準備進行下一階段的申請工作時,也不要錯過重要的放榜日期。很多同學在RD的學校選擇上也希望能參考到之前申請過的錄取情況,今天慧德留學就給大家整理了Top30院校的錄取放榜時間,大家一起關注下並分享給需要的夥伴吧。
  • 論文投稿還要看日曆?研究表明:周末被拒稿率最高
    發表SCI論文,從構思到寫作,再到成文修改潤色,每一步都費盡心思。但你可能不知道的是,其實最後的投稿日期也是有很多學問滴~想知道什麼時候投稿接收率最高嗎?,1.26,1.32,2.36(周六);所以說周六、日的拒稿概率高,而周二、三的接受率概高,這就是研究者稱的「周二-周三效應」。
  • NeurIPS 2020 大變動,領域主席可拒稿20%,作者即評審,布局遠程會議!
    ,以及給評審過程中的早期拒稿階段更多的考量時間。第二,早期拒稿:領域主席有兩周的時間來挑選出一批早期拒稿的論文,比例大概為 20%。接著由高級領域主席在一周時間內通過決議,一經通過,被拒稿的論文作者就會收到其論文不會再接受進一步評審的通知。第三,作者即評審:要求每篇論文的每位作者或共同作者,在要求他們參與評審論文的情況下都同意參與評審論文。
  • ACL新政禁止投稿論文在arXiv公開,我們到底需要什麼樣的雙盲評審?
    種種研究表明偏見會影響任何人,無論評審者的性別或種族。而雙盲評審則可以弱化這種影響,減少歧視。這也使得雙盲評審成為評價系統的非常具有建設性的一部分,使得論文評審結果更加的忠於論文質量。但即便是雙盲評審中,審稿人猜測論文作者的嘗試仍然會影響評審結果。
  • AAAI 2021獨家爆料!錄取率21%、Oral取消、評審出現Bug、Reddit上...
    在近萬人的翹首企盼下,AAAI 2021論文錄取結果在昨天傍晚(北京時間)公布: 本次AAAI 2021一共收到9034篇論文提交,其中有效審稿的只有7911篇,最終錄取的數量為1692篇,接收率為21.4%。
  • IJCAI 2020 好狠,還未終審就拒掉 42% 投稿論文!被拒作者:一臉懵逼...
    每篇論文都被發送至 7 到 10 名高級 PC ,並要求他們花 5 到 10 分鐘對論文進行評審,並回答此問題:「該論文是否應該進入下一輪評審?」。基於高級 PC 的評選,負責該論文的領域主席最終決定該文論是否將進入全面審核階段。我已經檢查了所有論文,並僅拒絕領域主席提出了令人信服的拒稿論據的論文。
  • 只花5-10分鐘評審,還不提供拒稿理由,IJCAI就「槍斃」42%論文
    每一篇論文都會發送給7到10名高級PC,要求他們花5-10分鐘來對論文進行評審,並回答「該論文是否應該進入下一輪評審?」的問題。基於高級PC的投票和評論,負責該論文的領域主席最終決定該文論是否將進入全面審核階段。經過summary-reject階段,在接收的5147篇論文中,有2191篇被拒稿。
  • 一稿多投被拒稿,確實是你的錯
    作者 | 陳彩嫻編輯 | 青暮今天,加拿大滑鐵盧大學(University of Waterloo)的計算機系教授Gautam Kamath在推特上發文,談到ICLR 2021拒絕了三篇論文投稿,原因是:一稿多投。這三篇論文的作者將投稿至ICLR 2021的同篇論文也投到了AAAI 2021。
  • AAAI 2021論文接收列表放出,IJCAI 2020即將召開!AI頂會最新動態...
    2、AAAI 2021論文接收列表(一共1692篇論文)今日最新公布!本次AAAI 2021一共收到9034篇論文提交,其中有效審稿的只有7911篇,最終錄取的數量為 1692篇,接收率為21.4% 。  更多詳細報導請查看「 」一文  大會官網:https://aaai.org/Conferences/AAAI-21  2  IJCAI-PRICAI 2020