白交 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
雙盲評審機制真的雙盲嗎？
最近，Reddit上有這樣一個討論：社交媒體與arXiv是否損壞了頂會雙盲的機制？
13個小時，熱度超過300…
起因是一位研究人員分享了他的經歷：
NeurIPS 2020會議提交截止之後，他在Twitter上看到有人分享他們的arXiv研究成果，並得到了很好的反饋。
關鍵是，這些人一般都是Twitter上的大V，大多都來自谷歌、Facebook等著名機構的研究人員。
一旦發出，就會一呼百應，受到大家的點讚和轉發。
比如，就像這位Facebook AI研究員。
甚至還有一些機構直接下場發推——DeepMind的新研究，自監督模型BYOL刷新ImageNet記錄。
而此時，這些大會的評審工作還沒有完全結束。這樣做不僅會給雙盲評審人員巨大壓力，還損壞了頂會雙盲評審機制。
還沒有通過同行評審就放arXiv和社交媒體上，那雙盲豈不是在搞笑？
影響力or接收，哪個更重要？
先不論雙盲機制是否真的雙盲。
對於一個研究團隊而言，每年頂會放榜，論文會被錄用？錄用幾篇？都是他們關注的問題。
畢竟這意味著你們這個團隊在領域有多大的影響力，還有利於之後的研究進行。
就像這位來自小型研究室的成員說的那樣，幾年前在ML和CV領域的認可度幾乎為0，而被這些大會接收以後，原本毫不起眼的實驗室也就有了一定的影響力。
這樣來看，影響力與論文接收其實並不衝突。
但是對於一些團隊而言，卻有一個誰在前在後的問題，尤其是對於那些已經在領域內有一定影響力的人。
被更多人認可、討論、運用似乎就比被一個會議接收來的更重要。
就像這位網友提到的那樣：
現實情況是，社交媒體上宣傳對一篇論文的成功，遠比是否被會議接收更重要。
等到會議真正放榜的時候，大部分的論文已經過時不受關注了。它只是為了讓你的簡歷更加好看。
但是對於一般的團隊而言，是否要提前發布在arXiv，甚至發表在社交媒體上呢？
有的人作為一個旁觀者的角度，認為自己從arXiv了解到很多棒的idea，當一篇論文還在審核的時候，就已經讀過了，而最終是否會被會議錄用，與我們毫無關係。
這樣來看，arXiv確實能夠提供了更為廣泛的交流機會。
但是林子大了，什麼樣的論文也就有了，arXiv論文魚龍混雜也不是一天兩天的事情了。
那麼對於一些沒那麼大影響力的團隊而言，擔心自己的idea被人竊取，也估計收不到那麼多的關注，也就不會提前在arXiv上發表，更別說在Twitter上發表了。
同行評審也一直飽受爭議
而落回會議的同行評審制，其實也一直飽受爭議。最關鍵的原因，就在於它的不透明性。
如何審？有多少人審？這些審稿人的身份是什麼？
僅僅因為少數人甚至可能只有3-4人的評審觀點，就能判斷這個論文的好壞？
GAN的發明人，現為蘋果AI負責人Ian Goodfellow 就曾炮轟同行評審機制，認為是這一制度導致了如今AI會議論文下降。其中，「評審人質量參差不齊」是主要原因，浮誇的論文被選中，真正的好論文反而被埋沒。
那麼如何解決這個問題呢？
既然如此，arXiv和社交媒體會一直存在，審稿也會繼續，那麼該如何解決這個問題呢？
此前，就曾有過一個會議解決這個問題，KDD 、ACL就曾要求，在論文結果出爐之前不允許發表在arXiv上。
在這裡，有一些網友提供了自己的建議：
arXiv可以為正在審閱的論文添加匿名模式，發布的同時不會透露其身份。
修改會議規則，取消可以通過合理方式（比如，網際網路搜索）識別作者的論文的資格。
而如果在審稿途中，已經知曉了論文作者是誰，該如何做呢？
有這樣一個建議：
啟動一個關於論文的Reddit線程，或者問問朋友們對論文的arxiv版本有什麼看法。
如果你已經在Twitter上知道了論文作者，那麼為何不更進一步，利用Twitter尋找論文的缺陷—這反而還會抵消知道作者很有名的偏見。
你覺得呢？有什麼更好的建議嗎？歡迎與我們分享～
參考連結：
https://www.reddit.com/r/MachineLearning/comments/hbzd5o/d_on_the_public_advertising_of_neurips/
作者系網易新聞·網易號「各有態度」籤約作者
— 完 —
原標題：《社交媒體和arXiv存在，讓雙盲評審形同虛設 | Reddit熱議》
閱讀原文