我有一個頂會idea還沒做實驗,NeurIPS:先佔坑再實驗!

作者 | 青 暮

相信大家對費馬大定理都不陌生，x^n +y^n=z^n。一個簡單無比的方程式卻是難到幾百年後才被數學家解決。而這其中最令人著迷的，當屬費馬當年在手稿留下的一句話：我這裡有一個絕妙的證明，可惜這裡寫不下了……

一晃到了2020年，如今我有了一個頂會idea，可惜還沒來得及做實驗……

這可怎麼辦呢？

別急！NeurIPS 2020推行論文發表新機制了。

最新消息，NeurIPS2020提出嘗試機器學習論文的新型發表和同行評審模式，即預註冊。

預註冊簡而言之，就是將提出idea的過程和實驗結果確認分為兩個階段。在研究人員進行實驗之前，先把研究idea提交給NeurIPS，然後由評審決定該idea是否可行，通過的idea視為預註冊成功，然後研究人員可以著手進行實驗，無論實驗是失敗還是成功，結果都將發表在NeurIPS2020的一個研討會中。

Yoshua Bengio是該研討會的發言人之一，此外還包括FAIR負責人Joelle Pineau、INRIA研究員Francis Bach和來自布朗大學的Jessica Forde。

研究idea提交的截止日期是2020年10月7日，而實驗的截止日期是2021年4月。NeurIPS2020已定於2020年12月6日至12月12日舉行，這意味著屆時參加這個研討會的學者可能都還沒完成實驗。

對於提出這項嘗試的初衷，NeurIPS表示：

在過去幾年中，機器學習取得了巨大進步，其中基準數據集發揮了關鍵作用。但是，論文評審可能會傾向於將基準的增量改進放在優先位置，從而妨礙了其他類型研究課題的進步，甚至將好的idea扼殺在嬰兒期。論文計劃書是根據科學興趣進行評估的，而不是是否達到SOTA。

在預註冊流程中，審稿人會對未著手實驗的研究idea進行評審，評審的重點在於實驗計劃是否可以充分證明或否定一個（或多個）假設。實驗方案可能會導致出現負面結果，但負面結果也會被接收並發表。

NeurIPS表示，發表負面結果也是有好處的，可以避免學者重複失敗的實驗。最終，論文（計劃書和實驗結果）將在研討會上發布，並發表在PMLR上（可選，PMLR是JMLR的姊妹期刊）。

NeurIPS還指出，預註冊可以讓研究人員的計劃研究變得更容易，即在進行冗長繁複的實驗之前得到有益的反饋，並提高結果的信譽度。最重要的是，這項嘗試將試圖說服人們，即使結果是負面的，我們也能從中學到一些東西。

1

負面結果也是好結果

「我對此有一個疑問。如果兩個小組提出了非常相似的idea怎麼辦？審稿人會只接受其中一個idea還是同時接受兩個idea？如果只有一個，他們將如何選擇？」

在Reddit上，一位網友massinelaarning提出了這樣尖銳的疑問，對此，網友often_worried回答：

有道理，建議作者在描述實驗方案時要特別注意，實驗的設計必須確保能證實或證否假設。通過這種方式，實際結果的重要性將大大降低，從而負面結果也能帶來積極意義。

然後，審稿人將評估計劃的各個方面，不僅涉及idea本身，還涉及計劃的實驗方案。論文計劃書將被獨立審查，因此，如果有研究者提出了兩個相似的idea，則根據上述原則，它們都可以被接受（或拒絕）。

也就是說，實驗方案的質量也是一大評估指標，同時，讓兩個研究團隊採用不同的方案攻克一個問題，並得出多樣的結果（無論正面或負面），也不是壞事。發表負面結果還能避免cherry picking帶來倖存者偏差的影響。

除了一片讚譽聲，也有不少網友從偏見、剽竊、研究視角方面表示了自己的擔憂。

網友afranius認為這可能會帶來反作用：

科學家們已經對這個問題探索了很長時間，idea撞車或無價值的問題比論文審核問題嚴重得多。在某種意義上，對於傳統論文，只有嘗試過才能判斷其質量。至於預註冊模式，研究人員必須以他人認同的方式來描述一個idea，這可能會帶來巨大的偏見，並且遏制創新工作。

審稿人也不是上帝，網友MLApprentice諷刺道：

當研究人員提出idea時，審稿人：「這個idea是胡說八道，不會起作用。」

實驗成功後，同一個審稿人：「這個idea很明顯可行，該領域的任何人都會贊同。」

網友yield22也認為存在偏見問題，基於機器學習研究的不可解釋性現象，用idea的同行評審鼓勵新研究可能不是個好辦法。

我認為正確的方法是對審稿人和程序主席進行教育，而不是鼓勵人們發表沒有任何成果的論文（就像很多人在80年代所做的那樣）。在機器學習領域，許多想法都是基於實驗結果而不是idea才能大放異彩。沒有實驗結果，我擔心審稿人的意見會更加主觀。例如，人們可能會在數學上將「跳過連接」（ResNet的主要思想）視為微不足道的idea，直到看到實驗結果。

但是，這實際上也只是個嘗試，並沒有全面推行和強制執行。如今的機器學習正遭遇瓶頸，陷入依賴算力、魯棒性差、不可解釋的漩渦。或許放開視角，從機器學習理論或認知神經科學的角度重新出發也不失為一個好方法。

圖註：在自然語言處理的論文中，最常報告的指標是BLEU分數

麻省理工學院的研究人員近期進行了一項「深度學習算力」的研究。研究人員分析了Arxiv以及其他包含基準測試來源的1058篇論文。論文領域包括圖像分類、目標檢測、問答、命名實體識別和機器翻譯等。

得出的結論是：AI模型今年來的進步取決於算力的大幅提高，具體來說，計算能力提高10倍相當於三年的算法改進。AI算法對算力的依賴，以及一大部分AI研究的調參本質幾乎已經是共識。

圖註：模型指標的線性增長和計算代價的指數增長相關。

近期，戴瓊海院士則在CCAI2020的演講報告中指出：

我們以前通過核磁共振、CT等技術來觀測大腦。目前我們還無法精細到神經元級別的觀測，只能從功能層面理解大腦，但這些成果也啟發了很多經典的人工智慧算法，例如卷積神經網絡啟發自貓腦視覺感受野研究，膠囊網絡啟發自腦皮層微柱結構研究。在未來，我們能不能深入到神經元的層面研究大腦，是非常重要的一步。總之，利用腦觀測成果啟發人工智慧理論應該還大有可為。

綜上來看，從idea的創新性出發做機器學習研究還有很大的探索空間。

對於網友yield22的觀點，網友brainggear回應道：

如果沒有實驗，某些想法（例如跳過連接）可能無法令人信服地提出。然而，如果作者為跳過連接提供某種理論上的可行性證明，則該假設更有可能被接受。

我不認為所有機器學習研究都需要預註冊，社區應該在傳統和預註冊兩個方向上努力。

有網友表示這可能會導致idea被剽竊，打擊研究人員的創新積極性。這個擔心是有道理的，對於審稿人的聲譽要求很高。但是要知道，這個研討會有圖靈獎得主Yoshua Bengio坐鎮呢。

最後，有網友認為預註冊可能限制研究視角。但實際上，預註冊僅要求研究人員清楚整個研究過程。如果遇到偶然發現，也可以寫入最終論文中。我們需要清楚，科學發現都帶有偶然性。

2

早已有之

網友regalalorithm則指出，這種嘗試在心理學領域早已有之，並已成為慣例。

在網友regalalorithm提到的這篇報導中指出，預註冊可以通過兩種方式改進研究。首先，預註冊是使用數據測試假設，與使用數據生成假設的探索研究之間有明顯的區別。將探索性結果誤用於驗證性測試會導致對報告結果可復現性的置信度錯誤。

其次，預註冊可以減少發表偏差對效果估計的影響。期刊偏向於發表具有統計學意義影響的投稿，這種偏見往往會增加已發表文獻中對影響的估計。如果將預註冊信息發布到可搜索的註冊信息中，則更可能發現有關某個主題的所有研究，而不僅僅是發現已發表的研究。

許多期刊都已經認可發表預註冊研究的論文。結果是，心理學家們以空前的、越來越快的速度預註冊研究，其中很大一部分是由APS的期刊推動的。

通過各種措施，在心理學領域，累積預註冊總數激增。從2012年的38個預註冊到2017年的12,000多個預註冊，預註冊數量每年都在增加一倍，如下圖所示。

而且，心理學不是唯一採用預註冊的社區。

《自然·人類行為》在2017年發表文章表示採用了研究預註冊，將重點從研究結果轉移到指導研究的問題和回答問題的方法。

非盈利組織開放科學中心（Center for Open Science）指出，參與預註冊研究的期刊的數量正在緩慢增加，該中心旗下有一系列鼓勵提交註冊報告的期刊。

值得一提的是，ICCV2019也嘗試過預註冊研討會，其中《An empirical study of the relation between network architecture and complexity》獲得了研討會的最佳論文。

3

重要信息和日期

這次NeurIPS2020預註冊研討會的審查周期包括兩個階段：論文計劃書和實驗論文。

論文計劃書

計劃書教程、論文模板：http://preregister.science/author-kit/tutorial.pdf

匿名將論文計劃書提交給CMT：https://cmt3.research.microsoft.com/User/Login?ReturnUrl=%2FNeurIPSWorkshopPrereg2020

與傳統論文不同的是，實驗部分只需要包含對實驗和方案的描述，並且在不同結果下得出哪些結論，而無需實驗結果。預註冊建議使用模板，建議計劃書長度為4頁，最多允許5頁（參考文獻除外）。

本次研討會的論文計劃書提交不會被視為重複提交，提交截止日期為10月7日。

除了idea的質量和潛在影響之外，審稿人還將評估：（1）實驗是否適合驗證工作的核心假設？（2）實驗方案說明是否足以允許復現實驗？

對於審稿人的評估，論文計劃書作者將有一個反駁期（最晚至10月27日），可以撰寫（最多）單頁來回覆審稿人。

最終決定將於10月30日前發送給作者。

在研討會當天（12月11日或12日，線上），計劃書被接收的作者將報告他們的計劃和初步結果（可選）。

實驗論文

作者執行在其接受的建議書中提出的實驗方案。

結果將發表實驗論文中，實驗論文和論文計劃書將整合為完整的文件。實驗論文的提交截止日期為2021年4月（暫定）。

然後，NeurIPS將支持並鼓勵最終結果發表在PMLR上（暫定）。

NeurIPS表示，可能還將在2021年4月底組織第二次線上會議，討論實驗結果和經驗教訓。

參考連結：

https://www.reddit.com/r/MachineLearning/comments/imew49/news_neurips2020_the_preregistration_experiment/

https://en.wikipedia.org/wiki/Preregistration_(science)