關注前沿科技 量子位
郭一璞 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
你的論文可能更容易發頂會了。
EMNLP官方，今天給出了一些審稿建議，反對審稿人一刀切拒絕論文，沒超過SOTA、方法太簡單、主題太新或太老……都不是拒稿的理由。
官方還專門強調，如果論文不是英文的NLP也不能作為拒稿理由，或許研究中文NLP有了更多發布的機會。
EMNLP拒稿八不準
EMNLP官方給出了8條不能作為拒稿理由的情況：
1.語言風格問題。
審稿人應該把重點放在論文內容上，而不是語言風格上。有時候論文作者的語言表達太差讓審稿人沒法理解，這種時候可以拒絕，但是要努力理解這篇論文之後才可以拒稿。
2.論文不是英文NLP
EMNLP關心任何語言的NLP，即使不是英文也不應當以此為理由拒稿。
3、沒超過SOTA
不能單純以SOTA論英雄，因為SOTA也會受到外部版本更迭的影響，很多時候SOTA要求的高算力會勸退搞不到海量計算資源的研究者，此外，目前的benchmark也不一定十全十美。
而且，除了SOTA之外，模型大小、訓練需要的數據量、預訓練時間等都是有效的改進。
4.沒有使用特定方法
不能因為一篇論文中沒有使用深度學習的方法就拒稿，完成一項好的工作不需要特定的某種方法，相比方法，論文本身的貢獻更重要。
5.方法太簡單
論文的重點在於貢獻和發現，大家寫論文也不是為了追求設計一個最複雜的方法。很多時候，方法越簡單的論文，被引用的次數越多。如果一個簡單的方法做到了比之前複雜方法更好的效果，這種時候一般是一個重要的發現。
6.主題太窄或過時
EMNLP不希望成為一個追熱點的社區，希望審稿人思想開放，多想想論文的貢獻和影響。
7.主題太新，沒法跟別的論文比
如果一篇論文的主題是全新的，沒有現成的技術做參考比對，或者該主題已經在其他領域完成了，那不應該以此為理由拒稿。
8.是個資源帖
在NLP、監督學習領域，數據集和模型一樣重要。
那要怎麼審稿
那麼，有這麼多條條框框，審稿人究竟要如何審稿呢？
EMNLP官方引述了馬裡蘭大學Philip Resnik教授的觀點：
我認為，鼓勵評審人員明確地思考貢獻的性質，以及需要提出什麼問題，這將具有重大價值。首先考慮:
這項研究有沒有科學貢獻? 如果有的話，作者在努力提高我們對這個世界什麼現象的理解？關於這個現象，我們現在知道了什麼以前不知道的事？>
這項研究有沒有工程學貢獻？如果有的話，這項研究解決的是現實世界的什麼問題？或者如果這項研究針對的不是目前現實世界的問題，它能幫助現實世界中的哪些問題得到解決？
這項研究有沒有理論貢獻？如果有的話，我們知道了什麼以前不知道的事？這項理論進步如何與科學或工程目標聯繫起來？
計算機語言學可能包括科學、工程或理論的貢獻，不僅僅是其中之一。不過我建議，如果一份論文你沒有對上述任何方面做出貢獻，你就要考慮它是否應當被發在這個會議上。
另外，EMNLP官方還建議，評審論文、寫評論的時候需要注意：
1.論文的主張是什麼，如何支撐這一主張，檢查一下效果的提升是否真的和這一主張有關係。
2.評論寫得具體一點，寫具體一點可以幫助作者更好的改進。比如你覺得作者忽略了引用某關鍵論文，那就直接在評論中把這些論文給出來，因為你可能對這些論文如數家珍，作者就不一定了。
3.提出的建議要有建設性，不要光說某方面做的不好，最好給出可以怎麼做的建議。
4.組織語言的時候友善一點，即使是批評也保持體面不要說髒話。
議論紛紛
看到EMNLP官方的這一則博客，有些人覺得非常支持：
真棒！這種規則應該在更多領域適用。
希望看到簡單有效的解決方案，另外請不要總覺得所有論文都應該是超越SOTA的，畢竟搞研究不是打架非得贏不可，而是解決挑戰。
也有人覺得，官方這個語調哪裡不對？
不是審稿人審稿、然後領域主席決定接受或拒稿的嗎？這寫得就好像是審稿人在做出接受/拒稿決定一樣。
參考連結：
https://2020.emnlp.org/blog/2020-05-17-write-good-reviews
— 完 —
華為MindSpore布道師招募
助力小白成為大牛
告別技術造神，尊重每個開發者。
在開源社區中一起快速成長，共建開源生態！
掃描下圖二維碼即可報名參與▽
量子位 QbitAI · 頭條號籤約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
喜歡就點「在看」吧 !
原標題：《EMNLP官方：不要因為沒超越SOTA就拒人家的稿子》
閱讀原文