關注前沿科技 量子位
郭一璞 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
你的論文可能更容易發頂會了。
EMNLP官方,今天給出了一些審稿建議,反對審稿人一刀切拒絕論文,沒超過SOTA、方法太簡單、主題太新或太老……都不是拒稿的理由。
官方還專門強調,如果論文不是英文的NLP也不能作為拒稿理由,或許研究中文NLP有了更多發布的機會。
EMNLP拒稿八不準
EMNLP官方給出了8條不能作為拒稿理由的情況:
1.語言風格問題。
審稿人應該把重點放在論文內容上,而不是語言風格上。有時候論文作者的語言表達太差讓審稿人沒法理解,這種時候可以拒絕,但是要努力理解這篇論文之後才可以拒稿。
2.論文不是英文NLP
EMNLP關心任何語言的NLP,即使不是英文也不應當以此為理由拒稿。
3、沒超過SOTA
不能單純以SOTA論英雄,因為SOTA也會受到外部版本更迭的影響,很多時候SOTA要求的高算力會勸退搞不到海量計算資源的研究者,此外,目前的benchmark也不一定十全十美。
而且,除了SOTA之外,模型大小、訓練需要的數據量、預訓練時間等都是有效的改進。
4.沒有使用特定方法
不能因為一篇論文中沒有使用深度學習的方法就拒稿,完成一項好的工作不需要特定的某種方法,相比方法,論文本身的貢獻更重要。
5.方法太簡單
論文的重點在於貢獻和發現,大家寫論文也不是為了追求設計一個最複雜的方法。很多時候,方法越簡單的論文,被引用的次數越多。如果一個簡單的方法做到了比之前複雜方法更好的效果,這種時候一般是一個重要的發現。
6.主題太窄或過時
EMNLP不希望成為一個追熱點的社區,希望審稿人思想開放,多想想論文的貢獻和影響。
7.主題太新,沒法跟別的論文比
如果一篇論文的主題是全新的,沒有現成的技術做參考比對,或者該主題已經在其他領域完成了,那不應該以此為理由拒稿。
8.是個資源帖
在NLP、監督學習領域,數據集和模型一樣重要。
那要怎麼審稿
那麼,有這麼多條條框框,審稿人究竟要如何審稿呢?
EMNLP官方引述了馬裡蘭大學Philip Resnik教授的觀點:
我認為,鼓勵評審人員明確地思考貢獻的性質,以及需要提出什麼問題,這將具有重大價值。首先考慮:
這項研究有沒有科學貢獻? 如果有的話,作者在努力提高我們對這個世界什麼現象的理解?關於這個現象,我們現在知道了什麼以前不知道的事?>
這項研究有沒有工程學貢獻?如果有的話,這項研究解決的是現實世界的什麼問題?或者如果這項研究針對的不是目前現實世界的問題,它能幫助現實世界中的哪些問題得到解決?
這項研究有沒有理論貢獻?如果有的話,我們知道了什麼以前不知道的事?這項理論進步如何與科學或工程目標聯繫起來?
計算機語言學可能包括科學、工程或理論的貢獻,不僅僅是其中之一。不過我建議,如果一份論文你沒有對上述任何方面做出貢獻,你就要考慮它是否應當被發在這個會議上。
另外,EMNLP官方還建議,評審論文、寫評論的時候需要注意:
1.論文的主張是什麼,如何支撐這一主張,檢查一下效果的提升是否真的和這一主張有關係。
2.評論寫得具體一點,寫具體一點可以幫助作者更好的改進。比如你覺得作者忽略了引用某關鍵論文,那就直接在評論中把這些論文給出來,因為你可能對這些論文如數家珍,作者就不一定了。
3.提出的建議要有建設性,不要光說某方面做的不好,最好給出可以怎麼做的建議。
4.組織語言的時候友善一點,即使是批評也保持體面不要說髒話。
議論紛紛
看到EMNLP官方的這一則博客,有些人覺得非常支持:
真棒!這種規則應該在更多領域適用。
希望看到簡單有效的解決方案,另外請不要總覺得所有論文都應該是超越SOTA的,畢竟搞研究不是打架非得贏不可,而是解決挑戰。
也有人覺得,官方這個語調哪裡不對?
不是審稿人審稿、然後領域主席決定接受或拒稿的嗎?這寫得就好像是審稿人在做出接受/拒稿決定一樣。
參考連結:
https://2020.emnlp.org/blog/2020-05-17-write-good-reviews
— 完 —
華為MindSpore布道師招募
助力小白成為大牛
告別技術造神,尊重每個開發者。
在開源社區中一起快速成長,共建開源生態!
掃描下圖二維碼即可報名參與▽
量子位 QbitAI · 頭條號籤約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
喜歡就點「在看」吧 !
原標題:《EMNLP官方:不要因為沒超越SOTA就拒人家的稿子》
閱讀原文