EMNLP官方:不要因為沒超越SOTA就拒人家的稿子

2021-03-02 量子位
郭一璞 發自 凹非寺
量子位 報導 | 公眾號 QbitAI

你的論文可能更容易發頂會了。

EMNLP官方,今天給出了一些審稿建議,反對審稿人一刀切拒絕論文,沒超過SOTA、方法太簡單、主題太新或太老……都不是拒稿的理由。

官方還專門強調,如果論文不是英文的NLP也不能作為拒稿理由,或許研究中文NLP有了更多發布的機會。

EMNLP拒稿八不準

EMNLP官方給出了8條不能作為拒稿理由的情況:

1.語言風格問題。

審稿人應該把重點放在論文內容上,而不是語言風格上。有時候論文作者的語言表達太差讓審稿人沒法理解,這種時候可以拒絕,但是要努力理解這篇論文之後才可以拒稿。

2.論文不是英文NLP

EMNLP關心任何語言的NLP,即使不是英文也不應當以此為理由拒稿。

3、沒超過SOTA

不能單純以SOTA論英雄,因為SOTA也會受到外部版本更迭的影響,很多時候SOTA要求的高算力會勸退搞不到海量計算資源的研究者,此外,目前的benchmark也不一定十全十美。

而且,除了SOTA之外,模型大小、訓練需要的數據量、預訓練時間等都是有效的改進。

4.沒有使用特定方法

不能因為一篇論文中沒有使用深度學習的方法就拒稿,完成一項好的工作不需要特定的某種方法,相比方法,論文本身的貢獻更重要。

5.方法太簡單

論文的重點在於貢獻和發現,大家寫論文也不是為了追求設計一個最複雜的方法。很多時候,方法越簡單的論文,被引用的次數越多。如果一個簡單的方法做到了比之前複雜方法更好的效果,這種時候一般是一個重要的發現。

6.主題太窄或過時

EMNLP不希望成為一個追熱點的社區,希望審稿人思想開放,多想想論文的貢獻和影響。

7.主題太新,沒法跟別的論文比

如果一篇論文的主題是全新的,沒有現成的技術做參考比對,或者該主題已經在其他領域完成了,那不應該以此為理由拒稿。

8.是個資源帖

在NLP、監督學習領域,數據集和模型一樣重要。

那要怎麼審稿

那麼,有這麼多條條框框,審稿人究竟要如何審稿呢?

EMNLP官方引述了馬裡蘭大學Philip Resnik教授的觀點:

我認為,鼓勵評審人員明確地思考貢獻的性質,以及需要提出什麼問題,這將具有重大價值。首先考慮:

這項研究有沒有科學貢獻? 如果有的話,作者在努力提高我們對這個世界什麼現象的理解?關於這個現象,我們現在知道了什麼以前不知道的事?>
這項研究有沒有工程學貢獻?如果有的話,這項研究解決的是現實世界的什麼問題?或者如果這項研究針對的不是目前現實世界的問題,它能幫助現實世界中的哪些問題得到解決?

這項研究有沒有理論貢獻?如果有的話,我們知道了什麼以前不知道的事?這項理論進步如何與科學或工程目標聯繫起來?

計算機語言學可能包括科學、工程或理論的貢獻,不僅僅是其中之一。不過我建議,如果一份論文你沒有對上述任何方面做出貢獻,你就要考慮它是否應當被發在這個會議上。

另外,EMNLP官方還建議,評審論文、寫評論的時候需要注意:

1.論文的主張是什麼,如何支撐這一主張,檢查一下效果的提升是否真的和這一主張有關係。

2.評論寫得具體一點,寫具體一點可以幫助作者更好的改進。比如你覺得作者忽略了引用某關鍵論文,那就直接在評論中把這些論文給出來,因為你可能對這些論文如數家珍,作者就不一定了。

3.提出的建議要有建設性,不要光說某方面做的不好,最好給出可以怎麼做的建議。

4.組織語言的時候友善一點,即使是批評也保持體面不要說髒話。

議論紛紛

看到EMNLP官方的這一則博客,有些人覺得非常支持:

真棒!這種規則應該在更多領域適用。

希望看到簡單有效的解決方案,另外請不要總覺得所有論文都應該是超越SOTA的,畢竟搞研究不是打架非得贏不可,而是解決挑戰。

也有人覺得,官方這個語調哪裡不對?

不是審稿人審稿、然後領域主席決定接受或拒稿的嗎?這寫得就好像是審稿人在做出接受/拒稿決定一樣。

參考連結:
https://2020.emnlp.org/blog/2020-05-17-write-good-reviews

告別技術造神,尊重每個開發者。

在開源社區中一起快速成長,共建開源生態!

掃描下圖二維碼即可報名參與▽

相關焦點

  • 楊超越拿著稿子發言,忘了手裡有話筒,丁禹兮立馬反應過來,好甜
    楊超越拿著稿子發言,忘了手裡有話筒,丁禹兮立馬反應過來,好甜!說到楊超越,我們都太熟悉了,她自從在團隊解散以後,這資源真是好到沒話說了,不僅有電視劇在播,而且還有綜藝節目也是連續不斷,讓人看著都為她感到高興啊,而她最近的《心動的信號》也終於是開播了,在這時候,官方也放出了他們直播時候的畫面
  • 人家很有誠意的,不要因為昨天而取關人家好嘛இдஇ
    哈嘍艾瑞巴蒂~~~我又來了~~~ 昨天因為時間的關係,連圖文消息都沒能編輯,直接發送了一段文字出去,結果我沒想到……居然收到好多人說要取關的留言w(゚Д゚)w不要啊人家只是偶爾一次失手,不要因此就取關啊w(゚Д゚)w人家要哭了啦!!!
  • 原來杲昃不讀「稿子」!看了這個,十萬個膽也不敢說稿子土了(有大彩蛋)
    那是因為杲昃屬於江淮官話泰如片,南通、泰州、揚州、鹽城都有地區廣泛使用。而揚中建縣較遲,光緒三十年前,太平洲北部隸屬過泰興縣,相當一部分揚中人口來源於泰興。所以,揚中不僅是個「分舵」,還不是杲昃的發源地。
  • 跳過被拒,核心期刊發表是什麼審稿流程?——以SCI期刊為
    有的說,投某核心,審稿半年無結果,一直等遙遙無期,又不敢投其他期刊;有的說,投稿就被拒,換了一個個刊還是被拒;有的說催編輯部審稿,編輯說儘快,但是沒結果。總之各種難,如果熟悉期刊的審稿流程,是不是要少走很多彎路?那麼我們來講一下,發表核心期刊,編輯部的審稿流程是如何的。
  • 有分量的「大稿子」怎麼寫?
    因為浮躁了唄,因為碎片化閱讀毀掉了深度思考了。大眾一邊抱怨「哎呀呀現在都是徒有虛名的人誰都不肯認真創作」,一邊有本事將任何一位文化創造者,簡化成微博/微信心靈雞湯素材。據說,現在大家每天都在汲取些碎片化信息,但是,如果細想一下,也許,世上就沒有過「大家都閱讀嚴肅長文本」的時代。
  • 稿子鋪大彙編
    1、稿子鋪第1期——組織部長會議講話專輯2、稿子鋪第2期——江蘇縣委書記工作講壇講話專輯3、稿子鋪第3期——江蘇縣委書記工作講壇發言材料專輯4、稿子鋪第4期——藍紹敏講話專輯5、稿子鋪第5期——各條線工作計劃專輯6、稿子鋪第6期——黨代會專輯7、稿子鋪第7期——述職述廉專輯8、稿子鋪第8
  • 乾貨: H1B補件/被拒/沒抽中棘手怎麼破?
    來自/洛杉磯華人資訊ID/taola-la4月1日,大片《千軍萬馬搶H1B》將上演,還沒開始,已經超越《太陽的後裔》
  • 肖戰兩次被品牌「醜拒」,粉絲:好扎心!
    看到一個熱搜是「官方的嘲諷最為致命」,是網友惡搞的段子,偽裝成民政局發布信息,嘲諷「單身狗」的段子,只圖一樂。但是後面衍生的視頻中,也有不少帶入影視角色中的官方嘲諷,真的是又扎心有忍不住地嘲笑。這也包括肖戰,來自官方被品牌霸霸「醜」拒!近期肖戰更新的視頻中,也有不少的官方來湊熱鬧,點讚評論自家的代言人,要知道在短視頻平臺上,在100多萬留言中,找到官方的留言,並頂到熱評,真的是很難找,除非在發布時,就佔了前排的位置。
  • 範冰冰受邀華鼎獎上臺頒獎半路被拒黑臉離場 官方:不能全面解封
    範冰冰受邀華鼎獎上臺頒獎半路被拒黑臉離場 官方:不能全面解封;範冰冰復出受阻遭華鼎獎「退貨」放鴿子?李彩樺:確有此事,她提前離開了!本文文字原創首發,圖片來自網絡,如有侵權請聯繫刪除,謝謝!然而,這次範冰冰,到華鼎獎紅毯,雖然已經闊別兩年沒走紅毯,但是範冰冰穿著黑色的禮服依然是一枝獨秀,果然,範爺終究是國際範,你姐還是你姐啊!
  • 無價之姐——以前那些寫稿子怎麼都消失了
    不過這也算不得什麼稀罕事,幾乎所有事,都是無法超越第一次的水準。節目開始的時候,就覺得藍盈瑩很強,很厲害,心中標杆啊。但凡我能有她一半的自制力和拼命勁,我也不至於雅思考了兩次白搭了那幾千人民幣。就這一點而言,幾乎關於她的所有差評,都是一團煙霧彈。討厭她的人,就人品立論而言,人品高尚的應該不至於看綜藝了吧?
  • 兮妹拒提合同吐槽根本沒攢到錢,全花老公的!女主播直播R罩被狗狗叼跑!五哥揭秘網紅前世今生,幹微商賣暴利產品賺錢!
    助理說108,五哥說一塊馬油皂成本兩三塊錢,三塊錢的成本賣100多,現在玩網絡玩得好不是隨便玩的好,是通過當年那種網絡基礎幹起來,因為溫故知心看走過的路,然後你們再往前瞅,你們不會容易上當受騙!二驢參加耐撕大會被臨時撤掉,鵬GG直播表示你就記住咱任何人在官方的眼裡屁都不是,誰也不耽誤,我好哥們天佑被安排了,影響人家發展嗎,你仙家軍仙洋被安排了,影響人家發展了嗎,你祁天道被安排了,影響人家發展了嗎,你小辛b上別的平臺呲牙,人家封你號,影響人家發展了嗎,不要太高估自己,誰沒,人家該咋地還咋地,記住就像我之前跟你們說了,你辛也好九也好,你被封號之後,你不得消消停停過來跟人家談條件嗎,
  • "王世均們"加班加點寫出來的稿子,為什麼"周瑩們"不買帳?
    以為她要出洋相的,沒想到她自我解嘲到:「你們以後一定要好好讀書認字,千萬別像我這樣,拿著稿子都念不出來。」然後索性拋開稿子,作了一番相當精彩的即興演講。▲周瑩在女子學堂開學典禮上的演講視頻周瑩的演講是很成功的。
  • 我,32歲材料狗,熬夜寫的稿子被領導撕爛,老主任說三句話:醒了
    我感到重任在肩,一天一夜沒睡覺,點燈熬蠟,費盡心血,反覆打磨,就像對待自己的孩子一樣,愛不釋手。【2】挨訓我滿懷自豪,但裝作很謙虛的樣子,把材料遞給領導。領導眼皮都沒有抬,翻看了幾頁,暴怒:你寫的是什麼破玩意?這是我想講的意思嗎?驢唇不對馬嘴。
  • 拒演《西遊記》成就六小齡童,妻子內地第一經紀人,堪稱人生贏家
    寒暑假被重播最多的電視劇,重播次數超過3000次,依然百看不厭,成為一部公認的無法超越的經典。這是屬於《西遊記》的收視神話。但是86版西遊記絕對是難以超越的經典作品。雖然已經有75歲的高齡,但是人家的精神狀態還是非常不錯的。剛開始在挑選演員的時候,其實沒想著定六小齡童,他還只是一個替補隊員。
  • 恭喜楊超越維權成功,工作室官方聲明來了:我們會改進
    近日,楊超越因為團隊安排等問題,和粉絲吐槽了一番,而粉絲蜂擁而至跑到楊超越微博下或者楊超越工作室,直接向公司幫楊超越維權。它不爽就翻桌子,你懂人家的合同內容嗎?你出錢打官司嗎?以後你給藝人好的資源嗎?沒有就閉嘴,什麼都不懂的局外人非得逼人家親媽還親媽。粉絲總以為只有自己對愛豆好,去要求愛豆要怎麼做不要怎麼做,去撕愛豆的朋友和團隊,自以為是地認為什麼是對愛豆有益的。
  • 自己的稿子被人明目張胆地複製抄襲還申請了原創標籤
    梁靜茹本來這類娛樂報導性的稿子不能算真正意義上的原創稿子,所以稻穀娛樂發文就沒加原創標籤。沒想到竟然被人拿去申請原創,拿別人寫的稿子當成自己的,這和偷有何區別?稻穀娛樂做事謹慎和有原則,哪怕稿子有引用的文字他都不加原創標籤,但也不代表某些人可以隨意複製變成自己的稿子。
  • 能不能不要再抄了!
    最韓流17號推送了SEMINA回歸專題。劃重點7月17日。2017年,我們柚哥寫了篇「T-ara回歸失敗!MBK這是要把組合解散的髒水潑到成員身上嗎?」的文章。首先依然是推送時間——最最最韓流2018年3月5日,韓國me2day是3月6日。
  • 《慶餘年2》李沁拒演?與男主張若昀爭番位?大可不必
    所以,《慶餘年》迎來了第二季的拍攝,但是卻有人爆出雞腿姑娘李沁拒演《慶餘年2》的拍攝。劇中每一個人人物都有非常鮮明的個性特徵,李沁拒演《慶餘年2》的消息一出來就讓很多人覺得太可惜了! 就是因為有那麼多精彩的劇情,還有太多劇中沒有說明,留下了那些大家仍舊沒有解開的疑惑,才能讓觀眾看完一部後依舊意猶未盡!所以《慶餘年》官方帶來了好消息,並且幾位主演們已經相繼出席了發布會,只是看起來就已經非常振奮人心!
  • 為啥《新聞聯播》最後都要放整理稿子的畫面?
    01為什麼要整理稿子?1月1日起每天19點在中央電視臺直播同時各省級衛視進行轉播每天的播出時長也是固定的除了發生重大新聞外結束時間都是在19:30但是每天的新聞實際播放時長會跟預期出現誤差甚至出現突發狀況現在都是以直播加錄播的方式播出因為新聞講究時效性
  • 深℃丨猛將兄第1000篇稿子:新的希望,一起來實現!
    只恨自己當初沒找個地產商冠名,沒準當年頂帳的就是小半套房了。最後我們只能如莎士比亞所言「當愛情小船被浪掀翻時,讓我們友好地說聲再見。」不少人事後說了,短視頻應該繼續搞下去麼,你看如今火爆的抖音和快手。對不起,讓大家失望了。