論文得分低、瀕臨被拒不要慌,18條rebuttal小貼士助你說服評審和AC

2021-02-25 機器之心
優秀的 rebuttal 能絕地逢生,糟糕的 rebuttal 會過猶不及!

我們都知道,對於頂會投稿來說,rebuttal 是必不可少的一個階段。通過 rebuttal,投稿人可以根據意見內容來更正審稿人理解上的錯誤、解釋/澄清審稿人的疑惑,並提供更多方法和實驗細節等內容。所以,如果論文本身足夠硬核的話,審稿人在 rebuttal 之後會提高論文得分,則文章大概率會被接收。所以 rebuttal 對於論文是否接收來說有著舉足輕重的作用。之前,曠視南京研究院負責人魏秀參博士曾介紹了論文 rebuttal 那些事,為讀者們提供全新的洞見。在本文中,喬治亞理工副教授兼 FAIR 研究科學家 Devi Parikh 和 Dhruv Batra,以及俄勒岡州立大學助理教授、擔任 ICML 和 NeurIPS 2020 領域主席的 Stefan Lee 更詳細地闡釋了為何進行 rebuttal 以及審稿人和領域主席各自扮演什麼角色,並根據自身經歷為讀者提供了 18 條實用的 rebuttal 小建議。

從左到右依次為 Devi Parikh、Dhruv Batra 和 Stefan Lee。接下來先了解一下審稿人和領域主席(AC)在 rebuttal 中各自扮演的角色。有的放矢,儘可能全面地準備 rebuttal 內容一言以蔽之—「澄清」和「說服」是 rebuttal 的兩大核心點。「科學」是一個十分嚴謹的過程,而「rebuttal」只是該過程中的一個環節。MIT 電氣工程與計算機科學系(EECS)教授、歷任 ICCV 2005 和 CVPR 2013 程序委員會共同主席的 Bill Freeman 曾在 CVPR 2018 大會的一次演講中談到:通常情況下社區新成員會過於理想化同行的評審過程,他們普遍認為評審者們有很多時間,會被安排在一個安靜的空間中,進而仔細審閱各類論文以及研究報告。但現實情況遠比想像的混亂,在評審過程中,不同的參與者都有不同的目標。同時,每個參與者都必須在有限的時間和注意力範圍內評審論文,並且還需要承擔多種責任。因此,從這個角度出發,一方面要弄清楚 rebuttal 的目標對象是誰。1. 審稿人,他們會不同程度地閱讀論文,但可能記不起一些細節,或者打從一開始就不理解論文的核心主題;2.AC 可能對研究工作並不太熟悉,在這種情況下,最優的「指導原則」是假設他們所讀的只是評論和 rebuttal 論點。另一方面我們要「看人下菜碟」,針對審稿人和 AC 準備相應的 rebuttal 內容:1. 對於審稿人而言:盡最大可能澄清疑惑,回答問題,糾正可能產生的誤解,避免過於明顯的錯誤,並盡最大努力整合反饋意見改善現有的工作;2. 對於 AC:提供有代表性的評論摘要,幫助他們了解審稿人提出的問題是否獲得了解決,並呼籲進行 bad-faith 審核,幫助他們做出有效的決定。根據以往的經驗,學術界大多數的新成員都專注於(1),而忽略(2)。最後,我們可以將「rebuttal」看作「辯論賽」。辯論賽中參賽者竭盡全力力圖說服對手,在參加各類頂會時也是如此。雖然這個比喻並不完美,因為審稿人並不是我們的對手。但相同的是,我們都在嘗試說服「辯論對手」或者「審稿人」以改變其想法。

逐句逐條地列出審稿人的評論以及意見,使用電子表格來整合每個審稿人提出的個人評論/問題/疑慮。將所有內容放在同一位置防止有任何遺漏的內容。儘快執行此操作,以便於意識到需要補充任何有必要的新實驗(如果場所允許),也便於儘早進行分析;

頭腦風暴:在總表上設一個專欄,供回復每個審稿人的評論。在此專欄裡可以將自己的想法粗略地表達出來;

撰寫「rebuttal」草案。將你在上述專欄中粗略的表達轉化為 rebuttal 草案中的具體回應。注意簡明扼要,同時覆蓋每個要點,並在後續調整中進行刪減/優先排序處理;

審查和修訂。重讀原始評論和你創建的反饋表,以確保所有對應的問題均已解決。當然,優先考慮主要問題,然後在合理空間內進行調整。

關於 rebuttal,作者提供了以下 18 個他們認為有效的建議,大家可以參考借鑑。提示 1:保持積極態度:進行審稿意見的總結,突出審稿人對論文的正面評價。rebuttal 內容則主要針對負面的評審反饋。

提示 2:確定優先級順序,先解決評審中存在的最大問題,然後處理細枝末節的小問題。提示 3:直接明了地回答審稿人提出的問題,緊扣問題的核心。回答的同時注意結合上下文,例如以下兩則示例對話:

問:「這些是多次運行後反饋的平均值嗎?」答:「沒錯,我們對 5 個隨機原始值進行了平均。」

問:「訓練期間是否使用了分割蒙版?」答:「沒有,僅用於評估研究結果。」

提示 4:保持溝通狀態,比如提示 3 的示例都是對話形式的。這可能會讓 RAC 更容易接受,並且也不會顯得那麼「好鬥」。提示 5:回答問題的意圖。不要糾結於問題本身,更要明白評論背後的意圖。例如,評審的問題是「為什麼不在 GLORP3 上進行評估?」通常情況下可能會使您的研究實驗受到部分質疑。你在回答時應指出自己已經對 X,Y 和 Z 進行了評估,這些就足夠了。需要注意一點的是,提醒其他評審和 AC 進行廣泛的實驗評估是非常必要的。提示 6:不要害怕去做一些強調。回答不僅要直截了當,還要有的放矢,突出重點。提示 7:如果所有審稿人都忽略了你想表達的核心觀點,那麼你應該點撥一下幫助他們回顧一下。

提示 8:如果審稿人和 AC 不太記得你的論文,或者有可能他他們沒有仔細閱讀。你可以重新介紹一些關鍵詞,並提醒他們有關實驗的細節情況。提示 9:如果審稿人問的內容在論文中已經呈現,那麼以行/表格/圖片的編號的形式反饋給他們,並在 rebuttal 中強調這一點。引用的主要目的是提醒審稿人和 AC 你的論文並不缺少重要細節。

提示 10:整合審稿人共同關注的問題。如果多個審稿人有共同關注的問題,可以一次性回復多個審稿人。提示 11:讓審稿人儘可能容易地發現與他們有關的回覆。提示 12:統計數據的說服力更強。相比於與審稿人和 AC 爭論,提供給他們具體數據/統計資料更能支撐你的觀點。提示 13:說不如做。直接在 rebuttal 中解釋一些詞彙具體代表什麼,然後再向論文中添加內容,這會讓審稿人和 AC 相信你可以完善論文的細節。提示 14:要善於接受意見同時保持理性。大多數審稿人和 AC 都欣賞這一點。同時,也要嘗試他們建議的方法,看其是否有效,而不要爭論其建議也可能無效。

提示 15:坦誠回應。審稿人可能提醒你再做一次實驗,但如果真的無法完成,你可以直接回答「條件不允許」。總之,實話實說就行了。提示 16:要特別關注不良審稿人。在一些情況下,審稿人可能沒有堅持審閱的最佳實踐或者沒有認真對待自己審閱者的身份。這時確保其他審稿人意識到這點並適當地降低不良審稿人的審查比重是很重要的。指出不合理或缺乏根據的評論,並引用其他審稿人的反對意見都會有用。這也可以包括對領域主席提出保密請求(在適用情況下)。提示 17:認可審稿人的努力。另一方面,如果審稿人有優化論文的想法或者其他建設性想法,要對此表示感謝。

提示 18:不要忘記對方的感受。請記住這不僅是科學活動,也是和其他人的社會交流。所以要找到自己與審稿人之間的共識,進而達成提高得分的最終目標。原文連結:https://medium.com/@deviparikh/how-we-write-rebuttals-dc84742fece1

機器之心聯合 AWS 開設線上公開課,通過 6 次直播課程幫助大家熟悉 Amazon SageMaker 各項組件的使用方法,輕鬆玩轉機器學習。

6 月 2 日 20:00,AWS解決方案架構師尹振宇將帶來第 3 課,詳解如何利用SageMaker Operator簡化Kubernetes 上的機器學習任務管理。

點擊閱讀原文或識別二維碼,立即預約直播。

相關焦點

  • 怎麼寫 Rebuttal 才能讓評審和領域主席心服口服?
    什麼樣的Rebuttal回復會讓評審心服口服,針對不同的意見和不同的評審應該有不同的戰術打法。但總體上的核心原則是:Rebuttal到底!Rebuttal的對象大概有兩種,第一種是審稿人,他讀過你的論文,但可能忘記了細節,或者一開始就沒有理解你的論文。第二種是AC(領域主席),這類對象可能對你的論文更加的不熟悉,他們讀到的可能只是一系列的評論和反駁。
  • CVPR 2020評審結果,曠視南京研究院負責人淺談學術論文rebuttal
    以 CVPR 2019 為例,針對 5160 篇有效投稿,全球共召集了 132 位 AC 和 2887 位審稿人 [4],一共提交了超過 15000 條審稿意見,做到了平均一篇文章至少 3 條,其中一篇文章甚至有 7 條審稿意見之多。
  • CVPR 2020評審結果放出,曠視南京研究院負責人淺談學術論文rebuttal
    以 CVPR 2019 為例,針對 5160 篇有效投稿,全球共召集了 132 位 AC 和 2887 位審稿人 [4],一共提交了超過 15000 條審稿意見,做到了平均一篇文章至少 3 條,其中一篇文章甚至有 7 條審稿意見之多。
  • ICLR Rebuttal結束,有72%的論文分數絲毫未變
    2、所有論文的平均分從原先的5.16升到了5.37,也即是平均分提高了0.21。(註:一篇論文大都是有四位評審,如果論文評審得分分別為5、6、7、8,則該篇論文的平均分為6.5)3、Rebuttal階段一共產生了10305條評論,其中只有1797條評論改變了分數。
  • 人物 | 淺談學術論文rebuttal
    以CVPR 2019為例,針對5160篇有效投稿,全球共召集了132位AC和2887位審稿人[4],一共提交了超過15000條審稿意見,做到了平均一篇文章至少3條,其中一篇文章甚至有7條審稿意見之多。更新的意見以及整個討論過程,再加上AC自己的判斷會作為AC給予每篇論文生殺予奪的重要依據:若多數審稿人在rebuttal後提高了論文得分或保持accept認為可以接收,則文章有較大概率可被錄用;若多數審稿人在rebuttal後降分或保持reject,則這篇文章命運便岌岌可危。
  • AAAI 2019評審惹爭議!「好論文」遭退稿?程序主席回應
    這兩年AI頂會論文灌水與評審不專業的問題愈發凸顯。最近,中國某知名高校博導一篇AAAI論文被拒,她認為主要是因為同行評審不專業,AAAI 2019程序主席之一周志華教授做了回應。您所述的稿件被拒過程和理由不能說服我,我保留個人意見。我不服的理由主要如下:1. 論文評閱人 #2以論文不符合論文主題,就看都不看,或者根本沒有認真去看論文,就胡亂地給出一些與論文內容完全不符的意見,給出strong reject的評審結果。
  • 學術論文投稿與返修(Rebuttal)分享
    以筆者近期的幾篇論文投稿為例,分享論文學術論文投稿與返修(Rebuttal)的經驗。講座目的:希望能夠給大家論文投稿和Rebuttal帶來一些幫助。主要目的: 1)了解期刊、會議投稿和審稿流程 ;2)了解論文Rebuttal常見問題和常用表達;3)了解論文投稿的一些建議和經驗。
  • 學術論文投稿與返修(Rebuttal)經驗分享
    以筆者近期的幾篇論文投稿為例,分享論文學術論文投稿與返修(Rebuttal)的經驗。講座目的:希望能夠給大家論文投稿和Rebuttal帶來一些幫助。主要目的: 1)了解期刊、會議投稿和審稿流程 ;2)了解論文Rebuttal常見問題和常用表達;3)了解論文投稿的一些建議和經驗。部分內容源自於 @魏秀參:淺談學術論文rebuttal,感謝!1.
  • 武大計算機學院教授分享:學術論文投稿與Rebuttal經驗
    同行評審:學術同行對論文進行評價期刊投稿流程: 一般會有3個以上的審稿人進行評審,副主編(AE)根據審稿人意見給出論文決定。根據論文決定(不是拒絕REJECT或接收ACCEPT),作者對審稿意見進行回復和修改論文。
  • ICML 審稿人怒了,不要論文沒寫完就投稿!
    這些作者顯然是在等著早期評審階段的反饋。不過這對於會議系統和同行評審流程來說並不公平,要求審稿人為你們的論文提進行「無償」工作,還要指導你們如何構建和呈現你們的工作。把你們的審稿人當做免費勞動力也太不公平。我審一篇論文至少要花費6至7個小時,多的時候要花費我10個多小時。
  • 【重磅】深度學習頂會ICLR2018評審結果出爐,一文快速了解評審分析簡報和評分最高的十篇論文
    ICLR 採用Open Review 評審制度。Open Review 則非常不同,根據規定,所有提交的論文都會公開姓名等信息,並且接受所有同行的評價及提問(open peer review),任何學者都可或匿名或實名地評價論文。而在公開評審結束後,論文作者也能夠對論文進行調整和修改。這幾天ICLR 2018的審稿結果陸續出來了,讓我們來看一下。
  • ACL新政禁止投稿論文在arXiv公開,我們到底需要什麼樣的雙盲評審?
    這一要求顯然再次引發了對於「雙盲評審的必要性」和「如何高效率地執行雙盲評審」的討論,畢竟一段時間之前 ICLR 2018 的匿名論文投稿在評審結果出爐前就大批量暴露了論文作者,已經出現了一些批評的聲音。剛好 ACM 通訊近日的一篇文章就研究了論文接受率和匿名的關係,雷鋒網 AI 科技評論先帶大家重新認識一下前一個話題。
  • Goodfellow:同行評議才是現今AI會議論文水平下降的元兇!
    尤其是機器學習和AI會議論文的一些同行評議結果,不但沒有保持科學界的優良傳統,反而導致一些華而不實的論文被發表,而真知灼見則往往因為評審人自身水平低、沒看懂而拒稿遭到埋沒。 對於實證研究來說,最多的(拒稿)意見是沒有「理論」,但評審人並沒有針對某個特定問題去要理論,而是將其當做一種輕鬆的拒稿理由——Goodfellow 這樣形容,「他們掃了一遍論文,沒看到炫酷的公式」,好,拒掉吧,原因?寫「缺乏理論」就好。 而投稿人為了應對這樣的評審,最簡單的方法之一,就是在論文中加入許多無用的數學推理和公式。
  • 如何評審項目,文章,畢業論文
    因此評審比較嚴格,不可能每項都過。因此落榜者網上難免有吐槽的情況發生。刊物的文章依刊物級別,錄用率不盡相同。因此,拒稿的概率也不小。學術是嚴謹的,評議也需要格外認真。項目,文章很多屬於定性定量評價。哪一條不符都可以拒掉。學生畢業論文則與前兩者不同。
  • ACL 2019 論文接收結果終於放榜!
    此外,本屆ACL的評審質量也受到頗多吐槽。你的論文入選了嗎? 今天,ACL 2019 論文接收結果終於放榜! 一下是一些基本的統計數據: 2906 篇提交論文中,有 120 篇被作者撤回,92 篇因重複提交、剽竊或不符合提交準則等問題而被拒絕。 送交評審的是一共2694 篇有效論文,包括 1609 篇長論文和 1085 篇短論文。 每篇論文被分配到 22 個領域中的其中一個進行評審。
  • ICLR 2021最全論文主題分析
    初審結果已於 11 月 11 日公布,此次會議共收到論文投稿 3013 篇,其中有 856 篇是 NeurIPS 2020 Rejection 之後再提交的。目前,ICLR 2021 的論文 rebuttal 階段也已經結束。有開發者從 ICLR 2021 OpenReview 網頁抓取了本次大會的論文數據,並做了可視化呈現。該項目統計了論文高頻詞、論文得分分布情況等信息。
  • 如何評價CVPR 2021的論文接收結果?
    你是否想知道有哪些新方向可以跟,可以看看小夥伴的留言喲!https://www.zhihu.com/question/446299297/answer/1756103953我已經在很有限的GPU資源和人力資源條件下做到了我自認為的最好。論文Idea也非常有新意,得到了所有reviewer的一致認可,自認為開劈了所在領域中之前所有人都去迴避的問題。
  • 還沒進評審就被拒:IJCAI 2020 近半投稿遭summary reject
    研究者應該陸陸續續會收到評審結果的郵件了,本次大會的評審可以說是腥風血雨。不少作者還未等 Rebuttle 和終審結果,就已經收到的拒稿信。拒稿信內容顯示,有近半論文在 summary reject 階段就被拒絕了。根據這些拒稿信的內容,很多研究者的工作在評審第一階段:summary reject 階段就被拒稿了,甚至沒能進入正式的審稿過程。
  • 你的論文為何會被拒稿?
    說到底,作為科研工作者,你的基本任務應該就是好好寫論文,認真發表論文。 廣大公眾號的學友們,相信大家都知道,筆者在以前的推文中已經提到有關「如何寫好論文,寫論文中注意的問題」的個人觀點。 因此,在這裡,筆者準備從論文發表角度,來詳細分析「論文發表的注意事項」,或者說「你的論文為何會被拒稿?」
  • 5個冬季禦寒小貼士助你健康過冬
    中國天氣網訊 天氣越來越冷,人體的新陳代謝也相對變得越來越緩慢,在保健養生與飲食調理上也應著眼於「藏」和「補」。這有五條冬季禦寒小貼士,快來一起看看吧。先「引補」後「進補」先適當引補,給腸胃一個適應過程,更有利於後期的進補。