怎麼寫 Rebuttal 才能讓評審和領域主席心服口服?

2021-01-10 手機鳳凰網

ECCV 會議評審意見已經放出,已經確定可以收錄的作者,自然歌頌審稿人慧眼識才,但更多的作者在知乎上強懟review的同時,也在精心準備Rebuttal。

什麼樣的Rebuttal回復會讓評審心服口服,針對不同的意見和不同的評審應該有不同的戰術打法。但總體上的核心原則是:Rebuttal到底!

Rebuttal的對象大概有兩種,第一種是審稿人,他讀過你的論文,但可能忘記了細節,或者一開始就沒有理解你的論文。第二種是AC(領域主席),這類對象可能對你的論文更加的不熟悉,他們讀到的可能只是一系列的評論和反駁。 所以,你寫Rebuttal的主題應該是:澄清和說服。對於評審來說,需要澄清疑問,回答問題,糾正誤解,真誠的吸收反饋,改進你的工作。對於AC來說,說服他們相信你已經做出了真誠的努力,並提交具有代表性的評審意見,幫助他們了解審稿人的顧慮是否得到解決。

根據一些經驗,當前AI頂會領域作者的通病是:只關注審稿人,而忽略了AC。其實,整個Rebuttal的過程應該看做一場辯論賽,雖然審稿人並不是「對手」,但應該當做「對手」來對待,而AC則可以賦予裁判的角色。

所以,這時候「Rebuttal」的戰術打法和辯論賽相同:說服裁判相信你的論點遠比讓對手改變想法更重要。下面給予一些具體的建議,建議的核心在於儘可能的讓「裁判」和「對手」都滿意。

收集評審意見的電子表格樣例

1、逐條列出審稿人的評審意見。用一個電子表格將每個審稿人的評論、問題、關注點組織起來。這種將所有東西都放在同一個位置的做法可以防止遺漏重點,也能夠及時確定是否要新增實驗。

2、腦補可能的回覆。建立電子表格的時候單獨留出一個欄目寫你認為審稿人的可能回復。寫的時候大膽一些,不需要考慮文體和篇幅,但要有說服力。

3、寫一份 rebuttal 草稿。草稿不用考慮篇幅,在簡明扼要的同時,覆蓋每一個要點,並對要點進行優先性排序。

4、評審和修訂。重新閱讀最初的評審意見和電子表格,並確保所有內容都得到解決。

示例如上

18個小貼士詳解 Rebuttal 四步法

小貼士1:積極的開始。做一個審稿意見的總結,如上圖所示,要突出評審的積極意見,Rebuttal的內容主要集中在負面的反饋。小貼士2:確定優先級。從你最大的問題開始補救,其次再解決不那麼重要的問題。

貼士3示例

小貼士3:先讓審稿人自己說話,然後你直接回復。簡潔完整地引用審稿人的問題或者關注的核心內容。要給出細節,描述語境或者解釋自己的立場。

示例:1)這是多次運行實驗時候得出的平均數麼?

答:是的,我們對5個隨機種子進行了平均

2)訓練模型的時候是否使用了分割掩碼(segmentation mask)?

答:沒有,我們只是用來評估我們的結果

3)總的來說,論文中的方法需要比基線更多的人工標註?

答:不完全是。雖然我們的方法的前幾次迭代更多地需要人力參與,但隨著我們收集的數據越來越多,我們的方法對人的依賴性比基線要小。對於典型的數據集大小,我們總體上使用了更少的標註。例如,對於具有 10k 圖像的 GNART20,我們的方法使用了 2.4k 人類標註,而基線使用了 2.8k。

4)你的基線與Smith等人在去年CVPR上面的報告相符麼?

答:差不多。Smith等人公開的代碼和他們在CVPR報告中提到的代碼有1%的性能差異,我們的基線與前者相符合。

5)你對現實環境進行評估了嗎?

答:我們不同意這個問題的前提。雖然論文中用的環境都是模擬的,但它們是高度逼真的。6)你為什麼不拿GMAP來比較呢?在我們的設置下,GMAP的價格高得令人望而卻步。粗略的估計,對比GMAP需要128個GPU 3個月的時間。

小貼士4:要善於交談。貼士3給出的示例都是對話性質的,所以你的回應不能表現出「好鬥」。

小貼士5示例小貼士5:回答問題的意圖。不要局限在問題本身,要明白評論的意圖。例如,評審的問題「為什麼不在GLORP3上進行評估?」可能會讓你的實驗受到質疑。你回答的時候,指出已經對X、Y和Z進行了評估就能應付這個問題,畢竟提醒其他評審和領域主席注意你廣泛的實驗評估也是有必要。

小貼士6示例

小貼士6:不要害怕強調。回答不僅直接,也要有重點,例如:"表4中的第2行正好說明了這一點。"、 「在測試的時候,我們不需要 human-in-the-loop。」

小貼士7示例

小貼士7:隨意點撥一下。如果評審落下了什麼重要的點,你需要簡單的幫助評審回顧一下。

小貼士8:細節也要點撥。假設評審和領域主席對你的論文記得不多,他們很可能不會閱讀第二遍。你可以重新介紹論文中的術語,提醒他們實驗設置的相關細節。

小貼士9示例小貼士9:對論文已經包含的細節要自信,如果審稿人要求的東西已經在論文中出現了,那就理直氣壯的提出來。可以提供圖、表中的相關數字,然後在Rebuttal中重述,讓他們相信你的論文並不缺乏重要的細節。

小貼士10示例

小貼士10:整合共同關注的問題。如果多個審稿人有共同關注的問題,可一次性回復多個審稿人,從而節省時間。小貼士11:讓審閱人儘可能容易地發現與他們相關的回覆。小貼士12:統計數字勝於雄辯。與其與審稿人和領域主席爭論,不如給他們提供數據來支持你的論點。

小貼士13:說不如做。例如,與其說「我們將在論文中解釋D_{rt}代表什麼」,不如在Rebuttal中解釋它代表什麼。

小貼士14. 要善於接受,講道理。大多數評審和領域主席是你的同事和同行。與其爭論「審稿人的建議可能行不通」,不如試一試,看看它是否行得通。也許會的!

小貼士15:實話實說。審稿人可能會暗示你再做一次實驗,如果條件不允許,你可以直接回復他「條件不允許」。

小貼士16示例

小貼士16:將不良審稿人曝光。在某些情況下,審稿人可能沒有遵循規範,你可以曝光他們,但一定要確保其他審稿人或者領域主席認識到這一點。指出不合理或無根據的意見的同時,可以向評審委員會提出保密請求(如適用)。

小貼士17:對審稿人的工作給予肯定。如果審稿人在審稿過程中做出了建設性的努力,要感謝他們。例如他們給你提供了錯別字列表、相關工作的指引、未來工作的詳細設想等等。可以在末尾加一個短文,致謝他們!

小貼士18:請記住,這不只是科學上的互動,而是與其他人的社會政治互動。所以,你要明白Rebuttal的另一個核心立場應該是:達成共識。

(雷鋒網)、(雷鋒網)、(雷鋒網)

相關焦點

  • CVPR 2020評審結果,曠視南京研究院負責人淺談學術論文rebuttal
    、「How to rebuttal?」及「Does rebuttal matter?」三部分來聊聊學術論文(主要針對人工智慧領域會議和期刊)rebuttal 的那些事。What is peer review?要想寫好 rebuttal,必然要先了解 peer review 是怎麼一回事。
  • 頂會Rebuttal經驗分享
    介紹論文Rebuttal常見問題和常用表達;       3. 介紹論文投稿的一些建議和經驗。部分內容源自於@魏秀參zhuanlan.zhihu.com/p/10(淺談學術論文rebuttal),感謝!
  • 學術論文投稿與返修(Rebuttal)分享
    講座目的:希望能夠給大家論文投稿和Rebuttal帶來一些幫助。主要目的: 1)了解期刊、會議投稿和審稿流程 ;2)了解論文Rebuttal常見問題和常用表達;3)了解論文投稿的一些建議和經驗。部分內容源自於 @魏秀參 zhuanlan.zhihu.com/p/10(淺談學術論文rebuttal),感謝!1.
  • NeurIPS 2020 大變動,領域主席可拒稿20%,作者即評審,布局遠程會議!
    而今天,NeurIPS 組委會還發布了NeurIPS 2020 在提交和評審機制上做出的一些重大更改,而本次將截稿日期提前,也正是為了評審機制上的調整做準備。第二,早期拒稿:領域主席有兩周的時間來挑選出一批早期拒稿的論文,比例大概為 20%。接著由高級領域主席在一周時間內通過決議,一經通過,被拒稿的論文作者就會收到其論文不會再接受進一步評審的通知。第三,作者即評審:要求每篇論文的每位作者或共同作者,在要求他們參與評審論文的情況下都同意參與評審論文。
  • 新智元專訪CVPR2019程序主席微軟華剛 :arXiv讓雙盲評審形同虛設...
    而華剛博士的回答則令人頓感「AI黃埔軍校」的氣度和風範。  作為CVPR 2019的程序主席,CVPR 2017和ICCV 2017的領域主席,華剛表示他很高興看到在本屆CVPR上出現了不少嘗試進一步理解深度學習在解決計算機視覺問題中的工作機制,和將計算機視覺領域知識用於指導深度學習的論文。
  • 錄取率21%、Oral取消、評審出現Bug、Reddit上...
    該協會是人工智慧領域的主要學術組織之一,其主辦的年會也是人工智慧領域的國際頂級會議。在中國計算機學會的國際學術會議排名以及清華大學新發布的計算機科學推薦學術會議和期刊列表中,AAAI 均被列為人工智慧領域的 A 類頂級會議。 2021年的人工智慧頂級會議AAAI 2021(第 35 屆 )將於2月2日-2月9日首個全程線上舉辦。
  • NeurIPS 2019 程序委員會主席發聲明:19 篇論文因一稿多投被拒收!
    本文是 NeurIPS 2019 程序委員會主席對近期作者反饋階段工作的幾點說明,主要介紹了審稿進度以及本屆 NeurIPS 為防止一稿多投現象做所的努力,並宣布了提交至 NeurIPS 的論文中有 19 篇由於存在一稿多投的問題將被拒收的決定。
  • NIPS 2018又出事了:審稿信息洩露,雙盲評審失效!
    如果說2017年的NIPS以一張註冊人數如火箭沖天般的表格創造了記錄,那麼,2018年的NIPS則凸顯了當前火熱不退、幾近高燒的人工智慧/深度學習領域蟄伏的諸多問題。 審稿信息洩露,雙盲評審失效! 8月7日,就在NIPS初審結果rebuttal進行的過程當中,有人發現NIPS 2018的審稿系統出現了嚴重的信息洩露,本就頗受詬病的評審過程,又一次出現問題。
  • 只花5-10分鐘評審,還不提供拒稿理由,IJCAI就「槍斃」42%論文
    每一篇論文都會發送給7到10名高級PC,要求他們花5-10分鐘來對論文進行評審,並回答「該論文是否應該進入下一輪評審?」的問題。基於高級PC的投票和評論,負責該論文的領域主席最終決定該文論是否將進入全面審核階段。經過summary-reject階段,在接收的5147篇論文中,有2191篇被拒稿。
  • 金雞電影創投大會主評審劉德華:明年,我也寫劇本來投!
    三位「大咖」擔任主評審 中國電影家協會主席陳道明專程趕來現場,為金雞創投大會「站臺」。黃建新、劉德華、徐崢則是作為金雞創投大會主評審出席。 三位主評審可以說都是重量級的「大咖」。
  • ACL新政禁止投稿論文在arXiv公開,我們到底需要什麼樣的雙盲評審?
    匿名的效果就 ASE、OOPSLA、PLDI 這三個會議的數據來看,70%~86% 的評審者在提交評審結果前並不去猜論文作者是誰,這說明他們不知道也不在乎到底是誰寫了這些論文。下圖顯示了每個會議的評價者、論文以及評論的數量。
  • 鍾南山一番話老師心服口服
    鍾南山院士的說法讓老師們心服口服很小的時候,寫作文就喜歡讚美老師,還喜歡把老師比喻成「蠟燭」,因為蠟燭燃燒了自己,照亮了別人。蠟燭意味著犧牲,意味著奉獻,把老師比作蠟燭,我們覺得理所當然。那個時候,在很多的職業中,老師這個職業還是很受尊重的,家長和學生看到了老師,畢恭畢敬。後來,「老師像蠟燭」這個比喻,受到了教師群體的質疑。
  • Nature揭露同行評審潛規則,審稿人操縱引用,愛思唯爾開始嚴查
    此後,愛思唯爾修改了編輯指南、編輯合同和審稿人指南,對這種做法提出了警告。Fennell 和 Baas 的研究表明,多數審稿人的研究沒有被他們評審的論文引用,98.5% 的審稿人在自己評審的論文中的被引率低於 10%。只有不到 1% 審稿人似乎總是在他們評審的論文中被引用。
  • 祝賀劉國瑞教授當選下一任IEEE主席!IEEE首位華人主席
    現為美國馬裡蘭大學首席教授,美國科學促進會(AAAS)會士和 IEEE 會士,歐盟歐洲研究委員會、芬蘭科學院科學與工程技術評審組、澳大利亞國家科學與工程研究評審組成員和香港科技大學戰略發展顧問委員會成員、西北工業大學顧問教授。
  • 【優秀】論文的摘要怎麼寫詳情
    論文的摘要怎麼寫詳情博士畢業生所從事的工作性質不同,是學術性的,因此你們對於學術的態度不能一樣。博士生要有較強的批判精神,即發現錯誤的能力,因為發現現有知識的缺陷,才能發現值得研究的問題。碩士生如果有了這種批判精神,那你好選擇畢業後讀博。否則,你到了工作單位,總是發現領導的決策有缺陷,你會不甘心情願的執行領導決定,你工作就做不好。
  • 對話MICCAI 2019 主席沈定剛:我想做的,是為青年學者搭一座通向...
    原來,審稿人的資料庫裡只有六、七百個人,這些人有資格評審文章。因為這麼多論文投進來,評審人的工作壓力更大,一個人可能要評審十多篇的文章。我們覺得這種情況下,評審的質量不高。所以,我們花了很大的功夫,把審稿人的數量擴充至1300人左右,幾乎是翻倍。這種情況下,我們實行了一個非常好的策略:讓MICCAI 2019的六十多位領域主席,每人至少推薦一定數量的專家。
  • 楊衛院士詳解科研評審制度:基金申請5點建議來了
    我們一般談論的廣義評審,可以稱作「三評」——評審、評估、評價。其最基本的形式有兩種:主觀評價和客觀評價,分別指由人來評價和由數據來評價。當然也有主觀和客觀結合在一起進行評價。怎麼避免人為的偏見呢?在我當校長的時候,年年都給老師們講,怎麼才能申請到基金。現在我只能給大家講,在我當國家自然科學基金委主任以前,給年輕老師的提議。
  • 楊衛院士詳解科研評審制度:基金申請的5點建議
    Q3: 匿名評審是為了保護同行評議的信任感,但評審委員會內部如何決定誰審誰?怎麼避免人為的偏見呢?楊衛:自然科學基金委原來的規矩是,項目主管不許給別人講怎麼能申請到基金。我不做主任有兩三年時間了,但現在我不能主動去詳細講述這件事。在我當校長的時候,年年都給老師們講,怎麼才能申請到基金。
  • 翟天臨曾很擔心博士論文「盲審」,然而「雙盲」評審順利通過?
    至關重要的問題是,翟天臨的博士論文到底在哪裡,這篇論文是何人所寫,又是如何寫的,最後是怎樣通過「雙盲」評審的?顯然,教育部注意到了這個問題,「調查……也涉及到了工作的其他各個環節是否有問題」。這個「工作的其他各個環節」自然還包括翟天臨是如何錄取為博士的,學校博士培養的各道程序是否規範,博士學位授予是否嚴格把握標準,博士導師是否盡到了責任以及水平如何,翟天臨的博士論文到底是怎麼回事等等公眾暫時還未關注到的問題。翟天臨曾在某活動中被人問到博士論文的寫作進度。
  • 還沒進評審就被拒:IJCAI 2020 近半投稿遭summary reject
    summary reject 是一種快速審稿的流程,放在正式的評審階段之前。在這一階段,論文一般會被發送給幾位 Senior PC(SPC)。這些 PC 會根據論文的摘要、總結等部分,對論文情況有一個大概的估計,所花時間 10 分鐘左右。如果他們認為這篇論文不能進入下一階段,則由領域主席做最終的決定。這種評審方式無疑和 NeurlPS 2020 的政策類似。