CVPR 2020評審結果,曠視南京研究院負責人淺談學術論文rebuttal

機器之心轉載作者：魏秀參

近日，CVPR 2020 論文 review 結果放出，一些讀者們是不是開始為 rebuttal 做準備了？在此文章中，曠視南京研究院負責人魏秀參博士介紹了論文 rebuttal 那些事，相信能為讀者們提供全新的洞見。

學術論文是發布自己或團隊最新研究進展正式且最快捷的途徑，也是和同行交流想法最方便、高效的方式。當同行評議（Peer review）作為學術成果正式發布的必經之路已運行 200 餘年 [1] 時，用正確的姿勢進行 review rebuttal 便成為提高論文錄用機率甚至扭轉乾坤的最後一搏。本文從「What is peer review？」、「How to rebuttal?」及「Does rebuttal matter?」三部分來聊聊學術論文（主要針對人工智慧領域會議和期刊）rebuttal 的那些事。What is peer review？要想寫好 rebuttal，必然要先了解 peer review 是怎麼一回事。

「Peer review」趣圖（原圖來自網絡）。Peer review 是一種學術成果審查程序，即作者的學術著作或 proposal 被同一領域的其他專家學者評審，並根據評審意見決定是否予以錄用（Accept）和後續正式發表（Publish）。對於計算機學科特別是人工智慧領域的學術會議和期刊，其均有相對成熟和流程化的同行評議（即審稿）機制。會議審稿對於會議審稿流程而言，由於會議論文往往有比較嚴格的截止日期（Deadline），作者們通常會根據這一時間來 rush 自己的 paper（關於論文寫作的一些 tips 請戳筆者早年的《LaTeX 寫作新手須知》），所謂「Deadline 就是第一生產力！」。待 deadline 一過，大會的程序委員會主席（Program Committee Chair 或 Program Chair）首先會剔除一批不符合會議投稿政策的論文，如：篇幅不合要求、一稿多投、未匿名、未註明 Conflict Domain 等，這些論文會直接作「Desk Reject」處理。處理之後的投稿（Submission）便為有效投稿。這些稿件會由 PC Chair 根據一定規則（如 TPMS[2] 或 bidding[3]）分配給高級程序委員會委員（Senior PC，IJCAI/AAAI 一般是這個叫法）或領域主席（Area Chair，CVPR/ICCV/ECCV 一般用此稱謂），這些人便是論文最終命運的判決者，也是在審稿最後時刻書寫 meta review 的 meta reviewer——一般會由領域內頗有建樹、有判斷力的專家學者擔任。而後，這些 meta reviewer 會繼續分配稿件給到實際操刀審稿、給出具體審稿意見的審稿人（Reviewer）。對於 CVPR/ICCV/ECCV 等 CV 領域會議，近幾年每個 AC 負責的文章大約在 30-50 篇左右，而普通審稿人分配的稿件一般不超過 10 篇/人。以 CVPR 2019 為例，針對 5160 篇有效投稿，全球共召集了 132 位 AC 和 2887 位審稿人 [4]，一共提交了超過 15000 條審稿意見，做到了平均一篇文章至少 3 條，其中一篇文章甚至有 7 條審稿意見之多。在 reviewer 各自獨立提交審稿意見並經由 AC 檢查質量之後，絕大多數會議會將首輪意見開放給作者（目前 Data Mining 領域的 KDD、ICDM 等仍保持不設 rebuttal 環節的傳統），作者可根據意見內容進行 rebuttal 來更正審稿人理解的錯誤、解釋/澄清審稿人的疑慮、提供更多方法和實驗細節等信息。在收回作者 rebuttal 之後，同一篇文章的首輪意見、作者 rebuttal 信息均會開放給所有審稿人和責任 AC，進入 paper discussion 環節。Discussion 時，AC 會主持每篇文章的討論，每位審稿人根據其他審稿人意見和作者 rebuttal 會留言給其他審稿人。經過幾天系統線上討論，所有審稿人需更新自己最終意見。更新的意見以及整個討論過程，再加上 AC 自己的判斷會作為 AC 給予每篇論文生殺予奪的重要依據：若多數審稿人在 rebuttal 後提高了論文得分或保持 accept 認為可以接收，則文章有較大概率可被錄用；若多數審稿人在 rebuttal 後降分或保持 reject，則這篇文章命運便岌岌可危。可以看到，rebuttal 在整個論文錄用過程中起到了舉足輕重的作用——優秀的 rebuttal 能力挽狂瀾；無力的 rebuttal 則於事無補甚至會畫蛇添足、過猶不及。特別的，CV 領域的會議如 CVPR/ICCV/ECCV 等在 AC 給予最終決定時，有開線下 AC meeting 的傳統，即在 paper discussion 之後會選在某個城市線下召集所有 AC 共同決定了投稿的最終命運。一般而言，一篇文章是否錄用由三位（有時兩位）沒有 conflict domain 的 AC 共同決定，稱作「AC Triplet」。到此，每篇會議論文最終結果（錄用與否以及 oral、poster、spotlight）便蓋棺定論，等待著 PC Chair 公布給如坐針氈的作者們。期刊審稿與會議論文相似，期刊論文也是由其他研究者進行同行評議之後決定是否予以錄用。不過期刊審稿由於沒有 deadline（期刊的 special issue 除外），通常不會在較短時間集中接收到的非常多稿件。一般而言，接收到的稿件會由期刊主編（Editor-in-Chief）分配給副主編（Associate Editor），之後副主編會聘請一些相關的研究者作為審稿人進行評審，有時副主編本身也會負責論文的評審意見和推薦等工作。而最終決定論文是否錄用的仍然是期刊主編。與會議論文不同的是，正是由於沒有明確的 deadline，期刊審稿意見的「出爐」時間往往極不確定且普遍周期較長（3-8 個月不等），第一輪評審之後審稿人一般會給出如下四種推薦意見之一：1）接收（Accept）；2）接收但需要微幅修改（Accept with a minor revision）；3）接收但需要大幅修改（Accept with a major revision，有些期刊如 TNNLS 則稱作 Reject & Resubmit）；4）拒稿（Reject）。之後，副主編會根據若干審稿人的結果綜合評定給出 meta review，若 meta review 意見為 2）和 3）中其一，作者便需要準備一個詳盡的 revision list 來對每位審稿人的意見逐條進行 response 和 rebuttal，同時還需要提供修改過的文章供審稿人進行下一輪評審。同樣，和會議論文不同的是，會議論文這一的 rebuttal 過程最多只有一次。而期刊論文如此過程可以反覆多次，更像一場你一言我一語的「交談」，最終直到全部審稿人均認為達到「Accept」的程度。但需注意，有的期刊 major revision 只有一輪，若經過一次 major revision 後的文章仍未達到錄用或 minor revision 標準，有時便會做拒稿處理。可見，有效的 rebuttal/response 對於期刊論文的錄用仍很關鍵。How to rebuttal?以上過程可看出，正規的會議和期刊同行評議過程非常嚴格、專業。更顯然的是，從論文提交時開始，作者們便處於弱勢，文章的主動權則全部移交給審稿人和 AC 聽憑其「處置」。Rebuttal 作為整個 peer review 過程中少有甚至唯一的發聲機會，作者們可要牢牢把握！知彼解己原則不論會議還是期刊，筆者以為，「知彼解己」——「首先去了解對方，然後再爭取讓對方了解自己」，是整個 rebuttal 過程中最為重要的一條原則。作者在收到審稿意見後，通常情況不應將情緒和注意力完全放在抱怨和吐槽審稿人上（遇到不專業的審稿人除外，但更多情況中肯地講多為自己文章的問題），且不應站在審稿人的對立面，相反，更多的應去領會審稿人某句話背後的意圖，體會其心意，應試圖站在 ta 的角度去揣摩提出意見時的想法和心境，同時不要局限在可見審稿意見中寫的那麼寥寥幾筆。只有練就這樣的「同理心」，才能在 rebuttal 時據理力爭，答在點子上，為自己扳回一城。而且，從第一節的同行評議過程的描述可以看到，一個審稿人面對的稿件（尤其會議稿件）非常之多，需要 ta 在短短幾周且不影響本職工作的情況下完成高質量評審，這對於每位審稿人都是個不輕鬆的任務。事實上，許多審稿人（約 50% 以上 [5]）會在審稿意見提交 deadline 的最後三天內完成評審，每篇工作在審稿人處花費的時間一定非常有限。如此，我們便需要根據有限的審稿意見來「管中窺豹「，對審稿人的喜好和傾向一探究竟、琢磨一二，這對於作者如何在 rebuttal 時「排兵布陣」、「設定應對戰略」尤為重要。比如，若某期刊審稿人說「文章相對會議版本唯一區別僅在於增加了 xxx，而 xxx 這部分帶來的性能增益非常有限」，實際背後含義是「嫌棄」作者僅 incremental 式增加不多的新東西就投遞到期刊，顯然不是審稿人沒有看懂新加的 xxx 部分內容的價值，或不了解作者的技術做法；對此，可以澄清「我們工作並不是 trivial/simply 的增加了 xxx，它有自己的 intuition 和 insight，基於這樣的獨特設計 blabla「，同時還要針對性能質疑有所回應，做到有問必答：「增加 xxx 之後效果提升也較顯著，並不有限，blabla（列出證據說明增益是 significant 的，並不 marginal）」。再比如，若某會議審稿人簡單指出「novelty 有限」，同時並沒有提出更多細節性缺點，則說明可能 ta 挑來挑去並沒有找到非常明顯的「硬傷」。要知道每位審稿人預設的身份全是 paper killer，他們總在千方百計尋找論文的漏洞和不足，找夠了便足以寫出 review 來宣判文章「死刑」。對於上述情況，便說明文章可能就是不對該審稿人的胃口，找不到具體的不足，只好拿 novelty 來說事。

審稿意見趣圖（來自 Ming-Hsuan Yang's slides）。Rebuttal 形式如今眾多會議提供了非常多樣的 rebuttal 形式，會議 rebuttal 形式主要分為以下三種：

提交 PDF 文檔作為 rebuttal（有頁數和模版限制，方便提交新表格和插圖，如 CVPR/ICCV/ECCV）；提交一段文本作為 rebuttal（有字符數限制，不方便提交新表格和插圖，如 AAAI/IJCAI）；提交 PDF 文檔作為 rebuttal，同時提交修改後的論文（重提交的文件有類似的政策限制，如 WACV）。其中，第三種 rebuttal 形式更像期刊，只是 rebuttal 輪數也僅控制在了一輪。作者需根據不同會議的政策規定提前調研和熟悉 rebuttal 形式，從而在 rebuttal 時應對自如。具體實操本節提供一些針對具體問題和情況的實操建議，供君參考：

Rebuttal 時，針對不同 review 類型：噴「novelty」：這類最為麻煩但也是作者們遇到可能最多的意見，作此類 rebuttal 時不妨重新梳理和強調文章的重要貢獻，然後澄清並不是 trivial 的簡單 combine，再強調一下 motivation 和 intuition，用另一種方式將文章亮點表達出來。同時，可以嘗試「圍魏救趙」，即：若審稿人針對方法的某個部件提出 novelty 不足，可強調其他部件或整個方法的範式是前所未有的；或 claim 說方法簡單有效，思路全然不同；噴「factual error」：審稿人一旦找出文章的事實性錯誤，作者不妨大方承認，並表示感謝，同時表示會在 final version 中更正錯誤；另一種情況是，可能就是因為作者自己沒寫明白，才使得審稿人錯誤理解，如此，也可大方承認，說「我們已經修改了這部分描述，實際上是這樣做的，並不是你理解的那樣，blabla」；噴「漲點不足」：此類一般有兩種，一則無證據的裸噴漲點不足；二則有證據（提供了 reference）噴漲點不足或噴沒有對比 reference 中結果。針對一，可找些證據（如列 reference）論證自己方法的漲點幅度和其他 state-of-the-art 的漲點幅度是可比的，「你看，別人發在頂會的結果相比 baseline 也是漲這麼多」；針對二，可試著找出這些「證據」方法和自己方法的不同之處或實驗細節的不公平之處，比如圖像解析度不同、backbone 不同等；噴「實驗不足」：有條件做實驗的，rebuttal 中補上即可；若實驗規模太大，rebuttal 期間無條件做出，可在 rebuttal 中承諾 final version 中補上（這樣力度會相對較弱）；而對於要求不合理的實驗意見，可實事求是的說明為何無需做實驗；Rebuttal 時不要漏點，要逐點回應做到有問必答。若因篇幅有限，可將類似的意見合成一點，萬不可因篇幅有限擅自刪除一些要點或遺漏要點，以免造成含糊不清、渾水摸魚之嫌，一旦被審稿人發現會在 paper discussion 階段當作硬傷來「置於死地」；此外，除非基本上全是 positive 評價，要充分利用 rebuttal file 的空間，充分表達自己觀點，力圖將所有評分均拉到 positive 區間確保十拿九穩；Rebuttal 時需要揣摩審稿人傾向，「一切可以團結的力量都要團結，不中立的可以爭取為中立，反動的也可以分化和利用」。有的審稿人會在意見中明確表示，「如果解決了 xxx，我就會提升評分」，對此一定要充分爭取；對於某些審稿人提出的不足（如 novelty），可能剛巧是另一位審稿人提出的優點（「This paper is interesting and novel」），一定要為我所用，讓兩位審稿人在 paper discussion 中「短兵相接」；對於 borderline 的審稿人，一定要充分「拉攏腐蝕」；對於初審給了 positive 分數的審稿人，一定要鞏固基礎；對於初審給了 negative 分數的審稿人，一定要放絕大多數的精力和 rebuttal 篇幅來解釋澄清，爭取「冰釋前嫌」；Rebuttal 是「一盤棋」，整篇 rebuttal 需要統籌協調，與正文、review 配合的相得益彰，同時還需注意 rebuttal 篇幅資源的分配和優化。哪位審稿人應多分配筆墨、哪個問題應多著力回應都需要根據整體審稿意見情況深入思考、統籌安排；Rebuttal 中能縮寫的儘量縮寫，如約定俗成的 PCA、CNN 等不必展開，從而節省空間，將資源留給更需要的回應；Rebuttal 時若發現審稿人的 factual error，如 ta 提出的某個觀點有顯然錯誤、提出需要對比的數據集顯然不是該領域常用的數據等，作者可在 rebuttal 回應此人時首先指出其錯誤，先下一城，贏得主動。要知道 rebuttal 除了該審稿人之外，其他審稿人以及 AC 都會看到。此外，這一問題還可以在 AC message（見下文）中指出，降低該審稿人意見在 AC 心中的置信度；……

AC Message還記得上文中提到的只噴 novelty 而沒有其他細節問題的審稿人嗎？還記得在審稿意見中暴露 factual error 的審稿人嗎？……針對這些情況，作者手中仍有一件利器應對，即 AC message（或 Confidential comments to AC）。Rebuttal 時除了作者提交的 rebuttal file 之外，多數會議和期刊還為作者提供了一個直接與 senior reviewer（如 AC 和 AE）對話的渠道，在 AI 會議中通常被稱為「AC message」，這部分內容對普通 reviewers 是不可見的。作者如果在審稿意見中發現了審稿人的「問題」，如不專業、對文章涉及領域不熟悉、自我矛盾等，均可指出，從而引起 AC 注意。在期刊審稿過程中，遇到類似的問題還可通過 AC message 來嘗試更換審稿人。以下列舉一些可能的 AC message 的寫法：

Please note that Assigned Reviewer #id has made some statements that are either against the common-sense in our field or self-contradictory (ironically his/her own confidence rating is "very confident"). blablaWe want to bring to your attention the very flawed review #id. This reviewer is self-contradictory, cf. Comment #id1, Comment #id2, and Response #id. blablaWe would like to raise attention to AC that unfortunately Reviewer #id holds a very biased view towards the contributions of our paper. blabla常用句式以下列舉一些 rebuttal 中的常用句式，供大家選擇使用：

開頭Thank you for your suggestion.Thank you for the positive/detailed/constructive comments.We sincerely thank all reviewers and ACs for their time and efforts. Below please find the responses to some specific comments.We thank the reviewers for their useful comments. The common questions are first answered, then we clarify questions from every individual review.We thank the useful suggestions from the reviewers. Some important or common questions are first addressed, followed by answers to individual reviews.表達同意We thank the reviewer for pointing out this issue.We agree with you and have incorporated this suggestion throughout our paper.We have reflected this comment by …We can/will add/compare/revise/correct ... in our revised manuscript/our final version.Due to the rebuttal policy,「authors should not include new experimental results in the rebuttal」, additional results may not be included. However, we will add these mentioned experiments and discussions in our final version. Thank you for the constructive comment.（對於 CVPR/ICCV/ECCV rebuttal 不能提供新結果的政策）表達不同意We respectfully disagree with Reviewer #id that ...The reviewer might have overlooked Table #id ...We can compare ... but it is not quite related to our work ...We have to emphasize that ...The reviewer raises an interesting concern. However, our work ...Thank you for the comment, but we cannot fully agree with the comment. As stated/emphasized ...You have raised an important point; however, we believe that ... would be outside the scope of our paper because …This is a valid assessment of …; however, we believe that ... would be more appropriate because ...解釋澄清We have indeed stated/included/discussed/compared/reported/clarified/elaborated ... in our original paper ... (cf. Line #id).As we stated in Line #id, ...We have rewritten ... to be more in line with your comments. We hope that the edited section clarifies …額外信息與解釋We have included a new figure/table (cf. Figure/Table #id) to further illustrate…We have supplemented the xxx section with explanations of ...Thank you for the comment. We will explore this in future work.

Does rebuttal matter?

廢了好大功夫寫好了 rebuttal，大家一定很忐忑這玩意兒到底能否奏效？下圖是 CVPR 2019 總計超過 15000 條 review 在 rebuttal 前後的狀態對比統計。

很顯然：「逆天改命」：首輪 Strong Reject 改為 positive 評分的僅佔所有 review 的 0.8%；

「強勢逆轉」：首輪 Weak Reject 改為 positive 評分的佔所有 review 的 6.9%；

「力挽狂瀾」：首輪 Borderline 改為 positive 評分的有 33.6%；

「錯失良機」：首輪 Borderline 改為 negative 評分的約 56%；

「畫蛇添足」：首輪 Weak Accept 改為 negative 評分的有 15.5%；

「弄巧成拙」：首輪 Strong Accept 改為 negative 評分的有 5.2%；

可見，rebuttal 也乃盡人事聽天命之謂也。但小概率事情（如「逆天改命」）發生在自己身上那就是 100% 的獎賞，因此，下次拿到 review 後還是一門心思的想著怎麼好好 rebuttal 吧:)後記工作後，筆者鮮有整塊時間來寫類似的公開 tutorial，借著這次舉國閉關的時艱又恰逢 CVPR 2020 rebuttal 之前，筆者將自己若干年來的相關經歷和思考整理下來供諸君參考，不恰之處還望不吝指出。盼春回大地，祖國康泰。2020.1.30 夜於南京望春齋一些會議和期刊的 rebuttal 模版地址連結：http://www.weixiushen.com/tutorials.html參考

Aliaksandr Birukou, Joseph Wakeling, Claudio Bartolini, Fabio Casati, Maurizio Marchese, Katsiaryna Mirylenka, Nardine Osman, Azzurra Ragone, Carles Sierra, and Aalam Wassef. Alternatives to peer review: Novel approaches for research evaluation. Frontiers in Computational Neuroscience, 2011, 5:56.CVPR/ICCV/ECCV 等會議在使用 Toronto Paper Matching System 作為準則之一進行論文分配：http://www.cs.toronto.edu/~zemel/documents/tpms.pdf指審稿人或 AC 在投稿池子中申請審稿，按程度不同可大致分為：eager、willing、in a pinch、not willing 等。AAAI/IJCAI 等會議在沿用此方式。http://cvpr2019.thecvf.com/files/CVPR%202019%20-%20Welcome%20Slides%20Final.pdfYang Gao, Steffen Eger, Ilia Kuznetsov, Iryna Gurevych, Yusuke Miyao. Does My Rebuttal Matter? Insights from a Major NLP Conference. NAACL-HLT 2019