頂會最佳論文獎得主：初入科研領域，如何正確做科研？

文字整理：智源社區 常政、賈偉、王煒強

每個人都擁有著相似的才智，為什麼有些人能順利地完成學生到學者的過渡，能在學術生涯早期早早地做出突破性工作；而有些人，雖有雄心壯志，卻始終不得其法，不能進入科研之門？

初入科研領域，如何才能正確地做科研？

這是一個困惑了許多人，卻始終沒有「官方」答案的問題。

在2020年的7月份，ICML 2020 和SIGIR 2020 相繼召開。ICML 的傑出論文獎由北京理工大學研二學生魏愷軒同學獲得，SIGIR 最佳短論文獎由清華大學大三學生於是同學奪得。

他們初入科研領域，就能早早地在學術之途上嶄露頭角的秘訣是什麼？什麼樣的方法才是正確的科研方法？

北京智源人工智慧研究院邀請了ICML 2020 傑出論文獎、北京理工大學魏愷軒 ，SIGIR 2020最佳短論文獎、清華大學於是，以及清華大學特等獎學金獲得者遊凱超，講述他們的經驗與感悟，並共同探討「如何正確做科研」這一問題。整個活動由北京大學李夏主持。

圓桌討論：初入科研領域，如何正確做科研？

1 如何步入科研？

李夏：首先，我們先以一個和科研相關的話題，作為圓桌討論的開始：我們是怎樣走上科研道路的？或者說我們為什麼選擇這條道路？

魏愷軒：上大學以後，大家對科研可能會想嘗試一下，但是不知道自己是否適合。這種情況下，我覺得經過大一、大二或者到了大三，具備了一定的基礎知識之後，可以去找一位比較好的老師，向他表達一下做學術訓練的意向。通過這樣的過程，我們可以進行一些科研訓練，並感受自己對它是否感興趣。記得我在大三，剛開始科研訓練的時候，基本每周會總結五六篇相似主題的論文，這個過程讓我覺得比較有意思。

於是：我其實選擇這個科研方向，主要是因為興趣。感興趣之後就會去找老師討論。老師們也比較歡迎我們本科生參與科研。剛開始的時候（大二時），會有一些議題，大家開始什麼都不懂。我也一樣，便纏著學長問來問去，所以起步還是很艱辛的，但是堅持下去之後會形成這樣一些感覺：能夠看懂的東西越來越多，看不懂的越來越少。我覺得像我這樣的本科生，可能都經歷了這樣一個過程。

遊凱超：差不多是大二時，我選擇了現在的科研方向，是因為整個實驗室都是這個方向的，裡面有很多學長，都是這個領域的資深專家。這樣我平時一旦遇到什麼問題，都可以很方便地找他們問清楚。

2 如何尋找論文思路？

李夏：下一個問題是關於如何尋找論文思路的。記得我們第一次寫論文的時候，要麼不會選方向，要麼是選了具體方向之後，還會面臨怎麼選擇思路的關鍵問題。

魏愷軒：這方面大家可能都差不多，剛開始的科研課題肯定是取決於導師是誰，並會選取跟他非常相關的課題。我的第一個課題是大三時候做的，雖然當時深度學習非常火，但老師還是覺得做一個傳統方法比較好，因為那樣會比較鍛鍊人，而且對於一個新手可能要求不會太高，可能做一個A+B的方法就足夠了。

於是：我目前可能還處於一個比較初級的科研階段，因為我現在還是大三，所以對於尋找論文思路的方法，也不是特別有經驗，僅就我目前這篇論文來簡單說一下。

我這篇論文而言，我感覺最好找一些比較有創新性的領域，如果選擇Incremental型的科研課題，工作可能會比較複雜，最後結果也不會比別人之前工作有很大提升。但如果是比較少的人關注的領域，你提出的方法和模型就無需很複雜，無需基於很多前人的工作，而且會給後人給予啟發，會顯得非常有吸引力。

遊凱超：我們第一篇論文不一定要很厲害，可以簡單一點，比如說像愷軒說的A+B也是可以的。這樣方便做出一點成績，能給自己一點鼓勵。有了信心之後，我們就可以慢慢再做更高級、更複雜的研究工作。

3

論文經驗：如何閱讀管理、被拒稿後怎麼辦、關心哪些頂會？

李夏：當我們專注一個領域，往往會發現這個領域有很多文章，更何況還要閱讀其它領域，這便涉及到一個問題：大家平時閱讀論文時，如何進行管理的？

遊凱超：如何閱讀和管理，主要是靠軟體，不可能用腦子記住。我推薦一個非常好用的文件管理軟體Zotero。有了軟體，就可以管理論文了。但是要讓它管理哪些論文呢？這就需要我們去尋找了。如果我看到一篇覺得有趣的論文，首先會看它的摘要，之後覺得確實有趣便會通讀一遍，之後會順著參考找其他有趣的論文。如果有足夠時間，會順著參考文獻繼續深挖，這樣每篇論文就像展開了的一個葉結點那樣。一般用這種方式，找一個閒暇的午後可以搜集到很多有意思的論文了。

魏愷軒：凱超剛才講的從一篇有趣的文章的參考文獻深挖的思路非常好，我還可以做一點補充，以該文章為時間節點，通過其參考文獻可以找到過去的一些文章，其實我們還可以找到未來的一些文章。比如通過谷歌學術搜索這篇文章本身，我們便可以看到更多選項，比如看到哪一些文章引用了這篇文章等，這就可能幫我們找到未來的好文章。

李夏：我也想說一下我自己的看法，看論文最好看一系列的論文，把領域的重要結點整理、總結出來：比如這篇論文相對之前論文的具體創新點在哪等。我們會發現，其實很多論文的創新點並不是很大，都是建築在前人的基礎上的。所以說，看論文過程，也是我們學習如何在前人的基礎上添磚加瓦的過程。

李夏：你們在科研過程中，有沒有遇到一些比較困難的問題，是如何解決的？

魏愷軒：我在科研前期還是相當困難的，做論文的時候，雖然本身把性能做出來相對順利，但是投稿一直不順，這可能會比較打擊士氣。但我從中也能學到很多東西，包括為什麼審稿人會這麼針對你——無論怎麼樣，審稿人都肯定有一定的道理。所以這個過程中，需要調整自己的心態、保持信心、磨礪自己的能力，讓文章最後能順利發表。

李夏：大家平時關注的論文有哪些？我們每個人說一下最喜歡的幾個國內外會議吧。

於是：比較耳熟能詳的國際會議都會關注，比如ACL，以及EMNLP會議等。我可能關注檢索領域多一點，這個領域有SIGIR、WWW等會議。國內的話有中國計算語言學大會（CCL），以及NLPCC等。

魏愷軒：我對計算機視覺的CVPR/ICCV/ECCV及機器學習的ICML/NeurIPS等會議關注比較多。此外，我還會看SIGGRAPH/ICCP的論文，因為可以看到很多計算攝影/計算成像的工作。國內的會議可以關注最近幾年新辦的PRCV。

遊凱超：我還關注的是MLA大會，不過它不接受投稿，只是邀請最近一年發表過論文的人做一些報告，它相當於一個總結性會議。

4 如何進行時間管理？

李夏：接下來請大家分享一下 如何進行時間管理？

遊凱超：時間管理，感覺越到後面越忙，忙到最後自己記不住了，需要靠各種方法。比如我有一個日曆，每頁是一個月的日期。我就把接下來一兩周內要做的事情填寫好，以便有條不紊的管理。

魏愷軒：我可能會在早上的時候思考今天要做什麼，會去列幾項今天要做的事情。等這天結束的時候，再去統計一下每件事花掉的時間。

李夏：我的方式可能有點異類。我們實驗室推崇的是這樣的方法：當沒有idea的時候，可以走出校園，遊山玩水，鍛鍊身心；而有了idea後，則立馬動手去做。

5 論文獲獎心得

李夏：大家通過這次論文獲獎，有沒有特別的心得體會？

於是：對於SIGIR這個獎，當時宣布的時候也是挺突然的，自己也沒有什麼預感，之後線上有一個即興發言，當時還是挺緊張的，但對於自己來說也是鍛鍊。在SIGIR會議的Discussion流程中，我發現這是一個很好的機會，可以觀察到別人閱讀論文後的看法。他們可能會提出一些我沒有考慮到的問題。這些不同的思維視角，對我以後的科研工作還是有很大的幫助。

魏愷軒：相比於從某個具體的應用出發解決現有方法不足之處的工作，我們的工作是從計算成像領域中一類主流算法（即PnP算法）出發去解決算法本質存在的開放問題，一旦解決了問題以後，就能夠對下遊的一系列的計算成像應用產生一定影響。另一方面，文章寫作也非常重要，包括如何將文章的重要性表述出來，在不誇張的前提下儘量拔高自己的研究工作。在文章的寫作成稿階段，合作老師的潤色修改也讓文章明顯提高了一個檔次。

李夏：凱超和愷軒做過好幾次審稿人了，能否向論文寫作的新人們介紹一下審稿流程？

遊凱超：在此之前，我先說明一下怎麼成為審稿人。一般在會議開始之前，會議主席會通過往年的論文作者列表直接邀請一些人成為審稿人，發表過兩篇在相關會議上的論文，就能夠成為這個會議的審稿人了。在作者投稿之後，每一個審稿人可以在整個會議論文列表中篩選自己感興趣的論文，系統據此判斷審稿人感興趣的方向，但分配到的論文不一定是篩選的時候選的論文。拿到論文以後的正式審稿，需要填一個表格，填寫最後給的分數和具體的評論：首先用幾句話總結一下論文，然後列一下論文的優點和缺點，最後給一些具體評價。這些評價反饋給作者之後，作者也可以進行回應（rebuttal）。現在也有某些會議是直接根據審稿人的意見決定對每篇論文是否錄取。

魏愷軒：除了凱超講的論文發表達到一定程度後會被會議邀請成為審稿人之外，還可以通過自薦的方式（如今年的NeurIPS）當審稿人。此外，如果跟會議的領域主席（AC）有聯繫的話，他們也可以直接將你推薦為審稿人。

6 論文審稿人的自我修養

李夏：我們比較關心審稿人具有什麼樣的素質，大家認為具有怎樣素養的人會是比較合格的審稿人？

遊凱超：我只能說是一路成長過來的，第一次成為審稿人的時候，心情比較激動，之前都是作者現在變成了審稿人。最開始當審稿人的時候，我對每一篇論文看得很仔細，也會發現很多錯誤，對每一篇論文吹毛求疵。後來看到其他審稿人的評價，我才知道審稿不是挑毛病，而是尋找投稿的不足之處、找到論文的亮點並提出一些修改意見。

魏愷軒：一開始當審稿人可能不太熟練，在自己的審稿樣本有限的情況下，我們可以通過閱讀OpenReview（如ICLR）上的審稿意見來學習如何審稿。此外，如果是審TPAMI這種的頂級期刊，其所要求的審稿質量就比會議要高出不少，一般都需要詳細地寫上十條左右的意見。

7 導師放養該怎麼辦？

李夏：下面是一些大家比較關注的問題，導師放養怎麼辦？

李夏：我的導師是一個老教授，最前沿的相對來說沒有太多經驗，但是積累了很高的學術眼光和基礎學術素養，所以在大方向上可以經常找導師，而不是等著導師催你，主動促使導師、利用導師的眼光和資源。發表論文時候要與導師進行商量，看導師是不是非常擅長這個方向，有些老師對一個具體方向不擅長，但會介紹合適的其他人選，實在不行可以找其他合作者。

魏愷軒：導師放羊的情況下，自己要去主動push導師，儘可能找一些資源。有些優秀的導師即使他自己對你的課題不熟悉，也可能會找到其他有相關經驗的老師帶你。我的科研經歷中，跟MSRA的楊老師的合作就是我導師介紹的，後期有一定的學術積累以後自己也可以主動去找資源，劍橋的資源是我在MSRA期間認識的師兄介紹的，也是經過一定的努力後獲得了這樣的機會。

8 課內和科研的平衡

李夏：本科剛開始的時候如何做到課內和科研的平衡？

於是：本科階段做科研，首先要有興趣，只有興趣才是最大的動力。如果課內課程不需要花費太多精力可以學的比較好的，可以多花一些主要精力在科研上。如果本科學習不是很輕鬆，還是要以本科學習為第一位，再儘可能地付出其他時間，這樣也會比其他人更加的辛苦。如果本科決定做科研，就要有比別人更辛苦的一些覺悟啦。

遊凱超：實際上，科研是研究生的本職工作，是本科生的課外活動和課外興趣。因此，本科生的本質工作還是要放在學習上。

9 深度學習時代，傳統方法還有價值嗎？

李夏：現在深度學習技術和傳統機器學習無關，是不是可以不那麼重視傳統學習了，是不是這樣？

魏愷軒：實際上，現在很多好工作都是傳統方法和深度學習的有機結合。通過這個問題，我進一步回答一下怎麼想點子的問題，最簡單的就是A+B的工作，A和B是比較相似的領域，將A領域中的方法遷移到B領域中。第二種就是怎麼把傳統的方法建模到深度學習裡面來，比如高層視覺中的nonlocal network，李夏同學的EMANet，底層視覺中PnP算法及將傳統的優化算法展開成神經網絡的方法，都是這類工作的典例。相比純粹地做網絡，這種結合了傳統方法的點子更漂亮，效果也可能更好。

於是：對於深度學習還是傳統的問題，我覺得可能位於我這個領域，比如說QA以及信息檢索可能比較前沿，他們都是神經網絡深度學習的內容。但深度學習的東西有一些特點，比如它需要很多訓練數據，有時候會有domain transfer的問題。很多時候我們也必須正視傳統方法的優點，因為它是經過時間檢驗的，是非常穩定的一種方法。所以我們使用深度學習的時候，也不能忘掉深度學習有時候有各種各樣的特點，有時候不是特別穩定，所以我們不能把傳統方法拋棄。

10 新手入門：如何提升數學、代碼、閱讀能力？

李夏：怎麼在做科研過程中提高自己的數學能力？

遊凱超：我覺得應該先想清楚基礎是什麼，基礎是基本的數學跟大學的數學的能力，最好能精通，有了這個基礎之後，做學術過程中不管什麼樣的問題，基本上都能想清楚它是什麼。這樣有了一個廣泛基礎之後，再去做學術，可以很輕易地了解這個領域的概貌，可以在很短時間內完成對這個領域的概況學習，然後再決定要不要細看這個領域的內容。

於是：我們不能一定要把所有的基礎學紮實再做科研，這種是不可行的。因為基礎是無窮無盡的。還是要有膽識放開做一個東西，當然在學習的過程中要看到知識體系上的漏洞，從而有針對性地進行補充學習。

李夏：如果遇到看不懂的公式， 只要堅持多看幾遍，每一遍都會有更高一個層次的體會和理解，這樣反覆看也是像我這種普通人的好方法。

李夏：對於新手來說如何提升代碼能力？

遊凱超：代碼這個事情比較抽象。想要了解一門程式語言的話，作為一個新手不管是看網課、看視頻還是看書的方式都是簡單的入門，想要更精深一點，像《C++ Primer Plus》這些大磚頭的書，讀完以後就能對語言有深刻的了解，但是花費的時間也非常多。代碼能力不同階段有不同的需求，並不是說對每一門語言都要做到精通的地步。

李夏：學習原代碼應該是比較好的有效方式，包括代碼風格，更關鍵是怎麼組織這個代碼結構，都可以好好學習。

李夏：對於一些同學來說，讀論文讀的太慢應該怎麼辦？

於是：首先我也處於比較初級的階段，我的看法是如果讀的慢也沒有必要強求自己一定要追求速度，讀論文還是要慢慢來。讀論文並不是將每篇論文從頭到尾把每個字都讀一遍，很多時候讀一下它的摘要，掃一眼文章的圖表，就可以對它的內容做出大致的判斷，然後再決定要不要仔細去讀。

另外如果準備仔細讀一篇文章，也需要對自己多加寬容。如果遇到一篇文章，不明白其中一兩句話表達的意思，或者有一個小點不是很懂，這個不要強求自己去明白每一個細節。讀論文最主要是掌握大概的思路。

魏愷軒：剛開始讀的慢很正常，但如果是因為涉及到很多數學公式而影響閱讀速度，可以用不求甚解的方式，也可以通過閱讀同類文章去了解相關知識，而沒有必要局限於讀不懂的論文。

遊凱超：如果遇到非常長的、看不懂的數學公式可以先跳過去，因為數學公式並不是單獨存在的，而是有文字配合描述它的使用方式。有時作者想表達的是一個比較簡單的觀點，但是用數學公式來表達卻非常複雜。所以可以通過文字的描述來理解這個公式。

11 一句話，贈予正在閱讀的你

李夏：最後，請每個人留一句話給剛剛踏入這個領域的人。

於是：我是本科生，我想向和我一樣的本科生說一些話。對於本科生做科研，第一是一定要感興趣，第二是決定做了之後要堅持下去，雖然一開始可能會感到很困難。此外不要輕言放棄，同時也不能太過苛求自己，不然自己心理壓力太大，容易陷入一種自我否定的狀態。做科研還是要放寬心態，堅持不懈的同時，一定要相信自己，慢慢來，還是要有自信心。

魏愷軒：於是剛提到得自信心是非常重要的，在心理學上有一個術語叫做自我實現的預言，這種預言真的能對你產生一定的影響。如果覺得自己不太行的話，可能真的就不太行了，覺得自己能行，說不定還可以做到。

遊凱超：我想繼續談下自信心，大家看到人工智慧越來越火，但投稿的錄用有一定的隨機性。雖然可能會被拒稿，但一定要保持信心，給自己內在性的自信力，而不是通過文章的錄用與否去獲取自信。

李夏：感謝三位嘉賓給我們分享了很多東西，希望大家都能夠仔細學習今天的經驗，也希望後進者不斷加入我們社區，促進行業的發展，謝謝大家。

12 現場Q&A

Q: 大二應該怎麼去準備科研論文？

遊凱超：大二有點太早了吧，還是建議把基礎打好。

Q: 請問各位是如何安排工作時間和非工作時間的？比如會固定每周有一天休息嗎？

魏愷軒：我一般是儘量在周一到周五時高效率工作，這樣就能在周六周天時騰出更多的時間做自己想做的事情，但如果在趕due的話就無休了，不過可以在due結束後休息幾天。

李夏：我相對隨性些，有想法時全力以赴，沒想法時，則喜歡出行、戶外運動。

Q: 科研入門小白在家遠程怎麼更好地做科研呢？無法通過觀察師兄師姐來學習科研方法，自己遇到了很多困難，也不知道要怎麼向師兄師姐表達求助。

於是：我覺得可以跟師兄師姐一起拉個小群，平時遇到一些困難的話往可以在小群裡面提問。

李夏：要去積極主動地尋求學術交流，主動和師兄師姐、或者合作者去討論問題，而不是被動等待被push。

Q: 如何拿到國外的獎學金？以及像遊凱超和魏愷軒是如何獲得訪學的機會？

魏愷軒：除非是學校的官方項目或者走CSC的學術訪問，自己聯繫的暑研一般都是費用自理。我的情況屬於特殊案例（依託個人的connection及research proposal拿到funding），這種就是case-by-case了。

遊凱超：我是依託於清華為本科生提供的「闖世界」項目的。

Q: 請問如何去平衡Follow最新工作、回顧傳統方法以及閱讀系統著作？

李夏：對於領域內文章，定期搜索arxiv是最好的辦法；而關注一些公眾號是拓寬視野的懶人辦法。回歸傳統方法，尤其是經典算法，最簡單的方式是查看博客，需要了解更深入的，則去扒原文。閱讀著作，私以為需要全脫產，大塊時間認真閱讀。

Q: 請問是否遇到過所做研究方向前人論文比較少的情況呢，這種情況該怎麼處理？

遊凱超：我覺得基本不會遇到這種情況，如果你這樣認為，那肯定是文獻調研不充分。某個具體的問題可能研究的人比較少，但是一整個大方向不可能沒人研究過的。

ICML 2020 傑出論文獎

ICML 2020 共有兩篇傑出論文，其中一篇來自北京理工大學與劍橋大學，論文第一作者是來自北京理工大學的研二學生魏愷軒。

即插即用(PnP)隱式先驗是一個在過去十年發展起來的概念，PnP的基本思想是圖像去噪與優化中的近端計算之間的相似性，可以將兩者的有機結合起來。近年來，PnP在許多成像問題上都取得了SOTA結果，包括磁共振成像、計算機斷層掃描、顯微鏡檢查，甚至包括火爆一時的黑洞成像。

不過，PnP 存在著一個很大的缺陷，即需要手動調整參數，在成像條件和場景內容有較大差異的情況下所需的參數設置往往截然不同。

魏愷軒等人的這篇文章引入了一個免調試的PnP近端優化算法，可以自動確定參數，包括懲罰參數、去噪強度、終止時間等。該方法的一個關鍵部分是，建立一個自動搜索參數的策略網絡，它可以通過深度強化學習進行有效學習。

通過數值實驗和可視化實驗，他們證明了所學習的策略可以為不同狀態定製不同的參數，其效果顯著優於現有的手工方法，並獲得更快的收斂速度和更好的性能。該方法可應用於各類線性和非線性的逆成像問題，在壓縮感知 MRI 和相位恢復問題上展現了卓越的性能。

SIGIR 2020最佳短論文獎

本文由來自清華大學師生與Microsoft Research AI學者合作完成。第一作者是清華大學計算機系大三本科生於是同學。本文由清華大學劉知遠和Microsoft Research AI高級研究員熊辰炎共同指導。

現代信息檢索需要精準理解用戶查詢意圖，提升用戶查詢體驗。近年來，對話式檢索由於能夠更好地捕捉用戶意圖，得到研究者越來越多的關注。在對話場景中，用戶提出的查詢問題是人機互動的重要方式，然而由於用戶在對話中做出的原始查詢缺少上下文語境，現有的信息檢索系統無法直接進行有效搜索。

解決該問題的思路是，構建自動的查詢改寫系統，根據人機對話歷史信息，將用戶查詢改寫成信息檢索系統能夠有效處理的標準化查詢。基於這種思路，本論文提出了一種小樣本學習方法，能夠有效提升對話式檢索中的查詢重寫效果。具體地，分別採取基於規則和自我監督學習的方式生成弱監督數據，用於微調預訓練模型GPT-2增強對於用戶問題的理解和改寫能力。

該模型在對話式檢索任務TREC Conversational Assistance Track 2019中，與當前最好的問題改寫模型相比準確率提高了12％。在無標註語料訓練場景中，該模型準確率仍與TREC CAsT 2019最好的模型效果相當。這些實驗表明，所提出的方法能夠有效捕捉對話上下文信息，從而幫助提升對話式檢索的效果。