機器之心
選自ruder.io
作者：Sebastian Ruder
機器之心編譯
機器之心編輯部
如何找到合適的研究方向？如何維持飽滿的科研熱情？如何通過讀博實現長期規劃？……DeepMind 科學家 Sebastian Ruder 來支招。
「聽過很多道理，仍然過不好這一生」？但有些道理還是有用的。
機器之心曾經報導過多篇和讀博相關的文章，最近我們發現 DeepMind 研究科學家 Sebastian Ruder 也發布了一篇博客，介紹自己的讀博建議。
鑑於 Sebastian Ruder 博士期間主要研究機器學習和自然語言處理，因此他給出的建議也更適用於這兩個研究方向的同學。不過，這份建議並不僅限於博士生。如果你是一名獨立研究者，並且想開始攻讀博士學位，或者只是想單純地學習，那麼這些建議大部分也是適用的。
不過 Sebastian Ruder 建議大家，在閱讀本文時做好篩選，因為每個人的情況都不相同。根據自己的具體情況選擇並改良這些建議，再進行實踐，或許是最好的做法。
Sebastian Ruder 一共給出了十條建議，均來自其自身實踐，他認為這十條建議對長期發展也有好處。
廣泛閱讀
同時做兩個項目
要有雄心壯志
有合作意識
積極主動
寫博客
維護科研能量
發揮長處
實習或訪問大學
放長線釣大魚
廣泛閱讀
博士生涯鼓勵每個人深入研究一個特定的主題，但你可以通過在不同主題或不同領域之間建立聯繫來增加研究價值。建立跨領域連接的論文通常會很有見地，比如，深度學習領域的許多思想是從生物學、神經科學、物理學等其他領域獲得靈感。
想汲取靈感，你需要培養各種興趣，超越當下的視野。比如，參加其他地區的暑期學校，與其他實驗室的同學時常溝通，或在會議上與不同領域的人交流，抑或是閱讀不同學科的論文。
arXiv 網站上有大量的研究論文資源，但是時時刷 arXiv 有一定難度。Sebastian Ruder 採取的方式是使用 arXiv sanity preserver、arXivist、Twitter 流以及朋友推薦等方式來獲取最新研究動態，尋找不同的主題。
關於如何閱讀論文，Sebastian 表示，他通常更喜歡粗略地閱讀 10 篇論文，而不是深入地閱讀一篇文章（這和 Jeff Dean 的建議一致）。此外，使用帶有搜索功能的論文管理系統（如 Mendeley），你可以隨時重新閱讀最相關的文獻。
在博士生涯初期涉足不同的領域有助於你找到自己的研究興趣。一旦找到，你只需專注於這些自己真正感興趣的問題。
同時做兩個項目
雖然在開始新項目之前先完成上一個項目是最優選擇，但是過分專注於一個項目也有消極面。如果項目進展不順利，研究者的動力也會受挫。在遇到並解決障礙前，大多數人將無能為力，還會「卡」上很長一段時間。培養這種韌性很重要，但有時需要付出高昂的心智損耗。
而同時處理兩個項目就很有用。在其中一個項目中遇到障礙，你可以轉頭去處理另一個項目。這可以幫助研究者解放緊繃的神經，獲得全新的視角。同時，如果其中一個項目進展順利，這也可能幫助你在另一個項目上取得進展。
為了最大程度地減少思維切換，Sebastian 通常每天只嘗試一個項目。如果兩個項目屬於相似的領域，也會很有幫助，這樣你可以將一個項目中學習到的知識應用到另一個項目中。
要有雄心壯志
若你瞄準月亮，即使錯失，也是落在星辰之中。
——Norman Vincent Peale
同時進行兩個項目的另一個好處是使研究者更加大膽。當然，你可以選擇一個相對安全的項目，同時選擇另一個高風險但更有影響力的項目。相對安全保守的項目可確保你順利畢業，而高風險的項目則可能產生更大的影響力。
研究者需要略帶一些野心。選擇高風險的項目，說明你很有創造力，能夠提出新想法。其實，不管是高風險的項目還是相對保守的項目，二者都很有價值。即使項目失敗，這些經歷也可能促使研究者獲得一些意外收穫。但是，所謂的「雄心壯志」並不表示迎合大眾口味，高影響力也可以集中在小社區範圍內。判斷項目是否具備影響力的可靠指標是，如果其他人發表了這項研究你會感到振奮。
「雄心壯志」意味著，你想成為挑戰現狀、指引自己航向的人。
有合作意識
博士通常被認為是一項孤獨的事業，是一條知識求索的漫漫旅途。為了順利畢業，你需要獨自完成龐大的工作量，但這並不表示你是完全孤獨一人。
相反，合作是一項重要的技能。機器學習和自然語言處理領域中的很多影響力較大的項目，如 AlphaGo 或 OpenAI Five，都是由團隊開發完成的。無論你是大團隊中的一員還是小組負責人，你都必須學會與他人合作。
與導師和博士之間的關係相比，合作關係具備更強的流動性。合作其實就是構建相互信任與尊重。想成功地完成合作需要大量實踐。在合作過程中，你需要清晰地完成溝通並設置好預期，特別是遠程合作的情況。
如果你同時做兩個項目，那麼請在其中一個項目中與他人展開合作。與導師以外的人合作可以給你帶來新的角度，你能學到的會比獨自工作的收穫更多。
如果你在實驗室工作，那麼與實驗室同學進行合作通常是最簡單的操作。但是，與其他機構的人保持溝通與合作可能帶來長期的有益影響。
積極主動
這可能是最重要的一條建議。不要把社交範圍限制在當前的圈子，多接觸他人。會議的主要價值是把人們聚在一起。參加會議前，通過查找接收論文的作者查看參會者，並給他們發電子郵件。要儘量保持尊重的態度，簡要地介紹自己，表明自己想要與他們見面的理由。大部分資深研究人員會參與這類會議。試著與很多研究人員交談，尤其是那些還不怎麼知名的人。
在會議以外，通過郵件諮詢同領域內其他人員來獲取研究建議也是很有用的做法。但是，郵件禮儀很重要，寫郵件時一定要讓忙碌的研究人員願意回覆你的郵件。具體來說，你需要清晰闡述自己的研究和探索的解決方案。
除了諮詢建議之外，這類聯繫或許還能帶來其他機會，如工作 offer、合作、導師、Twitter 消息。最重要的是，這類溝通應基於相互興趣與尊重。因此，請尊重他人的時間。此外，擁有共同興趣的早期研究者通常比擔負眾多責任的資深研究人員更加開放。
保持積極主動的態度，還與你如何看待和談論自己的研究有關：通過在自己的網站上強調、線上討論和寫博客的方式，讓其他人更容易地發現你的工作。
寫博客
寫博客好處多多。
它可以幫你鍛鍊寫作能力，並學著享受寫作。要想順利完成博士學業，你必須寫一篇博士論文，而這個過程通常很折磨人。寫博客可以提供一定的寫作訓練，幫你為論文馬拉松做好準備。
從研究的角度來看，寫博客可以幫助你練習清晰表達和解釋事物的能力。這兩者是將優秀論文與普通論文區分開來的重要標準。事實上，清晰的寫作對於論文接收和高影響力都有很大幫助。與研究論文相對固定緊湊的格式不同，你可以在博客中進行試驗，找到自己的風格。
博客還是展示和分享工作的良好媒介。一篇介紹論文的優秀博客不僅重申研究的主要成果，還進行一定的補充。博客要比論文更加靈活：你可以將有趣的聯繫突出顯示出來，為讀者提供大量文獻概覽和未來方向，展示生動示例、代碼段或交互可視化，或者進行深度誤差分析。
開始寫博客的另一種不錯方式是討論你剛學到的知識。Rachel Thomas 將其表述為「你最適合幫助落後你一步的人」。如果你已經深入某一個領域，為什麼不總結相關工作和自己的見解，幫助節約他人的時間呢？Sebastian Ruder 表示其大部分博客都是用這種方式開始的。
如果你學到了如何很酷地完成一件事，請寫一篇博客來告訴他人。反之，如果你想了解某個主題，但無法在網上找到相關信息，你也可以考慮自己創建相關的資源。
Sebastian Ruder 表示，寫博客帶來了其整個博士生涯最積極的互動。ML 和 NLP 社區如此廣大，即使你寫的是小眾主題，還是會有人感興趣。
儘量忽略沒有建設性的反饋，記住：社區欣賞真誠的聲音。
維護科研能量的幾種方式
外部獎勵（如論文被接收）總是比較稀少的，因此利用內在獎勵通常是必要的操作。
保持研究積極性與活力的最自然方式是，研究令你興奮的話題，遵從自己的好奇心。鑑於你的資金或職位，你可能無法自行選擇研究主題。那麼，請儘量找到自己感興趣的角度。即使是現有算法的應用也可以帶來新的待解決問題。
博士是很消耗人的過程。因此構建可以依賴的支持網絡就顯得至關重要。將自己置身於積極的人之中，他們都能支持你的想法和野心。
同時，找到事情進展不順時可以給你帶來積極能量的活動，可以是合作、副項目、愛好、鍛鍊、冥想等等。對於 Sebastian Ruder 而言，這樣的活動是寫博客。（大牛果然是大牛……）
最後，積極能量的最重要來源不是你所擁有的計算量，而是你的個人良好狀態。GPU 崩潰了可以重啟，燒壞可就沒轍了。
發揮自己的長處
「人最大的價值來自於做其他人不能做或想不到做的事情。」
——Sam Altman
隨著人們對 ML 和 NLP 的興趣激增，找到容易出成果但又比較新的研究主題變成了難事。好的策略是研究你目前最好解決的問題。完美的研究主題具備以下特點：有影響力，你感興趣，你是唯一適合這項工作的人。
怎麼才能成為唯一適合的人呢？你需要具備以下特點的其中一項：背景；對特定技術、方法、語言或數據的了解；個人偏好。你是非計算機背景？那麼把這作為研究靈感吧。你是一個具備視覺創造力的人？那麼用各種圖表和分析補充博客和論文吧。你是很厲害的程式設計師？那麼著手實現有技術難度的模型吧。你數學很好？試試用數學方式證明自己的論斷。
另一個優勢是你所處的人際網絡和可獲取的觀念多樣性。因此，尋找那些能夠幫助你補足優勢的人，不管是導師還是合作者。
實習或訪問大學
建立有意義連接的最佳方式是與人們密切合作，建立私人了解。實習和研究訪問都是擴展人際網絡的好機會，它們可以幫助你與有才華的人並肩戰鬥。
你可以藉此了解另一個環境是如何展開研究的。如果你還在猶豫進入學界還是業界，那麼直接查看業界如何開展研究是一項寶貴的數據。研究訪問或實習還可以幫助你決定之後應該加入實驗室還是進入公司。
最後，實習和研究訪問都是絕佳的學習體驗，在此過程中你通常需要熟悉新的技術棧或研究領域。通過導師的指引，你還可以發現個人成長的不同方面。
放長線釣大魚
我們中的大多數人之所以成為今天的自己，是因為有人早早將賭注押在了我們身上。Sebastian Ruder 表示，他的首次科研訪問要特別感謝導師給予的機會。所以，如果獲得了機會，你就要把握住並延續下去。不要只想著實現自身預期獎勵的最大化，也要考慮到身邊的人。
在大機構工作可以讓你接觸並創建自己早期的人際網絡，從長遠來看，你還要拓展這一網絡，爭取與更多的聰明人一起工作。在建立人際網絡過程中，你需要積極主動，儘可能地幫助其他人。實現的方式有很多，如撰寫博客文章或編寫庫、發布教程和課程、做播客、復現模型或者幫助開發開源軟體等。堅持這麼做，你會贏得勤奮努力和樂於助人的好名聲，其他人也會樂意與你一起工作。
要善待他人，毫不吝嗇地給予讚揚和肯定，不要心存怨恨。事實上，與人為善是個人取得成功必不可少的重要因素。與人為善還有一個好處：會議不只是研究展示和想法交流，更是朋友之間不可多得的年度聚會。
照顧好自己。努力工作的同時保證睡眠和鍛鍊。抽出時間學習新東西，涉獵自己不擅長的領域。最後，時刻提醒自己，雖然博士生涯是以一篇博士論文作為終結，但讀博更重要的是在過程中尋找到更好的自己。
閱讀原文