論文連中兩大CV頂會,這位博士生分享了自己在谷歌實習的研究心得

雷鋒網(公眾號：雷鋒網) AI 科技評論按：近日，谷歌專為學生群體開設的谷歌學生博客（Google Student Blog）上發出了一篇採訪，採訪對象是在谷歌實習的博士生 Philip Haeusser。Philip Haeusser 在這段谷歌實習經歷中受益匪淺，他也詳細分享了自己的感受。雷鋒網 AI 科技評論把這篇採訪編譯如下。

先介紹一下你的博士論文題目吧？

大家好！我是 Philip，我的學校是慕尼黑工業大學（TU Munich），目前是計算機科學專業博士三年級，我的導師是 Daniel Cremers。我的研究方向是計算機視覺，就是要讓計算機理解圖像和視頻。對計算機來說，圖像和視頻僅僅是一大堆沒什麼含義的數字而已。不過如果用顏色把他們表示出來，人類就可以馬上分辨出來圖像中有什麼內容。

為了讓計算機也能做到這樣的事情，我的方法是訓練神經網絡；這是一大類模型，它們可以看作是「迷你視覺皮層」的一種實例。訓練的目標是把組成圖像的那些數字映射更成有意義的東西，就比如「貓」這樣的類別標籤。神經網絡在這種任務上的表現非常好。我研究過的問題包括 光流 optical flow（「視頻中一幀到下一幀之間發生了什麼？」）、領域適應（「如何讓一個領域的知識/標籤在另一個領域發揮作用，比如讓手寫圖像的標籤在谷歌街景的門牌號識別任務中發揮作用」）。

在做研究之外，我還有一個 YouTube 頻道「Pill's Physics」，裡面的內容是我做一些科學實驗、討論一些科學知識。

你是如何選擇做這個方向的？

2014年的時候，我剛剛在美國加州大學聖克魯茲分校拿到物理學碩士學位。那時候我在一個研究如何給盲人移植視網膜的跨學科小組裡面，有一次實驗中我們需要處理一些採集起來非常費錢的數據，然而我們又沒法充分利用這些數據，因為我們的數據處理程序過於簡單了。所以我就開始自學機器學習和神經網絡。我很快就對這東西著迷了，然後開始聯繫在這個領域做研究的教授們。Daniel Cremers 邀請我過去展示我的工作成果，我覺得非常榮幸，後來他也就成為了我的博士導師。

你選擇來谷歌實習的原因是什麼？你的導師起到的幫助大嗎？

深度學習領域的進步速度非常快。幾乎每周都有人發表突破性的新神經網絡或者訓練方法。很多時候，論文作者都是來自谷歌的。這就讓我非常好奇谷歌在這個領域都做了些什麼樣的研究。在一個夏令營中，我遇到了 Olivier Bousquet，他做了一個關於谷歌大腦團隊的演講，講得非常棒。他給我介紹了谷歌研究實習生的事情，我就很快發了申請。我的博士導師也很支持我，因為接觸新的觀點、跟別人接觸、跟別人交換意見永遠是好事，尤其是在深度學習這樣的新領域中。而且，谷歌有很多的資源可以用於研究，很多大學裡沒有條件計算的實驗都可以在這裡完成。

你實習期間做的是什麼項目？

我很榮幸可以和 Alexander Mordvintsev 一同工作，他是 DeepDream 的創始人之一。我們做的項目是關於一種用無標籤數據和半監督學習訓練神經網絡的新方法的。

我們開發出的新方法叫「從聯想中學習（Learning by Association）」。它的思路和「聯想遊戲」很像，給你一個單詞，然後你要回答你聯想到的第一個東西。幾輪聯想下來，一般都會形成很好玩的聯想鏈。

我們做的事情就跟這個很類似：我們首先訓練一個能夠生成表徵（神經激活模式）的神經網絡，這樣的表徵也可以用來做聯想。這樣的聯想就可以把有標籤數據和無標籤數據聯繫起來。假設我們能夠生成一條有標籤數據和無標籤數據之間的聯想鏈，然後就可以從無標籤數據進行第二次聯想，再聯想到有標籤數據。這樣就形成了一個「聯想循環」。那麼，你就可以把這個循環開頭的那個標籤和最後聯想到的標籤做對比。我們的目標是建立連續的聯想循環，意思就是說循環中的標籤都是相同的。我們給這個過程建立了一個損失函數，然後通過實驗表明了這個方法可以極其有效地用更少的數據訓練分類神經網絡。

你在谷歌實習期間有發表論文嗎？

有的，我寫了一篇論文並且提交到了CVPR，這是世界上最大的計算機視覺會議；我還在CVPR 2017現場展示了這篇論文。出席大會的旅費也是谷歌出的，所以這段實習經歷不僅給我帶來了很多業界公司的經驗，而且也讓我發表了一篇引以為豪的論文。

你在實習期間所做的研究和你的博士研究題目聯繫緊密嗎？

剛開始的時候，我和谷歌大腦團隊的人一起探索了很多不同的題目，最後選中的這個和我的博士研究題目配合得非常完美。另外，即便做一個和博士研究題目完全沒有關係的項目也會有很大幫助，比如在編程和項目管理技能方面。

你自己寫代碼了嗎？

寫了好多呢！我尤其要感謝谷歌的代碼審查，讓我的代碼質量提高了很多，而且讓我對代碼風格和可拓展性也做了很多思考。谷歌允許代碼開源的這一點也讓我很高興，這就跟研究領域的慣例是一樣的。這樣一來，我在谷歌之外也可以繼續研究這個題目，並和全世界的研究人員一起共享這些代碼。我還寫了一篇後續論文「聯想領域適應（Associative Domain Adaptation）」，剛剛也被 ICCV 接收了。

現在你在谷歌實習已經是第二次了，你回到谷歌有哪些原因？

谷歌裡面有趣的研究項目太多了，一次實習經歷怎麼能夠呢？哈哈，不開玩笑了，Sylvain Gelly 團隊有一個非常有趣的項目邀請我參加。去年我就和他和他的同事碰過面，他們人都很棒，我不想錯過這個和他們一起工作的機會。

在谷歌的這段時間裡，你都學到了哪些關鍵技能？

我的代碼質量提高了很多。在谷歌有機會跟著有很多經驗而且非常聰明的編程人員身上學習，他們寫的代碼完善、快速，而且他們還能教你如何寫出這樣的代碼。我還和谷歌中很多不同團隊、不同背景的人都建立了聯繫；我遇到了一些優秀的產品經理，給我講了他們設計成功的產品的時候都有哪些深入的見解。我甚至還跟他們一起開發了一個新的YouTube功能，因為我剛好是一個YouTube內容開發者。其實還有很多，我最後再說一點，我在谷歌內部的健身中心裡加入了一個「最強泥人」團隊，經過鍛鍊以後我的身體素質也有提升。

這段實習經歷對你的博士學業有哪些影響？

現在回頭來看的話，這段實習經歷是我博士期間重要的裡程碑。我申請實習的時候其實沒有期待它會幫我改變一切，但是我覺得自己結束實習的時候是帶著滿腦子的新點子和渾身的動力回到學校的。

那根據你現在的經驗做個回顧：你覺得博士生應該申請去谷歌實習嗎？有什麼建議給他們嗎？

當你的博士讀到一半的時候，肯定會有那種覺得自己困在問題裡走不出去的時候。這時候你就需要接觸一些新東西。還可以是當你想試著做一個需要用到1000個GPU的實驗的時候；或者是當你覺得自己無所不知無所不能、想要挑戰自己的時候；又或者是你開始考慮博士畢業之後做什麼，你在想像寫大型程序、帶來大的改變會是什麼感覺。我覺得一段實習經歷可以有很多不同的理由。那麼谷歌也就是一個很有意思的地方，可以挑戰自己，也可以收穫一篇好論文、一群好朋友、各種好點子，甚至在谷歌工作的機會。

（完）

via Google Student Blog，雷鋒網 AI 科技評論編譯

雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。