大咖 | 專訪Yoshua Bengio:如何高效建立和運營一家機器學習實驗室?

2021-02-13 大數據文摘

大數據文摘出品

編譯:瓜瓜、艾瑪、蔣寶尚

人工智慧和機器學習風靡全球,高校作為人才培養基地正在頂風而上,如何建立相關的實驗室,「當家人」如何管理實驗室才能最高效?關於這些問題,無論國內,還是國外的學者都在探索一條適合自己的道路。本文選自Graham Taylor對Yoshua Bengio的專訪,從他們的一問一答中,希望你能夠獲得一些經驗和思考。

Graham Taylor是CIFAR機器和大腦學習項目中的一名學者,也是圭爾夫大學工程學院的副教授。Yoshua Bengio是CIFAR機器學習項目的聯合主任,同時也是蒙特婁大學計算機與運算系的教授,數據學習算法中心的加拿大研究主席。

Graham Taylor (GT):你能告訴我你在系裡最初做什麼工作麼?


Yoshua Bengio (YB):在蒙特婁大學我曾經是唯一一個從事機器學習和神經網絡研究的,我當時很有動力,對每一位學生都很負責。

我利用了我在學校外的人際網絡,一些是我博士後之前一起工作的同事。例如Geoff Hinton和其他在多倫多的人。和同領域的人交流是很重要的,因為我是學校裡第一個研究這個領域的學者。

我也非常幸運學校能夠認可我的工作,感謝學校減輕了一些我教學上的任務。

GT:從一開始就是?

YB:是的,在開始的七年裡,我只用教授兩門課。然後我當上了加拿大研究主席,就只負責一門課程。我認為一邊承擔教學重擔一邊建立實驗室可能非常有挑戰性。當我有了第二個孩子時,我開始後悔自己之前工作太拼命。我對於學校裡的職位有點力不從心。現在往回看,我應該更好地平衡工作與生活。

GT: 當時學校內部有人指導你嗎?

YB:沒有,一個人也沒有。可能我應該聯繫一些年長的教授,不一定是同領域的。如果我以前沒那麼害羞的話我會嘗試獲得更多反饋。我當時沒有意識到這是可行的。新的教員應該擴展關係,建立聯繫。系裡也鼓勵大家那麼做。資深教員們樂於做這些,雖然他們可能不會太主動 。

GT:在這些外部關係之中,作為一個教職工你的得到的最好的建議是什麼?

YB:在我當教授的前十年裡,我和Geoff Hinton有一些互動,雖然都是遠程的。但是它們幫助了我把精力放在更重要的事情上。

如果重來一次,我不會把注意力分散在不同方向,只顧當下的想法而無視長遠的挑戰。當你嘗試立足的時候這很難,因為你會焦急地想發表更多論文來獲得一些榮譽。但是你至少要花一些時間來專注於長期規劃。如果你過度追逐榮譽和職位,很容易陷進去,從而錯過一些重要的東西。我跟Geoff的討論幫助了我意識到這點。

GT:現在機器學習應用受到廣泛關注,一些公司和合作者都帶著項目來找你,你會認為這加劇分散了你的注意力嗎?

YB:每個人都有自己要走的路。為了在某些領域變得擅長、取得突破,你必須成為一個專家。最好集中精力做一件事,然後變成這個學科在世界上最強的人。

機器學習最有魅力之處是:他可以和很多應用場景相結合。對吧?在90年代我接觸了很多應用。

CIFARAzrieli Global Scholar, Graham Taylor

GT:跟現在有什麼不同嗎?

YB:在九十年代,工業界對神經網絡和機器學習有很多興趣。加拿大教育系統鼓勵這樣的跨界合作。為基礎科學爭取了很多資金。用項目中的資金資助長期的調查研究。這不是正規手段,但教育系統給基礎研究提供的資金不足,無形中助長了這種事情的發生。我們應該賦予長期研究更多的價值,因為這將會帶領我們看到更多AI領域的驚人進展。

我再對撥款的問題補充一點。

我開始的時候意識到,當你給類似加拿大自然科學和工程研究委員會(NSERC)寫提議的時候,他們不太關心你是否會做提議上寫的東西。他們只關心研究者幾年後可以拿得上檯面的東西。

在研究中很難預測以後什麼會火,所以靈活應變很重要。然而如果和一個公司籤訂協議幫他們做事的時候就不是這樣了。因為你的主要目標變成讓你的投資人滿意。對於NSERC來說,關鍵就是做好的科研,發表,然後在研究道路上保持靈活性。

GT:在管理實驗室上你有什麼好的實踐經驗嗎?

YB:幫助。早些時候我沒有很多錢給我的博士後。選擇博士後都是有足夠知識量的,所以他們不用再花兩年時間了解最新情況,可以幫助管理一些比較大的團隊。

我們做PhD的時候沒有學習怎麼管理和帶領團隊。一件對我有益的事情是,認識到學生中那些與生俱來的領導力。有一些博士生他們樂意並且善於管理。所以有時候他們不僅僅帶一個學生,有些人經常輔導好幾個學生。

我們不應該低估年輕人的能力,他們比一些年長者更擅長做管理者。

GT:現在博士後有各種各樣的工作機會,是不是更難招到高質量的博士後。

YB:是,也不是。

GT:的確,因為大家都會被吸引到你這裡來。但是你有什麼建議嗎?

YB:我的一個原則是找那些有機器學習相關的數學或者物理背景的人,這些人學習能力很強大。所以如果你想招一個兩到三年的博士後,這些人是值得招的。他們不會在Google Brain之類的地方找到工作,因為他們還沒有展現自己的機器學習能力。這種賭博通常對我來說很奏效。

GT:你會怎樣勸說畢業生留校當博士後而不是去直接工作?

YB:如果他們來機器學習實驗室並參與研究發表,會極大地提高他們在行業裡的價值。如果這是之後他們想從事的,從博士後開始會容易得到更好的機會和待遇。

當然這也看人。有些博士生不用當博士後就能取得很好的機會,對吧?在這種情況下,影響因素就會變成「你想要選擇學術道路嗎」,因為金錢不是人們唯一在乎的。如果是這樣,那麼做博士後就是一個好的選擇:去學習學者是怎麼工作的,參與到管理角色甚至是資金籌集中。

產業不是一個同質性的東西。在基礎研究實驗室工作和在一個沒有那麼自由的地方工作有很大區別,你會成為一個為其他研究者工作的熟練技術員,或者為有很多開發任務的應用研究工作。產業中有很多不同種的工作,很少會是博士後會青睞的那種。

GT:但是產業中的工作人數卻似乎在增長。例如Google Brain,Deepmind,FAIR,你同意這種觀點麼?

YB:是的,很多像Element AI的新公司也是這種類型的。

GB:對於實驗室的人員規模來說,你認為多大規模是理想的?

YB:取決於教授,和管理人員的經驗。我一開始有三個人,現在有一個很大的團隊。但是這都不可能是一步到位的。所以我漸漸學會了如何管理更多的人,建立基礎設施,取得資助。

你可以根據自己的速度拓展。有些人超過五六個學生就會覺得不舒服,那也沒問題。當然當你有更多學生的時候你會發表更多文章,但是也意味著你在每個學生身上花的時間更少了,可能回報也會少一些。

團隊合作非常重要,或者說是不要用項目把每個學生分割開來,要保持靈活性來激發新的合作。這樣他們跟教授就不會是一對一的關係,他們也會是大關係網中的一部分。

GT:也就是點對點溝通?

YB:沒錯,這對大家都有利,如果信息反饋所依的那個人經常不在,會讓團隊感覺不安,但如果他們還可以依賴另外十位同事,這將給他們創造一個更豐富的溝通網。 

GT:那麼創造這種氛圍的機制是什麼? 

YB:物理上的親近:學生要在實驗室呆著,別在家工作。讓他們能夠自由地在你所建議的範圍之外,與其他教授進行合作,開展新項目。儘量減少不同教授門下的學生之間的隱礙。讓小組變大,學生可以自由無礙地與其他教師進行討論。可以定期組織活動,如閱讀小組,研討會和外出拓展。 

GT:最近我跟個在美國工作的人聊了下共同監管,他告訴我,在美國,監管者的第一個主題是如何分配資金,但這種現象在加拿大還未出現。 


YB:這裡的學生費用比美國低很多,這是個重要因素,對吧?但也許它也是一種文化重要的是不去考慮資金,優先考慮合作,且不設定期望值,跟資金和合作相關的另一因素是:我對預設協議沒有信心。

換句話說,如果我們事先達成正式協議了,你我共同監督學生,他們也在此規則下看站工作,那麼臺作將無從談起。

實際上是因為我們有共同的利益,我們定期交流,然後合作才水到渠成,對吧? 能抓住某些想法,是值得鼓勵的。預設的協議關係,可能會運作的很好,但也可能像個車籠,捆綁住A和B的特定項目和他們之間的關係。而其實或許A和C之間的關係更和諧。 

比方說,在主實驗室中,我們有一個不成文的概念,即有這麼一個資金庫,你可以與任何你想要的人合作並從中得到資助。

GT:那是因為參與該項目的主要調查人員決定共享資源嗎? 

YB:我的資金是共享的,但這並非是固有模型,只是說資深教授通常更容易獲得資金,所以我自己申請了資金。合同也是如此。一天的工作結束,如果不需要為錢發愁,那麼玩樂和探索將會主導我們的行為。

首先,這不僅僅是研究,去參加研討會和會議,去參觀其他實驗室,主動些,不要等別人來邀請。

GT:這一點比較重要,特別是對新教員來說,他們會考慮其他人未涉及領域的未來發展方向,或者在現有教師和高級會員的領域,是否還可以進行這種合作。 

YB:是的。只要能與那裡的主要職員們好好相處,你去現有的團隊就容易多了。因此,如果你很欣小組精神,那麼初級職員上手很容易。他們不必為資金髮愁,可以對觀點反覆推敲,獲得共同監督,較快獲得工作反饋 。


GT:我想該談招收學生。如果你興趣寡淡,該如何回應?興趣濃厚又該如何處理? 

YB:首先,這不僅僅研究,也是種宣傳。去參加研討會和會議,去參觀其他實驗室,主動些,不用等別人來邀請。你可以說「嘿,我來這兒做場演講怎麼樣?」然後整個領域的人都認識你了,如果你要走撥款的正規渠道,就會涉及到這些。

這對招聘和教學都意義重大,教學的作用之一是你得讓學生了解你,特別是你目已的研究生成者本科畢業組,可以聊些都關心的事,打好關係,這樣你也清楚學生的優點,試著勸他們來你的實驗室工作。 

我手下有些來自本科院校或其他地方的暑期實習生,通過這種方式,你可以了解一個人是否具有研究潛力。這比僅通過一次面試來招聘要保險些,畢寬你要跟這個人籤5年合同的,不是嗎? 去年這裡有700個應用程式,今年可能會有1000個,再加上引進的幾十個。所以你必須很有條理。 

GT:最後我們想談談行業合作,你怎麼判斷合作是否恰如其分?

YB:判斷不了,只能在過了幾年後才領悟。通常情況是雙方的期待值不匹配,這一點必須謹慎,要跟企業講清楚,學術人員可以做的是什麼,重要的是,讓他們明白學術不是廉價勞力,他們不生產產品,而是通過了不起的創意實現業務轉型。所以企業要明白,這是投資的一部分,企業內部人員需要將算法和原型轉變為產品,否則合作註定會失敗,這意味著公司需要付出更高成本,避開不談很容易,但你必須這麼做。

GT:但你想要跟新教員分享的? 

YB:聽從你的直覺。許多人缺乏必要的自信,從而與機會失之交臂。作為研究人員,我們的主要職責是提供有價值的想法來推進知識。這些想法往往隱藏在我們大腦中的某個地方,我們必須給予充足的時間,來生成這些想法。花一周的空間去思考,不編程,不寫作也不閱讀,專注的想想那些讓你煩惱的事情。

相關報導:

https://www.cifar.ca/cifarnews/2018/08/01/q-a-with-yoshua-bengio?platform=hootsuite

【今日機器學習概念】

Have a Great Definition

相關焦點

  • Yoshua Bengio 經驗分享:如何做好學術研究?如何管好實驗室?
    近日,Graham Taylor 對 Yoshua Bengio 進行了一次採訪,聊了聊 Bengio 的學術方法論和如何管理實驗室,是一次誠摯的反思,也是一份給年輕博士、教授、實驗室管理者們的參考建議。雷鋒網(公眾號:雷鋒網) AI 科技評論全文編譯如下。
  • 2020 AAAI Fellow 出爐,Yann Lecun、Yoshua Bengio 入選
    Yoshua Bengio 教授於 2017 年獲得加拿大總督功勳獎。 最新報導:深度學習瓶頸到來時,Yoshua Bengio有什麼新打算(附NeurIPS演講) 2、Yann Lecun:紐約大學早在 20 世紀 80 年代末,Yann LeCun 就作為貝爾實驗室的研究員提出了卷積網絡技術,並展示如何使用它來大幅度提高手寫識別能力。上世紀末本世紀初,當神經網絡失寵時,Yann LeCun 是少數幾名一直堅持的科學家之一。
  • Yoshua Bengio, Yann LeCun, Geoffrey Hinton 獲 2018 年圖靈獎
    雷鋒網 AI 科技評論按,今天,ACM 宣布,2018 年圖靈獎獲得者是號稱深度學習三巨頭的 Yoshua Bengio, Yann LeCun 和 Geoffrey Hinton,得獎理由是:他們在概念和工程上取得的巨大突破,使得深度神經網絡成為計算的關鍵元素(For conceptual and engineering breakthroughs that have made
  • 圖靈獎得主Yoshua Bengio談5G、中美爭端以及錯誤的ICML最佳論文
    在本次頒獎之前,機器之心在 MILA 與滴滴出行的合作發布會上對其中一位獲獎者,蒙特婁大學教授、人工智慧研究機構MILA主管 Yoshua Bengio,和滴滴出行科技合作總監吳國斌博士進行了專訪,我們與他們聊到了一些近期熱點話題:5G 和自動駕駛、中美貿易爭端,以及剛剛出爐的 ICML 2019 最佳論文。
  • 人工智慧領跑者Yoshua Bengio推出了深度學習的孵化器Element AI
    人才儲備競賽是去年的Open AI激起的,這個項目是由Elon Musk等人資助,它吸引了幾個關鍵的人工智慧研究人員離開谷歌和Facebook。同樣重要的是,Bengio是正在創立一個孵化器,這個孵化器正沿著Y Combinator的發展方向。因為它能填補存在於人工智慧專家與建立公司所需知識之間的溝壑。
  • 李開復對話Yoshua Bengio:構建AI與人類社會的良性循環
    在對話中,李開復博士與Yoshua Bengio教授探討了AI對人類社會的意義,尤其在新冠肺炎疫情後時代,AI如何幫助未來的經濟社會更加富有彈性、宜居和可持續。 他們認為,AI是一個千載難逢的機會,人類得以真正從重複性事務中解脫出來。在 AI 的幫助下,我們將有希望希望建立一個明智、理性、包容的社會,構建人類社會與AI的良性循環。
  • Yoshua Bengio等大神傳授:26條深度學習經驗
    這意味著即使分類器沒有碰到佩戴眼鏡的高個子,它也能成功地識別他們,因為它學會了從其他樣本中單獨學習識別性別,佩戴眼鏡與否和身高。2、局部最小在高維度不是問題Yoshua Bengio的團隊通過實驗發現,優化高維度神經網絡參數時,就沒有局部最小。
  • 深度學習大神Yoshua Bengio經典前瞻演講,幫你打通深度學習的任督...
    架構深度元素集(*、sin、+、-)——輸入(x、a、b) 輸出(*)  深度=4元素集(神經元、神經元、神經元)—— 深度=3深度架構中共享組件用共享組件表示的多項式:深度的優勢可能指數級增長玻爾茲曼機和MRFs
  • 【AI大咖】扒一下低調的Yoshua Bengio大神
    1、LeNet5卷積神經網絡提出:LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
  • Yoshua Bengio教授獲得加拿大總督功勳獎,Yann LeCun發來賀電
    12歲從法國來到加拿大的Yoshua Bengio教授現居加拿大蒙特婁,在蒙特婁大學任教授。還有一點難能可貴的是,許多的人工智慧人才都已經加入了谷歌、Facebook這樣的大公司,而Bengio教授一再表示自己要保持中立、留在學術界,這是為了培養更多的人工智慧人才、讓更多的學校學生可以進行人工智慧的基礎研究。Bengio教授研究人工智慧的動力就是發掘它的潛能,而不是對它的恐懼。
  • Yoshua Bengio:注意力是「有意識」AI的核心要素
    認知角度來說,我們大腦中關於世界的知識認知可以分為兩類:隱性知識和顯性知識。能夠語言化的其實是一種特殊的知識,我們應該試著去描述和刻畫,這樣才能把它放在模型的訓練框架中。而且,這些知識是圍繞著我們可以用語言命名的概念來組織的。因此,這些研究和建立更好的自然語言理解之間有很強的聯繫。將意識加工到深度學習需要先驗知識。
  • 【Yoshua Bengio】走向因果表示學習,附論文、視頻與72頁ppt
    Yoshua Bengio將介紹因果表示學習。
  • 獨家 Yoshua Bengio研究生科研指導演講:解讀人工智慧全貌和下一個前沿
    過去十年來,CIFAR 一直在給許多教授的團隊提供資助,其中包括多倫多大學的 Geoffrey Hinton 教授、紐約大學 Yann LeCun 教授和這一次的演講者、蒙特婁大學的 Yoshua Bengio 教授。今天,深度學習科學家已經找到了訓練更深度的神經網絡的方法。但在此之前,科學家們還嘗試過很多不成功的訓練方法,而不成功的原因則是那時候人們對訓練更深度的神經網絡還缺乏了解。
  • 重磅 Yoshua Bengio深度學習暑期班學習總結,35個授課視頻全部開放(附觀看地址)
    Yoshua Bengio 組織的本年度的深度學習暑期學校(Deep Learning Summer School 2016)的學習內容的總結,機器之心在本月初的時候已經對該課程所學的內容進行了一番梳理(可參閱:《Yoshua Bengio 組織深度學習暑期班,你想見的一流學者和熱門課程都來了(附17個課程PPT)》)。
  • 圖靈獎之後,Yoshua Bengio再獲全球級榮譽:入選英國皇家學會會士
    近日,官方消息稱,著名的蒙特婁大學計算機科學教授 Yoshua Bengio 當選為英國皇家學會(Royal Society)的成員,此次一共有 62 位傑出科學家入選。此前,許多世界級著名科學家都曾獲此榮譽,包括牛頓、達爾文、愛因斯坦以及霍金等等。
  • Yoshua Bengio最新《深度學習》MLSS2020教程,附104頁PPT及視頻
    機器學習暑期學校(MLSS)系列開始於2002年,致力於傳播統計機器學習和推理的現代方法。
  • 深度學習三巨頭之一的Yoshua Bengio清華大學講座視頻,絕對值得一看!
    本次活動邀請到蒙特婁大學計算機科學與運算研究系教授Yoshua Bengio作《Challenges for Deep Learning towards Human-Level AI》主題講座。Yoshua深度探討了深度學習模型的具體內容,如何實現對抽象特徵的多層次學習,如何更好地進行表示學習,使用判別器優化信息間的獨立性、相關性和熵,BabyAI框架等話題。
  • 約書亞·本吉奧Yoshua Bengio的Deep Learning中文版第二章[線性代數]
    三個部分:一、基本的數學工具和機器學習的概念;二、最成熟的深度學習算法,這些技術基本上已經得到解決;三、討論某些具有展望性的想法,它們被廣泛地認為是深度學習未來的研究重點。我們先看一下約書亞·本吉奧Yoshua Bengio的教授簡歷,再看看全書目錄、第一章前言最後900字,然後繼續學習第二章線性代數的內容。
  • 約書亞·本吉奧Yoshua Bengio名著DeepLearning中文版介紹、目錄、前言
    如果繪製出這些概念如何建立在彼此之上的圖,我們將得到一張」深」(層次很多)的圖。基於這個原因,我們稱這種方法為~AI深度學習。AI~許多早期的成功發生在相對樸素且形式化的環境中,而且不要求計算機具備很多關於世界的知識。例如,IBM的深藍(Deep Blue)西洋棋系統在1997年擊敗了世界冠軍Garry Kasparov{cite?}。
  • 【Yoshua Bengio 親自解答】機器學習 81 個問題及答案(最全收錄)
    這是針對特定話題的問答系列,而有什麼能比機器學習更適合作為開頭的第一個話題呢?機器學習無疑是今天最炙手可熱的技術之一,在過去幾年間實現了深度學習等許多進展,而許多企業也將注意力和資源投向了這一領域。這個 Quora 機器學習問答系列將會邀請眾多這個領域的大神來答疑解惑。