從ACM班、百度到亞馬遜,深度學習大牛李沐的開掛人生

2020-12-14 CSDN技術社區

「大神」,是很多人對李沐的印象。作為一經推出便大受追捧的 MXNet 深度學習框架的主要貢獻者之一,李沐功不可沒。值得注意的是,這個由 DMLC(Distributed Machine Learning Community)打造的深度學習框架,創建者都是中國人,以陳天奇、李沐、解浚源等為代表。現在,包括 AWS 在內的很多企業都將 MXNet 作為主流支持框架。

作為深度學習「大神」,李沐的開掛人生經歷並不被所有人熟知。為了加深大家對李沐的了解,我們對其學習、職業和研究生涯做了一個簡單的總結。

ACM班、百度、CMU、亞馬遜,李沐的傳奇人生

以倒敘時間線來看,李沐目前為止的職業和學習生涯大致是這樣的:

  • 亞馬遜首席科學家,2017 年 3 月至今
  • 百度首席架構師,2014.4-2015.12
  • CMU 讀博士,2012-2017
  • Google Research 實習生,2013 年夏
  • 百度高級研究員, 2011.4 - 2012.8
  • 香港科技大學研究助理,2009 - 2010
  • 微軟亞洲研究院實習,2007 年夏
  • 上交 ACM 班

現狀:在亞馬遜發光發熱

按照李沐的領英個人頁面介紹,他在亞馬遜的工作職責主要有:領導 AWS AI 科學團隊,使深度學習易於使用,包括

  1. 使用動手筆記本教授深度學習:https://d2l.ai
  2. 使CV / NLP / GNN更容易:https://gluon-cv.mxnet.io,https://gluon-nlp.mxnet.io,https://dgl.ai

減少深度學習的機器成本:

  1. DL框架:https://.mxnet.io
  2. DL編譯器:https://tvm.ai

這其中提到的教授深度學習筆記,就是李沐在 2019 年 1 月在 UC 伯克利上線的深度學習入門課程 Introduction to Deep Learning。同授這門課程的還有李沐的亞馬遜同事 Alex Smola。課程內容大致是按照李沐老師的開源新書《動手學深度學習》來安排的。

課程主頁:http://courses.d2l.ai/berkeley-stat-157/index.html

GitHub:https://github.com/d2l-ai/berkeley-stat-157

2017 年,李沐在其個人微博上總結了這一年他所在的亞馬遜人工智慧部門的兩大重點工作:更靈活的前端 Gluon 和更可拓展的後端 NNVM compiler。

其實早在 CVPR 2017 上,李沐就提出了 MXNet 的重要新接口 Gluon,還撰文介紹MXNet/Gluon 的教程:https://github.com/mli/cvpr17

隨後,在 2017 年 10 月,亞馬遜 AWS 和微軟共同宣布推出深度學習庫 Gluon。Gluon 為各種水平的深度學習開發人員設計,幫助開發者在雲端、App 和其他設備上設計原型,創建、訓練和部署複雜的深度學習模型。目前,Gluon 已經與深度學習引擎 Apache MXNet 合作,並已支持另一個深度學習引擎——微軟認知工具包(CNTK)。

2017 年 10 月 7 日,亞馬遜和華盛頓大學合作發布了開源的端到端深度學習編譯器 NNVM compiler。NNVM 是華盛頓大學博士陳天奇等人 2016 年發布的模塊化深度學習系統,2017 年 8 月中旬,他們又推出了將深度學習工作負載部署到硬體的端到端 IR 堆棧 TVM,支持將包括 MXNet、Pytorch、Caffe2、CoreML 等在內的深度學習模型編譯部署到硬體上並提供多級別聯合優化,使得速度更快,部署更加輕量級。NNVM compiler 對 CoreML 的支持,讓開發者可以在非 iOS 設備上部署 CoreML 模型。

自帶光環的過去

說完了李沐大神的現狀,現在我們來簡單回顧下他帶有傳奇色彩的人生經歷。

ACM 班「沐哥」

2004 年,李沐從上海交通大學計算機系 ACM 班畢業,在學校人留下「沐哥」的傳說。在同期同學的眼中,李沐作為 ACM 班的典型代表,是個頗有領袖氣質的人,以至於自然而然地獲得一個「沐哥」的稱號。他還是一個德智體美勞全面發展優秀學生,從專業課到個人大學四六級考試成績都名列前茅,且興趣廣泛。在上海交通大學,他又度過了四年碩士生涯。

在後,2011 年 4 月-2012 年 8 月,他在百度擔任高級研究員,創建了一套分布式機器學習廣告系統。同年,在接到 CMU 的 offer 之後,他決定赴美深造。在李沐於 2017 年發布的文章《博士這五年》中,他提及了這段經歷。

2011 年,李沐收到 CMU 的offer,在當時還在百度的餘凱和張潼的引薦下,李沐決定辭職離開百度,開啟 CMU 博士生涯。

CMU 師從 Alex Smola 和 Dave Andersen

在 CMU,李沐師從機器學習大師 Alex Smola 和 分布式系統教授  Dave Andersen,在兩個導師的輔導下,李沐迅速成長。

此後,李沐加入了餘凱的百度「少帥計劃」,他選擇了與相熟的陳天奇一起,把 CXXNet 作為起點,開始做深度學習相關項目。

創建 MXNet

此後,在陳天奇寫 xgboost 的分布式啟動腳本時,他們發現很多基礎部件例如啟動腳本,文件讀取應該是可以多個項目共同使用,而不是每個項目都造一個輪子,於是李沐與陳天奇在 Github 上創建了一個叫 DMLC 的組織,用來加強合作和溝通。也就是這個組織,此後創建了全世界最受歡迎的深度學習框架之一——MXNet。

MXNet 創建的背後,還有一段小故事:當時 CXXNet 其實已經達到了一定的成熟度,但它的靈活性有局限性,用戶只能通過一個配置項來定義模型,而不是交互式的編程。此時,李沐同時還負責另外一個項目 Minerva,這是一個類似 numpy 的交互式編程接口,但這個靈活的接口對穩定性和性能優化帶來很多挑戰。同時給兩個項目做分布式擴展的李沐很自然地想到,也許可以把兩個項目合併起來,取長補短。

在召集了兩個項目的開發人員討論了幾次之後,新項目就此誕生,並被命名為 MXNet,意為 mixed-net,即 Minerva 和 CXXNet 的組合。

當時,李沐同時在做 difacto 和 MXNet 兩個項目,在同吳恩達的一次見面之後,李沐聽從了他的建議,把全部精力放在了 MXNet。這樣,在谷歌 Jeff Dean 牽頭創建的 TensorFlow 開源壓力之下,MXNet 專注於自己的所長,才有了後面的大獲成功。

《動手學深度學習》熱賣

最後再提一點,《動手學深度學習》這本由李沐,美國伊利諾伊大學香檳分校計算機科學博士 Aston Zhang,李沐在 CMU 的導師 Alex Smola ,以及來自社區的 100 多位貢獻者合著的深度學習書籍,推出之後便大受歡迎,曾在 6 月份登上京東 24 小時熱銷榜 Top 1。   

    

目前,這本書的交互式版本已推出了在線預覽版,面向在校學生、工程師和研究人員,旨在幫助讀者從入門到深入、動手學習深度學習,即使是零基礎的讀者也完全適用。

  • 在線書地址:https://zh.gluon.ai/toc.html
  • GitHub 項目:https://github.com/diveintodeeplearning/d2l-zh
  • PDF:https://zh.gluon.ai/gluon_tutorials_zh.pdf

好消息!李沐親授「深度學習實訓營」

這裡,我們要告訴大家一個好消息,那就是 AI ProCon 2019 邀請到了亞馬遜首席科學家@李沐,在大會的前一天(9.5)親授「深度學習實訓營」,通過動手實操,幫助開發者一站式掌握 AI 核心技術,迅速上手深度學習應用。

除了深度學習「實訓營」,李沐還將在第二天(9 月 6 日)作為 AI開發者大會(AI ProCon )的 Keynote 嘉賓,分享他對人工智慧領域技術發展與行業應用的洞見。

2019 AI開發者大會(AI ProCon),我們集結了國內外來自阿里、華為、Google Brain、Amazon、微軟中國、百度、京東、小米、快手、科大訊飛、商湯、曠視、圖森、雲知聲、思必馳等60+ 技術大咖,在 Keynote 和機器學習、計算機視覺、自然語言處理、知識圖譜、推薦系統、5G 驅動 AIoT、AI 開源、AI+小程序、AI+DevOps 9 大技術論壇上分享硬核 AI 技術,深剖行業痛點,助力開發者職業發展!

更多嘉賓正在確認之中......(最終出席嘉賓以現場為準)

豐富的機器學習相關話題和問題討論,相信會帶給觀眾全新的想法與思考。還在等什麼?迅速行動起來,到現場感受人工智慧領域產學研大神、頂尖開發者匯聚一堂的熱烈氣氛,與大神一起頭腦風暴,刷新你對 AI 技術的認知!

2019 AI 開發者大會(AI ProCon)詳情及報名通道 https://aiprocon.csdn.net/?utm_source=wbpt

【免責聲明:CSDN本欄目發布信息,目的在於傳播更多信息,豐富網絡文化,稿件僅代表作者個人觀點,與CSDN無關。其原創性以及中文陳述文字和文字內容未經本網證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本網不做任何保證或者承諾,請讀者僅作參考,並請自行核實相關內容。凡註明為其他媒體來源的信息,均為轉載自其他媒體,轉載並不代表本網贊同其觀點,也不代表本網對其真實性負責。您若對該稿件由任何懷疑或質疑,請即與CSDN聯繫,我們將迅速給您回應並做處理。】

相關焦點

  • 我們跑到PaloAlto,和MXNet作者李沐聊了兩小時|AAAI2017見聞
    雷鋒網AI科技評論按:在舊金山參加 AAAI 期間,經餘凱老師的引薦,AI 君來到了位於 Palo Alto 的亞馬遜AWS 辦公室與李沐見了一面。從百度少帥到 CMU 博士再到 MXNet, 李沐的履歷儼然自帶距離感。但當穿著耐克灰色套頭衫和牛仔褲的李沐坐在我們面前侃侃而談時,AI 君在會面前的擔心一掃而光。嚴格來說這並不是一次採訪,更像是朋友間的閒聊。
  • 李沐老師在伯克利開新課了,深度學習教材已經開源,視頻也會有的
    這是一門深度學習基礎課,一周兩節;每節課後,都會有課堂視頻放出。課程內容,大致是按照李沐老師的開源新書《動手學深度學習》來安排的 (但和去年放出的同名課程並不一樣) 。除了沐神,另外一位講師是這本書的共同作者、亞馬遜的同事Alex Smola。
  • 李沐開源中文書《動手學深度學習》預覽版已上線!
    參與:李澤南、張倩來源:機器之心授權轉載,禁二次轉載近日,由 Aston Zhang、李沐等人所著圖書《動手學深度學習》放出了在線預覽版,以供讀者自由閱讀。這是一本面向在校學生、工程師和研究人員的交互式深度學習書籍。這本書是亞馬遜 MXNet 零基礎深度學習課程的重要組成部分。
  • 實戰入門深度學習,李沐中文新書贈送
    2018 年底,機器之心介紹了李沐等人開源的中文書籍《動手學深度學習》。
  • 資源 | 李沐等人開源中文書《動手學深度學習》預覽版上線
    近日,由 Aston Zhang、李沐等人所著圖書《動手學深度學習》放出了在線預覽版,以供讀者自由閱讀。這是一本面向在校學生、工程師和研究人員的交互式深度學習書籍。這本書是亞馬遜 MXNet 零基礎深度學習課程的重要組成部分。課程內容推薦使用 Apache MXNet 的前端工具 Gluon 進行開發,可指導你在動手實踐的過程中學會使用簡單易讀的代碼,寫出產品級的應用。
  • 資源| 李沐等人開源中文書《動手學深度學習》預覽版上線
    近日,由 Aston Zhang、李沐等人所著圖書《動手學深度學習》放出了在線預覽版,以供讀者自由閱讀。這是一本面向在校學生、工程師和研究人員的交互式深度學習書籍。MXNet 零基礎深度學習課程的重要組成部分。
  • 李沐:在伯克利教深度學習
    雷鋒網 AI 科技評論消息,今年年初,MXNet 作者李沐與 Alex Smola 在加州大學伯克利分校開設了一門深度學習課程。課程結束之際,李沐在知乎撰寫長文,描述了開設這門課程的動機,以及上完課程之後,在教育上的一些心得與體會,李沐表示,「我們嘗試的一些方法、走過的彎路、積累下來的材料也許對諸位感興趣的老師和同學有所幫助。所以特意在這裡分享出來。」
  • 全新版本,李沐《動手學深度學習》TF2.0版本來了
    機器之心整理參與:一鳴還記得李沐老師的《動手學深度學習》嗎?近日,該書的 TF2.0 代碼復現項目來了。UC 伯克利李沐的《動手學深度學習》開源書一經推出便廣受好評。很多開發者使用了書的內容,並採用各種各樣的深度學習框架將其復現。據機器之心所知,現在已有 MXnet(原版)和 PyTorch 版本。
  • 李沐《動手學深度學習》+ TF2.0 開源項目來了,不容錯過!
    《動手學深度學習》嗎?UC 伯克利李沐的《動手學深度學習》開源書一經推出便廣受好評。很多開發者使用了書的內容,並採用各種各樣的深度學習框架將其復現。據機器之心所知,現在已有 MXnet(原版)和 PyTorch 版本。近日,《動手學深度學習》書又有了一個新的復現代碼版本——TensorFlow2.0 版。這一項目登上了 12 月 9 日的 GitHub 熱榜,一天獲得了百星。
  • 李沐團隊提出最強ResNet改進版,多項任務達到SOTA|已開源
    而最近,亞馬遜李沐團隊便提出了堪稱「ResNet最強改進版」的網絡——ResNeSt。從名字中不難看出,是引入了模塊化的分散注意力模塊,可以讓注意力跨特徵圖(feature-map)組。那麼,ResNeSt到底有多強?
  • 開了掛的人生?12歲考入少科班,曾任百度總裁,如今加盟清華大學
    曾經被稱作「天才少年」的他,在1978年考入了中科大的少年班,那一年,他只有12歲。在獲得電子工程系學士和碩士學位之後,1986年,張亞勤遠赴美國留學,三年後,獲得了美國喬治華盛頓大學的電子工程博士學位。博士畢業後的張亞勤留在美國工作了一段時間,曾在美國斯坦福研究院擔任實驗室主任。
  • 李沐團隊提出最強ResNet改進版,多項任務達到SOTA | 已開源
    而最近,亞馬遜李沐團隊便提出了堪稱「ResNet最強改進版」的網絡——ResNeSt。從名字中不難看出,是引入了模塊化的分散注意力模塊,可以讓注意力跨特徵圖(feature-map)組。那麼,ResNeSt到底有多強?
  • 周志華推薦 | 李沐《動手學深度學習》中文版上線!(免費贈書)
    與吳恩達的深度學習課程相比在知乎中,李沐老師表達了與吳恩達的深度學習課程相比的區別:我們不僅介紹深度學習模型,而且提供簡單易懂的代碼實現。我們不是通過幻燈片來講解,而是通過解讀代碼,實際動手調參數和跑實驗來學習。我們使用中文。不管是教材、直播,還是論壇。(雖然在美國呆了5至6年,事實上我仍然對一邊聽懂各式口音的英文一邊理解內容很費解)。
  • 資源連結|深度學習教程資源整理(伯克利、斯坦福、MIT、阿里、吳恩達)
    從基礎概念到數學公式,這是一份520頁的機器學習筆記(圖文並茂)教程文檔下載地址(百度雲):https://pan.baidu.com/s/1tNXYQNadAsDGfPvuuj7_Tw近日,來自SAP(全球第一大商業軟體公司)的梁勁(Jim Liang)公開了自己所寫的一份 520 頁的學習教程
  • 王敏捷 - 深度學習框架這十年!
    王敏捷  ACM'07紐約大學博士,亞馬遜上海研究院應用科學家內容概覽 介紹了深度學習框架發展的三個時期:工具包時代(2014年前)、數據流時期(2014-2018)、新時代(2019年後)。強調了深度學習框架的重要性與推動因素,介紹了3位ACM人李沐、陳天奇和他一起將各自的技術Parameter Server、CXXNet、Minerva融合併創造了新的深度學習框架MXNet。敏捷學長也指出了在深度學習新時代,隨著可微分編程、圖神經網絡等新領域的出現以及專用晶片的發展,深度學習框架會迎來更多機遇與挑戰。深度學習的浪潮其實到現在僅僅發展了十幾年的時間。
  • 又一AI大牛入職百度研究院,曾是密西西比大學校長
    百度研究院已經吸納了眾多世界級科學家。 百度在經歷了一段時間的離職潮後,終於迎來了新的AI大牛。最近,著名的計算機和大數據理論領域專家、前密西西比大學校長、計算機教育界知名人士Jeffrey Vitter加入百度研究院,擔任研究院顧問委員會。
  • 預告 | 跟李沐一起動手學深度學習第十六課:詞向量(word2vec)
    北京時間1月20日(周六)上午11點是將門聯合亞馬遜AI主任科學家李沐博士的《動手學深度學習》系列課程
  • AI聖經《深度學習》中文版震撼上市
    近日,由深度學習領域三位前沿、權威的專家Ian Goodfellow、Yoshua Bengio和Aaron Courville合著的人工智慧領域的聖經、長期位居美國亞馬遜人工智慧類圖書榜首的《深度學習》中文版震撼上市。最近十年,深度學習成為了風靡全球的人工智慧新技術。
  • 364 頁 PyTorch 版《動手學深度學習》pdf分享(全中文,支持 Jupyter 運行)
    1 前言最近有朋友留言要求分享一下李沐老師的《動手學深度學習》,小湯本著一直堅持的「好資源大家一起分享,共同學習,共同進步」的初衷,於是便去找了資料《動手學深度學習》是今年6月剛出版的新書,是一本面向中文讀者的能運行、可討論的深度學習教科書。同時覆蓋深度學習的方法和實踐,不僅從數學的角度闡述深度學習的技術與應用,還包含可運行的代碼,為讀者展示如何在實際中解決問題。主要面向希望了解深度學習,特別是對實際使用深度學習感興趣的大學生、工程師和研究人員。