現今，人工智慧有眾多細分領域，技術發展日新月異。10 Mins Paper是伯禹推出的共創、共享的人工智慧領域論文解讀系列。每一期我們邀請優秀的老師、學長，針對其研究領域，為大家挑選最值得一讀的經典/前沿論文。用10分鐘時間，為大家深入淺出地講解論文中的思想與方法，帶大家領略這一研究領域的獨特魅力。
本期10 Mins Paper將由陳天奇博士以及上海交通大學APEX實驗室的本科生為大家帶來，希望大家能夠從視頻中有所收穫。
掃描下方二維碼，前往伯禹 10 MIns Paper網站獲取視頻～(PS:也可在B站搜索「伯禹人工智慧學院」觀看)
人工智慧和機器學習的發展離不開基礎軟硬體的進步，硬體計算能力的提高恰恰是這一波人工智慧和深度學習浪潮的起點。而優美的理論和算法要落到實處，要成為真正可以改變人們生活的技術，必然需要可靠的高性能的系統作為支撐。而機器學習系統正是連接理論與實踐、硬體和算法的橋梁。正如任何一個計算機系的學生都要學習體系結構、作業系統一樣，機器學習系統對於對人工智慧感興趣的同學來說也非常重要。
陳天奇是上海交大ACM班06級學生，也是APEX實驗室13屆畢業的碩士生，美國華盛頓大學（UW）博士生。他研發的XGBoost、MXNet和TVM三項機器學習系統獲得了學術界和工業界的一致好評，被業界認為是新一代機器學習系統領域最具有影響力的華人學者之一。今年6月，陳天奇宣布將在一年後加入卡耐基梅隆大學（CMU）擔任助理教授。
陳天奇到底有多厲害？讓我們縱覽一下他研發的這三項機器學習系統對工業界的影響：
1.XGBoost，作為梯度提升樹模型的極致實現，具有極強的預測能力和極高的運行效率，在學術界和工業界應用十分廣泛。可以說，隨便進到中國一所前200名的大學的大數據相關的實驗室，裡面一定有學生在跑XGBoost的實驗，隨便進入中國一個三線城市的一所民居內的大數據創業公司，裡面的算法工程師一定用XGBoost做過一些預測任務。
2.MXNet，是在深度學習時代產生的主流開原始碼之一，天奇和李沐是MXNet的兩位最主要的貢獻者。後來MXNet被Amazon選為AWS深度學習的代碼基礎，和谷歌的TensorFlow，Facebook的PyTorch並駕齊驅，成為最有影響力的深度學習框架之一。
3.TVM，是一個面向深度學習代碼的編譯器，利用機器學習自動編譯成下層硬體執行的機器碼。TVM對於工業界有著深遠的貢獻，這意味著新的深度學習硬體突破硬體巨頭的前後端產品體系封鎖成為可能，這將促使面向人工智慧的硬體產業全面開花。
本期10 mins paper主要介紹了七篇機器學習系統的論文：
1.TVM：An Automated End-to-End Optimizing Compiler for Deep Learning（TVM是一個可用於CPU，GPU和各種硬體加速器的開源深度學習編譯器技術棧，是陳天奇博士的代表工作之一。）
2.AutoTVM : Learning to Optimize Tensor Programs（在TVM的基礎上，進一步講解了AutoTVM的基於學習的優化框架。）
3.TASO: Optimizing Deep Learning Computation with Automatic Generation of Graph Substitutions（TASO是一個使用自動生成graph substitution的計算圖優化器，能讓 CNN 更好得並行，跑得更快。）
4.Parameter Hub：A Rack-Scale Parameter Server for Distributed Deep Neural Network Training（一種硬軟體結合的優化，大幅度降低了雲伺服器上分布式訓練的通信和同步消耗，大幅度提升了訓練速度。）
5.Ray：A Distributed Framework for Emerging AI Applications（在此之前，沒有能有效支持訓練、服務、模擬緊密聯繫的通用用途的系統， 為了展現這些核心構件並滿足新興人工智慧應用的需求， Ray統一了actor和任務並行兩個編程模型。）
6.Towards Federated Learning at Scale: System Design（本文實現了基於 Federated Learning 算法的分布式機器學習系統，該分布式機器學習系統能夠靈活、高效、健壯地處理大量非集中存儲的數據。）
7.PipeDream：generalized pipeline parallelism for DNN training（PipeDream利用流水線技術改進神經網絡並行計算，在不同的場景下相比原來的並行方法有了成倍的提升。）
論文#1:
TVM：An Automated End-to-End Optimizing Compiler for Deep Learning
伯禹學堂：
https://www.boyuai.com/videos/10minspaper/T46V7xNHqyer7nibSigJR
B站：
https://www.bilibili.com/video/av77177061
陳天奇，在華盛頓大學保羅·g·艾倫計算機科學與工程學院獲得博士學位，與卡洛斯·格斯特林合作研究機器學習與系統的交叉。創建了三個被廣泛採用的主要學習系統:XGBoost、TVM和MXNet(聯合創建者)。是機器學習谷歌博士獎學金的獲得者。
這篇文章是TVM的技術報告。TVM是一個可用於CPU，GPU和各種硬體加速器的開源深度學習編譯器技術棧，它旨在架起多種深度學習前端框架與後端硬體之間的橋梁，能夠將深度學習模型高效地部署到異構的後端上並進行自動調優。
深度學習、編譯原理、GPU、並行計算、Halide
論文#2 ：
AutoTVM : Learning to Optimize Tensor Programs
伯禹學堂：
https://www.boyuai.com/videos/10minspaper/0H9XnepUGa3-gS6CpdHGx
B站：
https://www.bilibili.com/video/av76587731
侯博涵，上海交通大學APEX實驗室、ACM班本科生，研究興趣為機器學習系統、計算機體系結構。
本視頻介紹了Learning to Optimize Tensor Programs這篇文章，主要講解了AutoTVM的基於學習的優化框架。
Halide，tvm，GBDT，TreeGRU，transfer learning
在學習Architecture、Operating System、Compiler和Networking這些課程的時候，我感受到了計算機系統設計在近半個世紀以內的演變和進化，我們何以構造如此神奇的計算機器？我們能製造的機器的極限又在哪裡？這些問題是迷人的。「Simplicity favors regularity」」Do one thing, do it well.」先驅們用簡單的哲學和優雅的設計為這些問題的回答做了完美的演示，而我想追隨他們的腳步。
論文#3:
TASO: Optimizing Deep Learning Computation with Automatic Generation of Graph Substitutions
伯禹學堂：
https://www.boyuai.com/videos/10minspaper/c5bdXzYsVuOtUyIJPgu6c
B站：
https://www.bilibili.com/video/av76588144
徐逸凡，上海交通大學APEX實驗室、ACM班本科生，研究興趣為機器學習系統。
本視頻介紹了TASO，一個自動生成graph substitution的計算圖優化器。
我對機器學習系統的興趣源於機器學習課程的一個大作業。這個大作業的任務是ctr的預測，我使用了一個叫XGboost的庫，在使用XGboost的過程中，我發現這個庫非常強大，在性能和準確率上優於同類的庫。後來，我了解到XGboost是由ACM班陳天奇學長開發的，霎時間就對學長充滿了敬仰。於是我就漸漸開始接觸機器學習系統的相關知識，並想在今後做一些機器學習系統的工作。在學習機器學習系統的相關知識時，僅僅讀一些論文，不僅會流於表面，而且也沒有太多的進步。在循序漸進的過程中，我發現學習不僅僅包含讀論文，更需要學習相關的基礎知識，看代碼，進行各方面的知識或能力的鞏固，扎紮實實，才能取得進步並在未來做出有用的工作。
論文#4:
Parameter Hub：A Rack-Scale Parameter Server for Distributed Deep Neural Network Training
伯禹學堂：
https://www.boyuai.com/videos/10minspaper/AvHINHHNzoIYfyBjhl4yV
B站:
https://www.bilibili.com/video/av76587622
馮思遠 ，上海交大APEX實驗室、ACM班本科生，研究方向為machine learning system, urban data computing和reinforcement learning
一種硬軟體結合的優化，大幅度降低了雲伺服器上分布式訓練的通信和同步消耗，大幅度提升了訓練速度。
隨著機器學習的不斷升溫，機器學習系統的需求也在不斷上升。從cpu到gpu到tpu/npu的變化在硬體層面大幅提升了訓練推理速度。另一方面，從sklearn到tensorflow pytorch再到現在的tvm，軟體層面也在不斷優化，不斷適配全新的硬體系統。我很榮幸能夠和天奇學長共事，一起推進tvm這個偉大的開源深度學習編譯器。在此期間我深刻感受到tvm在學術界工業界的廣泛影響力：無論是AWS, NVIDIA還是Alibaba，許多大廠都會密切關注tvm的最新動態。任何感興趣的feature和PR企業都會主動聯繫你。我之前實現了tvm對tensorcore的支持，就收到了多個大廠的郵件和實習邀請，甚至直接與阿里團隊展開了部分合作。我相信在未來的3-5年內，tvm依舊會是最熱門的深度學習編譯器。
論文#5 ：
Ray：A Distributed Framework for Emerging AI Applications
伯禹學堂：
https://www.boyuai.com/videos/10minspaper/T46V7xNHqyer7nibSigJR
B站：
https://www.bilibili.com/video/av76587468
蔡亞星，上海交通大學APEX實驗室、ACM班本科生。
在此之前，沒有能有效支持訓練、服務、模擬緊密聯繫的通用用途的系統， 為了展現這些核心構件並滿足新興人工智慧應用的需求， Ray統一了actor和任務並行兩個編程模型。僅僅用了一個動態任務圖以及運用了一個由全局控制存儲系統以及自底向上分布式調度器支持的可拓展架構。系統評估方面展現了達到180萬個任務每秒的線性拓展性，以及可見的容錯性，和在幾個時下強化學習任務的顯著性能提升。
我選擇機器學習系統作為研究方向的原因是因為機器學習系統非常有趣。但是在做機器學習系統研究的過程中往往也會遇到很多問題，而且一些複雜困難的問題往往會令人束手無策，產生恐懼感。但是在解決問題的過程中，我明白了：不管我們遇到什麼困難都不要害怕，微笑著面對它！消除恐懼的最好辦法就是面對恐懼！堅持，才是勝利。加油！奧利給！
論文#6:
Towards Federated Learning at Scale: System Design
伯禹學堂：
https://www.boyuai.com/videos/10minspaper/CwTMLz-cl_jAEogSl721z
B站：
https://www.bilibili.com/video/av76587958
錢蘇澄，上海交通大學APEX實驗室、ACM班本科生，研究興趣包括機器學習系統。
在人們隨身攜帶的行動裝置中，存儲了大量可被分析利用的用戶數據；在多樣的移動應用中，部署了個性化的推薦系統、輸入法單詞預測等基於數據的服務。這種機器學習任務的數據不是集中存儲在伺服器，而是分散在各行動裝置上，為學習系統的設計提出了新的挑戰。本文實現了基於 Federated Learning 算法的分布式機器學習系統，該分布式機器學習系統能夠靈活、高效、健壯地處理大量非集中存儲的數據。Federated Learning 將計算分散到行動裝置上，以此來應對數據的用戶隱私、所有權、和局域性等特點。該系統解決了諸多實際問題，已部署在大規模應用中。
TensorFlow機器學習框架、基本的系統知識。
論文#7:
PipeDream：generalized pipeline parallelism for DNN training
伯禹學堂：
https://www.boyuai.com/videos/10minspaper/s5PLPemDOlNCgihJIGbf1
B站：
https://www.bilibili.com/video/av76588050
蘇起冬，上海交通大學APEX實驗室、ACM班本科生。
神經網絡的訓練是一個非常耗時的過程，如果使用並行化可以大大加快訓練速度。PipeDream利用流水線技術改進神經網絡並行計算，在不同的場景下相比原來的並行方法有了成倍的提升。
機器學習和人工智慧的大發展離不開基礎軟硬體的進步。正是硬體計算能力的提高，使大規模神經網絡的訓練成為了可能。優美的理論公式要落到實處，要成為真正可以改變人們生活的技術，必然需要可靠的高性能的系統作為支撐。而機器學習系統正是連接理論與現實的橋梁，非常有趣。正如任何一個計算機系的學生都要學習體系結構、作業系統一樣，機器學習系統對於對人工智慧感興趣的同學來說也非常重要。
在知乎10mins文章的留言板，提出你想與大咖交流的問題或學習paper後的感想
我們會將留言與問題匯總整理給天奇老師哦~優質問題將有機會得到天奇老師的親自解答哦！
同時，留言集滿10個大拇指的同學，都將獲得伯禹ElitesAI系列課程大禮包哦~
掃描下方二維碼即可跳轉至知乎「伯禹人工智慧學院」陳天奇專題，快來留言板寫下你想交流的內容吧~
以上便是本期由上海交通大學APEX實驗室帶來的10 Mins Paper精彩分享。
同時，伯禹誠意邀請更多AI領域的優秀工作者來製作自己的10 Mins Paper，將自己的科研成果分享給更多的AI從業者與愛好者～
10 Mins Paper 是伯禹推出的共創、共享的人工智慧領域論文解讀系列。
——面向人工智慧方向的工業界學術界的學生和在職人員，旨在以視頻形式講解經典論文及前沿熱點的算法。方便大家以更高效的方式學習了解AI領域前沿論文，同時促進對論文的深入探討。
人工智慧領域的發展日新月異，伯禹希望通過高質量的短視頻講解，幫助大家快速了解前沿論文。
未來，我們希望聚集更多的AI領域學者，參與10 Mins Paper系列，產出更多優質視頻。我們加入了打賞功能與促進學術交流的討論區，希望構建人工智慧領域的論文學習交流社群。
boyuai.com/elites 或B站、知乎搜索「10 mins paper」
如果你有意向成為最強大腦中的一員，與大家分享解讀經典或前沿論文：
講者要求：高校人工智慧方向研究生/博士生 或 相關領域從業者
請聯繫微信 @小魚在伯禹（添加好友時請標註：報名10 Mins講者）