華盛頓大學成立SAML實驗室:陳天奇參與,探索跨系統堆棧多層問題

安妮 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

△ 陳天奇

昨天，TVM、XGBoost、cxxnet等機器學習工具的作者陳天奇宣布，自己所在的華盛頓大學新成立了一個實驗室，組織代號「SAML」。

陳天奇本人在微博上介紹說，實驗室將有整合系統、體系結構、機器學習和程序語言4個方向的團隊推進深度學習算法、系統的硬體和協同設計研究和TVM等開源項目。

△ 陳天奇微博截圖

四個方向

華盛頓大學為什麼想建立這個實驗室？在SAML項目首頁上，我們找到了答案。

我們想解決調度、網絡、存儲和編程抽象方面的新挑戰，構建可從新興硬體體系中受益的可擴展系統，處理不斷增長的可用數據。重要的是，未來的模型和算法需要與硬體共同設計，系統級的要素需要告知硬體軟體棧的設計。

我們需要建立通用、可復用的基礎設施，並製造更智能的系統。目前，這些挑戰和研究問題涉及計算機科學的多個領域。

因此，SAML問世。

簡單說來，這是一個跨學科的機器學習研究小組，探索跨系統堆棧的多層次問題，包括深度學習框架、訓練和推理的專用硬體、新的中間表示、可微編程和各種應用程式。

目前，實驗室有四個研究方向。

一個方向是序列模型的專門化（Sequential Model Specialization），能通過自適應級聯的深度模型為視頻快速分類。

研究人員提出了一種級聯的廉價分類器架構，並證明了當種類分布高度傾向於小型類集合時，這種專門化的模型準確率相對較高。

△ 專門化模型的架構

PHub項目是第二個方向，研究內容包括用於高效分布式深度神經網絡訓練的參數伺服器。

這項研究以華盛頓大學和微軟研究院的論文Parameter Hub: High Performance Parameter Servers for Efficient Distributed Deep Neural Network Training為基礎，探索參數伺服器的平衡設計。

論文地址：

http://www.sysml.cc/doc/16.pdf

第三個方向以陳天奇團隊的TVM堆棧為基礎，研究適用於深度學習的端對端優化堆棧。

去年8月，當陳天奇發布TVM時曾引起業內討論的高潮，通俗點來說，這是一種把深度學習模型分發到各種各樣硬體設備上的、端對端的解決方案，包含以下組件：

相關論文地址：

https://arxiv.org/abs/1802.04799

最後一個項目也與陳天奇有關，XGBoost項目是一個高效靈活的可擴展的樹狀增強系統，在梯度增強的框架下實現了機器學習算法。

相關論文地址：

https://arxiv.org/abs/1603.02754

參與團隊

目前，項目的參與者均來自華盛頓大學，並由Sampa、Syslab、MODE和PLSE實驗室的教師、研究生和本科生組成。

最後，附項目主頁地址~

http://saml.cs.washington.edu/

— 完 —