【AI星球（微信ID：ai_xingqiu）】8月23日報導（編譯：福爾摩望）
微軟今天推出了一款可以支持高速、低延遲機器學習模型的系統，也預示著微軟開始在專用AI硬體領域嶄露頭角。該公司展示的這個名為Brainwave的新系統，允許開發人員將機器學習模型部署到可編程晶片上，並獲得超出CPU或GPU的高性能。
研究人員在加利福尼亞州庫比蒂諾熱舉辦的Hot Chips大會上演示了門控重複單元模型，在沒有批量操作的情況下，該模型運行在英特爾最新的Stratix 10現場可編程門陣列（FPGA）晶片上的速度可達到39.5萬億次浮點運算。無需採用批量處理意味著硬體可以及時處理請求，從而為機器學習系統提供實時監測。
微軟所選擇的模型要比Alexnet和Resnet-50這樣的卷積神經網絡要大好幾倍。
提供低延遲的監控對於大規模部署的機器學習系統來說是非常重要的。用戶並不想等待應用響應過長時間。
微軟研發部的工程師Doug Burger說：「我們將它稱之為實時AI，因為你想要的是發出請求後能夠立馬得到響應。視頻流、會話、入侵異常檢測等等，這些涉及到交互和快速結果的事情，你都想要實現實時。」
然而，以往發布的有關硬體加速機器學習的結果都以延遲為代價來實現結果優化。在Burger看來，一個機器學習加速器應該一次性處理請求，而不是進行批量處理。
微軟正在通過其數據中心安裝的FPGA組使用Brainwave。根據Burger的介紹，Brainwave將會讓微軟的服務更快的支持人工智慧功能。此外，該公司也正在努力通過其Azure雲平臺為第三方客戶提供Brainwave服務。
FPGA允許程式設計師配置優化的硬體，以便在運行之前執行特定功能，例如進行為神經網絡提供監控的數學計算。微軟在其數據中心部署了數十萬個FPGA組，並插入伺服器，連接到網絡上。
Brainwave將訓練好的機器學習模型加載到可使用整個生命周期的FPGA硬體內存中。然後，該硬體會用於計算可生成監控模型的計算中，例如可預測的文本字串。如果模型太大，無法在單個FPGA上運行，那麼軟體會進行部署，並在多個硬體板上執行。
微軟並不是唯一家投資加速機器學習硬體的公司。谷歌在今年早些時候公布了其Tensor處理單元的第二個修訂版本晶片，專門用於機器學習訓練和服務。此外，還有大量創企也正在打造用於機器學習的專用硬體加速器。
技術人員對FPGA的批評之一是，與專門用於執行機器學習操作的晶片相比，它們的速度較慢，效率較低。Burger表示，微軟的Brainwave預示著可編程硬體也可以提供高性能。
Burger也表示，英特爾和微軟將在未來進一步優化Brainwave的性能。隨著性能的進一步提升，微軟可以使用英特爾Stratix 10達到90萬億次浮點運算的速度。
目前，Brainwave支持使用微軟CNTK框架和谷歌TensorFlow框架的訓練模型。Burger說，團隊正在努力實現與其他工具的兼容。微軟並沒有給出一個路線圖，來表明何時向客戶提供Brainwave服務。