英特爾很嚇人AI技術:神經網絡處理器及VPU性能飆升3-4倍

這是我第二次見到Naveen Rao。

與初見一樣，聊到AI，他的話匣子一下被打開，一直有層出不窮的想法與理論冒出，滿腹經綸，侃侃而談。

英特爾全球副總裁兼人工智慧產品事業部（AIPG）總經理 Naveen Rao

與他這種溫暖的教授般的氣質形成「反萌差」的是他對極限運動的熱愛。這位40剛出頭的AI專家還是一名運動健將，以至於在滑雪、滑板、騎自行車、駕駛賽車、摔跤和打籃球的生涯中，弄傷了全部手指。或許就是這樣一位冒險家，更適合帶動人工智慧，在他創立的深度學習初創公司Nervana被英特爾收購後，Nervana被迅速整合到英特爾AI核心戰略之中，現在Rao已經成為英特爾人工智慧事業群（AIPG）的掌舵人。

Rao說來到英特爾，「這裡是一個開放的文化」，他很喜歡團隊合作，然而調用資源並不是一件容易的事，但英特爾在產品的市場化方面擁有豐富的經驗，強大的向心力正將公司各部門之間扭成一股勁，朝著一個目標通力協作。

在英特爾，實幹永遠比空談更重要。在英特爾首屆AI開發者大會上，由Rao率隊帶領，英特爾人工智慧業務相關部門的「狠角色」集中露面，這應該是英特爾AI史上一次先例。要知道，除了英特爾內部會議，能夠在公開場合看到一群「大牛」如此乖巧的集中出現，幾乎是零概率事件。

但英特爾並沒有讓人失望。

這一次它拿出了一支配置超高的英特爾「AI銀河戰隊」（姑且叫這名吧），如下圖，從左到右依次是：

Jennifer Huffstetler，英特爾數據中心事業部副總裁兼數據中心產品和存儲營銷總經理

Reynette Au，英特爾可編程解決方案事業部副總裁

Jack Weast， 英特爾無人駕駛解決方案資深首席工程師兼首席架構師

Gayle Sheppard，英特爾新技術事業部副總裁兼Saffron人工智慧事業部總經理

Remi El－Ouazzane，英特爾新技術事業部副總裁兼Moviduis總經理

Jonathon Ballon，英特爾物聯網事業部副總裁

Naveen Rao， 英特爾公司副總裁兼人工智慧產品事業部總經理

儘管這陣容堪比漫威「復仇者聯盟」，但依舊有「大神」在畫框外。

英特爾人工智慧事業部副總裁、 Nervana團隊核心成員Carey Kloss

Carey Kloss是英特爾人工智慧事業群副總裁、 Nervana團隊核心成員，雖然並沒有在上圖中出現，但他向科技行者表達出對團隊的熱愛，「英特爾有迄今為止我見過的最佳的後矽培養（post－silicon bring－up）和架構分析。」也正因如此，Nervana神經網絡處理器（Nervana Neural Network Processor，NNP）才獲得巨大提升。

事實上，NNP也是英特爾醞釀已久的「殺手鐧」。在本次AI開發者大會上，Rao就爽快公開了英特爾新一代AI芯——英特爾Nervana NNP－L1000，代號為「Spring Crest」的專用人工智慧晶片，而這款晶片也即將成為英特爾第一款商用神經網絡處理器產品，並計劃在2019年發布。

儘管Rao並沒有再多透露新代AI晶片的細節，但同為Nervana創始團隊的Carey Kloss卻掌握著機密——我們當然不會放過他。就在AI開發者大會期間，科技行者與他進行了一次「接地氣」對話，原來打著「如意算盤」的英特爾還可以這樣玩。

Nervana NNP：新AI芯性能飆升3－4倍，但威力還沒完全釋放

在Rao長達1小時的主題演講中，最重磅的發布非英特爾Nervana神經網絡處理器莫屬了，它對英特爾的意義非同小可。

如果拿去年10月首次公布的「Lake Crest」（Nervana NNP系列初代晶片代號）做一個比喻，可以說「Lake Crest」就像一場「及時雨」，成功幫助英特爾在AI專用晶片競爭中站住腳。但英特爾卻提出了一個更大的目標，即到2020年要將深度學習訓練的性能提升100倍。而Crest家族很可能成為英特爾目標實現的最快途徑。

要知道一塊晶片的打造並非易事，如果背後沒有一支瘋狂、專注的晶片開發團隊，它也將是一塊不足掛齒的晶片。所以懂門道的內行人更專注的問題是：Nervana神經網絡處理器系列晶片背後的英特爾IC設計團隊，究竟是如何打造出這顆能在現有性能上再飆升3－4倍的「Spring Crest」？

雖然Carey Kloss口風很緊，但關於Nervana神經網絡處理器，科技行者還是在與他的聊天中，拿到以下犀利信息：

1、Lake Crest和Spring Crest的主要區別

Lake Crest作為第一代處理器，在GEMM（矩陣運算）和卷積神經上都實現了非常好的計算利用率。這不僅僅是指96％吞吐量的利用率，而是在沒有充分定製化的情況下，Nervana也在大多數情況下實現GEMM高於80％的計算利用率。當開發下一代晶片時，如果能夠保持高計算利用率，新的產品在性能上有3到4倍的性能提升。

2、Lake Crest計算利用率達到96％，為什麼到Spring Crest不升反而降了？

這是一個市場策略，把利用率適當下降。有些情況確實可以實現98％，在沒有資源衝突時，每個矽晶片都完全運行的情況下，可以達到99％甚至100％計算利用率。但英特爾想展示的是大多數情況下能能實現的利用率，所以適當調整了。

3、為什麼Nervana晶片的發布節奏一再延期？

分為兩個階段，Nervana在2014年成立之初就開始研發Lake Crest，，當時整個團隊大概45人，正在構建一個最大的Die（矽晶片），我們開發了Neon（深度學習軟體），還構建了雲棧，這些都是小團隊所完成的。但這也是挑戰所在，小團隊成長會有陣痛，Nervana花了很長時間才把第一批產品拿出來，直到去年晶片才真正問世。關於Spring Crest為何選擇2019年年底推出，因為需要集成更多的Die（矽晶片），獲得更快的處理速度，但需要一定的時間去製造矽片，也需要矽片變成新的神經網絡處理器，這是延遲的原因。目前來看，Spring Crest正處於合理的節奏中，已具備明年取得成功的所有要素。

4、延遲給英特爾帶來了哪些不利影響？

Carey Kloss並不認為英特爾會在神經網絡處理器上處於劣勢，因為英特爾的反應速度相對較快，比如逐步轉向bfloat是一個重要因素，它是業內廣泛採用的針對神經網絡的一種數值型數據格式，很受市場歡迎，未來英特爾將在人工智慧產品線上擴大對bfloat16的支持，包括至強處理器和FPGA。

5、拿nGraph與CUDA相比：沒在怕的

拋開硬體層面，英特爾還在軟體部署上加足馬力。目前，英特爾AIPG事業部正在開發名為nGraph的軟體，該軟體是一個框架中立的深度神經網絡（DNN）模型編譯器。英特爾正在把TensorFlow、MXNet、Paddle Paddle、CNTK和ONNX等深度學習框架集成在nGraph之上。

同樣是一個平臺概念，很多人喜歡拿GPU代表企業英偉達與英特爾做比較，事實上，Carey Kloss就直言了nGraph與競爭對手CUDA平臺的區別。

「nGraph與CUDA還是不一樣的。CUDA你可以理解為 nGraph的底面，我們稱之為變壓器。nGraph通過一個固定的API接收來自TensorFlow，Caffe或MXNet的輸入，然後通過圖形編譯器進行性能優化，排除一些不需要的東西，然後將其發送給CPU的MKL－DNN。所以CPU仍然使用MKL－DNN，即使在nGraph中也是如此。「不難看出，英特爾也有意把晶片開發放在統一平臺上，將nGraph打造成為開發基於所有英特爾晶片的AI應用程式的接口做統一。

相比於新一代Nervana NNP－L1000還處於研發階段，英特爾另一款專注於計算機視覺的晶片VPU實際已經商用。關於這款晶片，英特爾又寄託了怎樣的市場期望，來看另一位同樣在畫框外的大神的解答。

12下一頁>

（免責聲明：本網站內容主要來自原創、合作媒體供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，並對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或連結內容可能涉嫌侵犯其智慧財產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，並提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件後，將會依法儘快聯繫相關文章源頭核實，溝通刪除相關內容或斷開相關連結。 ）