選自Wired機器之心編譯參與:吳攀、蔣思源、杜夏德
在很多時候,機器學習的處理過程對我們來說都是黑箱,為了了解這個黑箱,研究者已經做了很多的工作。近日,Wired 一篇文章介紹了位於布里斯托的創業公司 Graphcore 在這方面的美麗貢獻,該公司利用人工智慧處理單元和軟體創建了機器學習過程的「腦圖」,得到的結果經過渲染後非常具有視覺衝擊力。
Graphcore 是一家位於英國布里斯托的創業公司,該公司正在開發一種新型處理器——IPU(intelligent processing unit /智能處理器),可以用來幫助加速機器智能產品和服務的開發。除此之外,該公司還開發了一套可以幫助用戶無縫使用 TensorFlow 和 MXNet 等機器學習框架的接口,並為此提供了一個包含工具、驅動和應用庫的開源軟體框架 Poplar。該公司已在 2016 年 12 月入選了機器之心 AI00 人工智慧公司榜單。
Graphcore 公司在微軟開發的神經網絡 ResNet 上創造了很多富有技術感又不失藝術色彩的圖片。該神經網絡贏得了 2015ImageNet 分類競賽冠軍。這張圖像展現了搭建在 Graphcore 的 IPU 之上的微軟 ResNet-34 架構在 2016 年 12 月的訓練全景圖。這張圖的色彩是後來填上的,用以強調計算密度在圖形的卷積層產生發光中心。
該 ResNet 架構用來建立用於計算機視覺和圖像識別的深度神經網絡。這裡展示的圖像是向前(推理)通過 ResNet 的 50 層網絡,該網絡在經過 Graphcore 神經網絡圖像庫訓練之後用於分類圖像。
這是一張使用 ImageNet 數據集訓練的圖像識別架構 AlexNet 完整的前向和後向通過的圖。Graphcore 的波普勒圖將機器學習框架,如 tensorflow 或 MXNet,轉變成 1870 萬個頂點計算圖和一億一千五百八十萬個邊緣。一個點就是兩個或以上的曲線、線條或邊緣交匯的地方。
運行在 Graphcore 的 IPU 上的 ResNet-34 計算機視覺架構的前向通過。該神經網絡的層是可見的,圖像中心顯示的是層與層之間的連接。
2016 年 9 月,ResNet-34 的一張完整訓練圖像(full training graph)。Graphcore 說它看起來就像一個 MRI(磁共振成像)掃描,這是第一次為該網絡反映出完整的圖像。該網絡表現的是計算密集度的頂點,並且用藍色表示出其間的連接。
這一張是在 2016 年 11 月製作的 AlexNet 圖像分類訓練架構圖。AlexNet 最後三層中的頂點是彩色的,而在該圖其他部分都是黑白的。
AlexNet 圖像分類訓練架構從 2016 年 12 月開始就在 Graphcore 的 IPU 上運行。不同的顏色代表著在計算圖譜上使用頂點的類型。圖像使用綠色顯示了三個完全連接層。
用於圖像識別的 ResNet-34 的前向通過的一張圖像。該圖展示了多張圖像並行穿過網絡的位置,這個過程被稱為 batching。
伊利諾伊大學使用深度學習加速由 LIGO 引力波探測器所生成的天體物理學數據的分析。如果將他們的模型放到 Graphcore IPU 上執行,就會得到這張圖像。
一張來自 2016 年 8 月的微軟研究院的 ResNet-50 的圖像。這張圖像展示了這個用於圖像識別的網絡的推理部分。該網絡有 50 層,但在 IPU 上所需的層數更少,因為很多層都可以被不同的數據使用。