光學卷積神經網絡加速器:通過光學實現更強大的人工智慧!

2020-12-23 環球創新智慧

導讀

據美國喬治·華盛頓大學官網近日報導，該校和加州大學洛杉磯分校的研究人員與深度科技創業公司 Optelligence LLC 共同開發出一種光學卷積神經網絡加速器，每秒能夠處理拍字節（1拍字節=2^50位元組）級的大量信息。

背景

目前計算能力的供應遠遠無法滿足全球對機器學習硬體的需求。最先進的電子硬體，如圖形處理單元和張量處理單元加速器，有助於緩解這一問題，但受到了串行數據處理的內在挑戰，因為串行數據處理需要迭代數據處理，還會遇到布線和電路限制所造成的延遲。電子硬體的光學替代品可以通過非迭代的方式簡化信息處理，幫助加快機器學習進程。然而，基於光子的機器學習通常受制於光子集成電路上可放置的元件數量，限制了互連性，而自由空間的空間光調製器則受制於較慢的編程速度。

創新

近日，美國喬治·華盛頓大學和加州大學洛杉磯分校（UCLA）的研究人員與深度科技創業公司 Optelligence LLC 共同開發出一種光學卷積神經網絡加速器，每秒能夠處理拍字節（1拍字節=2^50位元組）級的大量信息。這項創新利用了光的巨量並行性，預示著用於機器學習的光學信號處理新時代的到來，應用領域眾多，包括無人駕駛汽車、5G網絡、數據中心、生物醫學診斷、數據安全等。

大規模並行的唯幅度傅立葉神經網絡（圖片來源：喬治·華盛頓大學）

技術

為了在這種光學機器學習系統中實現突破，研究人員用基於數字鏡的技術取代了空間光調製器，從而開發出速度快百倍的系統。該處理器的非迭代時序，再加上快速的可編程性以及大規模並行化處理，使得這個光學機器學習系統的性能甚至超越頂尖的圖形處理單元一個數量級，而且在最初的原型機之外還有進一步優化的空間。

不同於目前電子機器學習硬體中按順序處理信息的範式，這款處理器採用了傅立葉光學，即頻率濾波的概念，可以利用數字鏡像技術將神經網絡所需的卷積執行為更簡單的逐元（element-wise）乘法。

價值

喬治·華盛頓大學電氣與計算機工程系副教授 Volker Sorger 表示：「這種大規模並行的、唯輻度的傅立葉光學處理器預示著信息處理和機器學習的新時代的到來。我們表明，訓練該神經網絡可以解決相位信息缺乏的問題。」

加州大學洛杉磯分校計算機工程系副主任 Puneet Gupta 教授表示：「光學允許在單個時間步長內處理大規模矩陣，從而實現了通過光學方式執行卷積操作的新尺度向量。正如在這裡所演示的，這對於機器學習應用來說有著巨大的潛力。」

Optelligence LLC 公司聯合創始人 Hamed Dalir 表示：「該原型展示了光加速器的商業化途徑，它已經為網絡邊緣處理、數據中心和高性能計算系統等許多應用做好了準備。」

關鍵詞

機器學習、神經網絡、光學

參考資料

【1】Mario Miscuglio, Zibo Hu, Shurui Li, Jonathan K. George, Roberto Capanna, Hamed Dalir, Philippe M. Bardet, Puneet Gupta, Volker J. Sorger. Massively parallel amplitude-only Fourier neural network. Optica, 2020; 7 (12): 1812 DOI: 10.1364/OPTICA.408659

相關焦點

  • 光學預處理使計算機視覺更強大、更節能
    使用深度學習卷積神經網絡的計算機（處理圖像的算法層）已經徹底改變了計算機視覺。但是，卷積神經網絡（CNN）通過從先前訓練的數據中學習，經常記憶或發展成定式來對圖像進行分類。而且比較容易受到對抗性攻擊，這些攻擊以圖像中微小的、幾乎無法察覺的扭曲形式出現，從而導致錯誤的決策。這些缺點限制了CNN的實用性。
  • 人工智慧之卷積神經網絡(CNN)
    前言：人工智慧機器學習有關算法內容，請參見公眾號「科技優化生活」之前相關文章。人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下卷積神經網絡(CNN)算法。^_^本文引用地址：http://www.eepw.com.cn/article/201806/381807.htm　　20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用於局部敏感和方向選擇的神經元時發現其獨特的網絡結構可以有效地降低反饋神經網絡的複雜性，繼而提出了卷積神經網絡CNN(Convolutional Neural Networks)。
  • 美國新加速器數據處理速度提升100倍 可應用於自動駕駛汽車
    蓋世汽車訊 據外媒報導，美國喬治華盛頓大學（George Washington University）、加州大學洛杉磯分校（the University of California, Los Angeles）與高科技初創公司Optelligence LLC的研究人員合作，研發了一種光學卷積神經網絡加速器，能夠以每秒千萬億次字節的速度處理大量的信息
  • Nature:將光計算與AI推理整合,實現高速高帶寬低功耗AI計算
    深度學習近來的這些突破性進展主要得益於現代圖形處理單元（GPU）的強大處理能力和並行計算能力以及大規模視覺數據集的可用性，這些進展讓 DNN 可以高效地使用監督式機器學習策略執行訓練。但是，高端 GPU 和其它運行日趨複雜的神經網絡的加速器的功耗和帶寬需求非常高，它們需要大量處理時間而且具有尺寸龐大的外形。
  • 贈書|人工智慧識萬物:卷積神經網絡的前世今生
    在前述章節的基礎上，本章將主要介紹訓練卷積神經網絡和深度神經網絡的重要方法與技巧，深度神經網絡的遷移學習策略，以及如何訓練深度神經網絡以解決實際問題等內容。*文末有贈書福利受20世紀中期興起的神經科學及腦科學研究的啟發，通過模擬生物神經元接收和處理信息的基本特性，研究人員提出並設計了人工神經元。作為計算機科學、生物學和數學的交叉融合，卷積神經網絡已經發展成為計算機視覺領域中最具影響力和有效的基礎技術。
  • 新型光學傳感器模仿人眼感知更逼真
    來源：科技日報科技日報北京12月9日電 （記者馮衛東）據《應用物理快報》近日報導，美國俄勒岡州立大學在新型光學傳感器研發上取得重大進展。他們開發出一種新型光學傳感器，可更逼真地模仿人眼感知物體變化的能力。這一成果有望帶來圖像識別、機器人技術和人工智慧等領域的重大突破。
  • 【專利解密】深鑑科技結合神經網絡處理器與通用處理器的AI晶片
    深鑑科技的AI晶片基於FPGA設計，其設計的亞里斯多德架構是針對卷積神經網絡而設計的，其設計的笛卡爾架構是專為處理DNN/RNN網絡而設計的，可對經過結構壓縮後的稀疏神經網絡進行極致高效的硬體加速。 在人工智慧領域，卷積神經網絡尤其在圖像處理領域有著非常廣泛的應用，其具有訓練方法簡單、計算結構統一的特點。
  • 科研| 工學院生物醫學工程系任秋實課題組在光學相干層析血管造影...
    該技術利用流動的血紅細胞作為天然的造影劑，以血紅細胞與周圍組織的相對運動作為血流的標記性特徵，結合OCT成像技術在生物組織內部三維空間採集光學散射信號，通過分析散射信號的動態特性，識別動態血流，剔除靜態周圍組織，以實現基於運動對比度的無標記血管造影，是一種嶄新的非侵入式血管成像技術。
  • 光學精密工程 | 實例特徵深度鏈式學習全景分割網絡
    TASCNet注重兩種分割任務結果的一致性研究，通過全局二值化掩模來調整跨任務一致性，減弱全景分割模型中實例分割和語義分割兩任務的差異性；AUNet把重點放在對前、後景信息的交互利用上。通過注意力機制模塊，該算法實現了實例和語義兩種分割結果與對方網絡的雙向傳遞，將分割結果互為參考，共同作用提高分割精度。
  • 從AR光學開始,了解AR眼鏡
    儘管所有人都認為AR會變成像智慧型手機一樣強大，但是我們至今仍未能夠在市面上看到一款令人滿意的AR眼鏡，這樣龐大的投入和關注都未能帶來一款撐得起口碑的產品，AR眼鏡的難點究竟是什麼？AR（增強現實，Argumented Reality）本質上是將設備生成的影像和現實世界重疊，大部分的技術都是通過光學組件進行反射、折射、衍射，最終到你的視網膜上成像。現在 AR 的光學，依然處於發展階段。早期的AR產品，大概類似於諾基亞年代手機的屏，亮度低，可視角小，笨重，耗電。
  • 光刻機產業鏈一員,茂萊光學能否實現精密光學持續突破?
    作為光刻機產業鏈中的一員，茂萊光學目前生產的半導體光學透鏡被應用在光刻機光學系統中的耦合、中繼照明模塊，是光刻機實現光線均勻性的關鍵模塊，為提高光刻機國產化率提供了必要支撐。 其實，半導體透鏡只是茂萊光學眾多產品中的一個，作為精密光學綜合解決方案提供商，茂萊光學的主要產品包括精密光學器件、高端光學鏡頭和先進光學系統三大類，應用領域非常廣泛，覆蓋了半導體光刻機及檢測裝備、生命科學及醫療、航空航天、AR/VR 檢測設備等眾多高端科技應用領域。
  • 卷積神經網絡的卷積到底是什麼
    打開APP 卷積神經網絡的卷積到底是什麼 人工智慧遇見磐創 發表於 2020-05-05 08:40:00 卷積神經網絡是一種特殊的神經網絡結構，是自動駕駛汽車、人臉識別系統等計算機視覺應用的基礎，其中基本的矩陣乘法運算被卷積運算取代。
  • 圖卷積網絡到底怎麼做,這是一份極簡的Numpy實現
    本文介紹了如何使用圖卷積網絡（GCN）對圖進行深度學習，GCN 是一種可直接作用於圖並利用其結構信息的強大神經網絡。本文將介紹 GCN，並使用代碼示例說明信息是如何通過 GCN 的隱藏層傳播的。讀者將看到 GCN 如何聚合來自前一層的信息，以及這種機制如何生成圖中節點的有用特徵表徵。何為圖卷積網絡？
  • 華為P40 Pro的10倍光學變焦是怎樣實現的?
    BIpednc在物理定律下，智慧型手機將更長的變焦鏡頭安裝到其纖薄的機身中，手機製造商就算使用了比平常更小的圖像傳感器和巧妙的鏡頭設計，傳統的高端智慧型手機只能實現2倍或3倍光學變焦係數。所以，實現5倍，甚至10倍光變的難度可想而知。BIpednc從量化標準來看，10倍的光學變焦，按照傳統的鏡頭結構，不可能實現。
  • 從圖(Graph)到圖卷積(Graph Convolution):漫談圖神經網絡 (二)
    在從圖(Graph)到圖卷積(Graph Convolution): 漫談圖神經網絡 (一)中，我們簡單介紹了基於循環圖神經網絡的兩種重要模型，在本篇中，我們將著大量筆墨介紹圖卷積神經網絡中的卷積操作。
  • 從特徵檢測器到視覺轉換器:卷積神經網絡的時代到此結束了嗎?
    圖源：unsplash近十年來，卷積神經網絡一直在全球計算機視覺研究領域發揮著主導作用。但研究者們正在提出一種新方法，想要利用轉換器的功能賦予圖像更深層的意義。卷積神經網絡（CNN）存在的問題在深入研究視覺轉換器的運行方式之前，釐清卷積神經網絡的缺點和根本缺陷很有必要。首先，卷積神經網絡無法編碼相對空間信息。也就是說，它僅關注於檢測某些特徵，而忽略了相對空間位置。上面兩幅圖像都會被識別為人臉，因為卷積神經網絡只關注輸入圖像中是否存在某些特徵，而忽略了它們相對於彼此的位置。
  • 床長人工智慧教程——關於神經網絡中的故事
    如果翻閱研究文獻，您會發現類似樣式的故事出現在許多有關神經網絡的研究論文中，而且往往證據不足。我們應該如何看待這些故事？在科學的許多部分，尤其是那些處理簡單現象的部分，都有可能為非常籠統的假設獲得非常紮實，可靠的證據。但是在神經網絡中，存在大量的參數和超參數，並且它們之間的交互極其複雜。在如此異常複雜的系統中，要建立可靠的一般性陳述極其困難。
  • 什麼是光學鍍膜?光學鍍膜可以達到什麼光學效果?總結
    光學鍍膜由薄的分層介質構成的，通過界面傳播光束的一類光學介質材料.光學薄膜的應用始於20世紀30年代.現代，光學薄膜已廣泛用於光學和光電子技術領域，製造各種光學儀器.三、濾光片簡介：用來選取所需輻射波段的光學器件，濾光片的一個共性，就是沒有任何濾光片能讓天體的成像變得更明亮，因為所有的濾光片都會吸收某些波長，從而使物體變得更暗.
  • 1D卷積入門:一維卷積是如何處理數位訊號的
    卷積是在科學、工程和數學中應用最廣泛的運算符之一卷積是對兩個函數(f和g)進行的一種數學運算，它產生的第三個函數表示其中一個函數的形狀如何被另一個函數修改。離散時間信號的卷積一種求解離散時間信號卷積的簡單方法如下所示輸入序列x[n] ={1,2,3,4}，其索引為{0,1,2,3}脈衝響應h[n] ={5,6,7,8}，其索引為{- 2,1,0,1}藍色箭頭表示