光學卷積神經網絡加速器:通過光學實現更強大的人工智慧!

2021-01-10 環球創新智慧

導讀

據美國喬治·華盛頓大學官網近日報導，該校和加州大學洛杉磯分校的研究人員與深度科技創業公司 Optelligence LLC 共同開發出一種光學卷積神經網絡加速器，每秒能夠處理拍字節（1拍字節=2^50位元組）級的大量信息。

背景

目前計算能力的供應遠遠無法滿足全球對機器學習硬體的需求。最先進的電子硬體，如圖形處理單元和張量處理單元加速器，有助於緩解這一問題，但受到了串行數據處理的內在挑戰，因為串行數據處理需要迭代數據處理，還會遇到布線和電路限制所造成的延遲。電子硬體的光學替代品可以通過非迭代的方式簡化信息處理，幫助加快機器學習進程。然而，基於光子的機器學習通常受制於光子集成電路上可放置的元件數量，限制了互連性，而自由空間的空間光調製器則受制於較慢的編程速度。

創新

近日，美國喬治·華盛頓大學和加州大學洛杉磯分校（UCLA）的研究人員與深度科技創業公司 Optelligence LLC 共同開發出一種光學卷積神經網絡加速器，每秒能夠處理拍字節（1拍字節=2^50位元組）級的大量信息。這項創新利用了光的巨量並行性，預示著用於機器學習的光學信號處理新時代的到來，應用領域眾多，包括無人駕駛汽車、5G網絡、數據中心、生物醫學診斷、數據安全等。

大規模並行的唯幅度傅立葉神經網絡（圖片來源：喬治·華盛頓大學）

技術

為了在這種光學機器學習系統中實現突破，研究人員用基於數字鏡的技術取代了空間光調製器，從而開發出速度快百倍的系統。該處理器的非迭代時序，再加上快速的可編程性以及大規模並行化處理，使得這個光學機器學習系統的性能甚至超越頂尖的圖形處理單元一個數量級，而且在最初的原型機之外還有進一步優化的空間。

不同於目前電子機器學習硬體中按順序處理信息的範式，這款處理器採用了傅立葉光學，即頻率濾波的概念，可以利用數字鏡像技術將神經網絡所需的卷積執行為更簡單的逐元（element-wise）乘法。

價值

喬治·華盛頓大學電氣與計算機工程系副教授 Volker Sorger 表示：「這種大規模並行的、唯輻度的傅立葉光學處理器預示著信息處理和機器學習的新時代的到來。我們表明，訓練該神經網絡可以解決相位信息缺乏的問題。」

加州大學洛杉磯分校計算機工程系副主任 Puneet Gupta 教授表示：「光學允許在單個時間步長內處理大規模矩陣，從而實現了通過光學方式執行卷積操作的新尺度向量。正如在這裡所演示的，這對於機器學習應用來說有著巨大的潛力。」

Optelligence LLC 公司聯合創始人 Hamed Dalir 表示：「該原型展示了光加速器的商業化途徑，它已經為網絡邊緣處理、數據中心和高性能計算系統等許多應用做好了準備。」

關鍵詞

機器學習、神經網絡、光學

參考資料

【1】Mario Miscuglio, Zibo Hu, Shurui Li, Jonathan K. George, Roberto Capanna, Hamed Dalir, Philippe M. Bardet, Puneet Gupta, Volker J. Sorger. Massively parallel amplitude-only Fourier neural network. Optica, 2020; 7 (12): 1812 DOI: 10.1364/OPTICA.408659

相關焦點

  • 光學卷積神經網絡加速器:通過光學實現更強大的人工智慧
    近日，美國喬治·華盛頓大學和加州大學洛杉磯分校的研究人員與深度科技創業公司Optelligence LLC共同開發出一種光學卷積神經網絡加速器，每秒能夠處理拍字節（1拍字節=250位元組）級的大量信息。這項創新利用了光的巨量並行性，預示著用於機器學習的光學信號處理新時代的到來，應用領域眾多，包括無人駕駛汽車、5G網絡、數據中心、生物醫學診斷、數據安全等。
  • 深度學習技術和卷積神經網絡(CNN)讓機器視覺識別更智能
    隨著人工智慧技術的進步，深度學習技術（DL）和卷積神經網絡技術(CNN)領域的人工智慧（AI）被引入到機器視覺圖像處理系統的應用中來,從而幫助機器學習和機器檢測缺陷更加高效，使機器視覺識別的過程更加精確。也讓使用這些技術的企業可以從智能化中獲得更高的生產經營效益。
  • 人工智慧之卷積神經網絡(CNN)
    ^_^本文引用地址：http://www.eepw.com.cn/article/201806/381807.htm　　20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用於局部敏感和方向選擇的神經元時發現其獨特的網絡結構可以有效地降低反饋神經網絡的複雜性，繼而提出了卷積神經網絡CNN(Convolutional Neural Networks)。
  • Nature:世界最快光子AI加速器
    目前已有來自加州大學、麻省理工學院、明斯特大學等單位的研究團隊做出了一系列在網絡尺度、可集成性、片上存儲等方面的突破，然而尚未能實現較高運算速度與高維數據處理能力，光子神經網絡的超高運算潛力尚未得到證實。
  • 光子處理器:加速光學計算領域的變革
    在各種類型的 AI 系統中，人工神經網絡由於優異的性能而被廣泛應用於 AI 任務，這些網絡使用多層相互連接的人工神經網絡進行複雜的數學運算。 為了加速人工神經網絡的處理，人們已經做出了各種努力來設計和實現特定的電子計算系統。特別值得一提的是，人們在專用集成電路、大腦靈感計算和內存計算等定製晶片的應用上，已經取得了相當大的成功，這些晶片通過一系列稱為憶阻器的內存設備直接進行處理。
  • 3D 列印造出人工神經網絡,UCLA團隊實現全光學機器學習
    團隊最後採用 3D 列印製造出了這種光學架構，實現了手寫數字和時尚產品的圖像分類。該成果已經發表於《Science》雜誌上。圖丨論文：All-optical machine learning using diffractive deep neural networks（利用衍射深度神經網絡的全光機器學習）「構建由光學元件堆疊成的固態人工神經網絡是一種非常有創新性的方法，」瑞士洛桑聯邦理工學院光學與電氣工程學院教授
  • 光速執行AI運算,港科大雙層全光學神經網絡不要計算機也能做分類
    機器之心報導機器之心編輯部完全通過光學，不要計算機也能構建個神經網絡？港科大的研究團隊提出了一種全光學神經網絡，所有線性變換、激活函數通過光學模塊就能實現。圖源：鵬城實驗室 Olivia Wang在處理模式識別、風險管理以及其他同樣複雜的任務時，最強大的計算機都無法與人腦匹敵。但是，近來光學神經網絡取得的進展通過模擬人腦中神經元的反應方式縮小了計算機與人腦之間的差距。這種光學神經網絡比 ML 中的網絡能耗更低、運算更快，是未來大規模應用 AI 的堅實基礎。
  • MIT新突破:Nature Photonics揭秘新型光學深度神經網絡系統
    隨著以深度學習為代表的人工智慧技術的興起，人們也開始關注如何開發出能更有效、更高速地執行神經網絡運算的計算硬體。近日，麻省理工學院（MIT）的研究者在 Nature Photonics 上發表的一篇論文《Deep learning with coherent nanophotonic circuits》提出了一種使用光子技術實現神經網絡的方法，而且他們還已經對這一概念進行了實驗驗證。
  • 環信人工智慧專家李理:詳解卷積神經網絡
    深度學習受到大家的關注很大一個原因就是Alex等人實現的AlexNet(一種深度卷積神經網絡)在LSVRC-2010 ImageNet這個比賽中取得了非常好的成績。此後，卷積神經網絡及其變種被廣泛應用於各種圖像相關任務。 這裡主要參考了Neural Networks and Deep Learning和cs231n的課程來介紹CNN，兩部分都會有理論和代碼。
  • 光學預處理與CV結合，UCR學者用漩渦實現混合計算機視覺系統
    這些缺點限制了卷積神經網絡的用途。提升圖像處理算法能效和可靠性的一種方法是將常規計算機視覺與光學預處理器結合起來。這種混合系統可以用最少的電子硬體工作。例如當混合神經網絡學習手寫數字的形狀時，它可以重建以前從未見過的阿拉伯或日語字符。」該論文還表明，將圖像縮小為更少的高強度像素能夠實現極弱光線條件下的圖像處理。
  • Advanced Photonics | 全新設計顯著提升光學神經網絡性能
    加州大學洛杉磯分校的研究人員們首先通過圖像分類和相干光成像的實驗檢驗[1]，證明了這一平臺的計算潛力。隨後，通過耦合光學神經網絡和常見的深度學習網絡模型提升了該平臺的性能[2]。近日，研究人員充分利用了光學計算的並行特徵，極大地提高了光學神經網絡分類的精確度，進一步縮小了光學神經網絡與先進卷積神經網絡之間的差距。
  • 光學預處理與計算機視覺結合,UCR學者用漩渦實現混合計算機視覺系統
    在本文中，來自加州大學河濱分校機械工程系的研究者通過應用光學漩渦證明了混合計算機視覺系統的可行性。該研究為光子學在構建通用的小腦混合神經網絡和開發用於大數據分析的實時硬體方面的作用提供了新見解。從醫學診斷到自動駕駛再到人臉識別，圖像分析在現代技術中無處不在。使用深度學習卷積神經網絡的計算機徹底改變了計算機視覺。
  • 運算更快,耗電更少!香港科技大學首創多層全光學人工神經網絡
    藉助光學實現並行計算研究人員近日表示，他們首創的多層全光學人工神經網絡已經有了很大突破，作為這一類神經網絡的最新成果，這是實現大規模光纖神經網絡的關鍵進展。通常，這種類型的神經網絡可以解決傳統計算方法無法解決的複雜問題，但是與此同時它也需要耗費大量運算時間和大量計算資源。
  • MIT研發光學深度神經網絡:幾乎不需能耗
    深度學習計算機系統是基於人工神經網絡（Artificial Neural Networks）模仿人腦學習方法的一種系統，現已成為計算機科學領域的熱門話題。雖然有很多人提倡使用光學計算機，但研究成果並不實用。這個團隊研究的光神經網絡系統能應用到很多程序上。傳統計算機的架構在處理某些重要神經網絡任務所需計算時並不是很有效。這樣的任務通常涉及重複的矩陣乘法，需要在CPU和GPU上進行密集的計算。經過多年研究，這個MIT提出了一種相反的方式執行這種操作。「一旦你調試好這個晶片，它就能運行矩陣乘法。
  • 了解CNN這一篇就夠了:卷積神經網絡技術及發展
    在不同類型的神經網絡當中，卷積神經網絡是得到最深入研究的。早期由於缺乏訓練數據和計算能力，要在不產生過擬合的情況下訓練高性能卷積神經網絡是很困難的。標記數據和近來GPU的發展，使得卷積神經網絡研究湧現並取得一流結果。本文中，我們將縱覽卷積神經網絡近來發展，同時介紹卷積神經網絡在視覺識別方面的一些應用。
  • Imagination 的神經網絡加速器在邊緣計算領域的應用
    的神經網絡加速器在邊緣計算領域的應用。 Imagination Technologie宣布加入DesignShare，讓系統設計人員能夠輕鬆地獲取其業界領先的PowerVR圖形處理器（GPU）和神經網絡加速器（Neural Network Accelerator，NNA）矽智慧財產權（IP）內核。
  • 人工智慧首次預測蛋白質「光學指紋」
    來源:科技日報科技日報合肥6月9日電 （記者吳長鋒）記者從中國科大獲悉，該校微尺度物質科學國家研究中心江俊教授與其合作者合作，通過利用人工智慧機器學習中的神經網絡技術，模擬了蛋白質肽鍵結構與性質之間的構效關係，大大降低了計算量，為預測蛋白質的光學特性提供了一種高效的工具
  • 顛覆傳統計算架構:光神經網絡硬體登上Nature
    光學曾被認為是一種潛在計算技術的基礎，但由於電子計算發展迅速，光學計算在這條賽道上跑得很吃力。然而，近幾年來，人們越來越關注計算的能源成本。因此，光學計算再次受到關注，因為它不僅可以降低能源需求，還可作為加速人工智慧算法（如深度神經網絡）的專用硬體。
  • Jay Guo教授InfoMat:利用高自由度神經網絡設計超平面光學濾波器
    利用亞波長尺度的周期性結構可以構建超材料或超平面，實現對材料本徵的光學特性（ε、μ）與光參量（振幅、相位、極化、軌道角動量等）的調控，因此具有很強的應用前景。在超結構的設計過程中，不同的空間圖形以及材料組分為設計者提供了很高的自由度，優化相關的參數是一項艱巨複雜的工作。在超結構的設計過程中，有兩個核心問題。