Advanced Photonics | 全新設計顯著提升光學神經網絡性能

2021-01-14 中國雷射

深度衍射神經網絡是一種在人工設計的衍射表面上完成計算的光學機器學習平臺。它可通過最新深度學習算法進行全自動設計，隨後便能使用三維列印或掩模光刻等手段進行批量製造。這種經算法設計的三維結構由若干光學透射或反射表面構成，並可依次作用於入射光，從而以光速完成機器學習的計算任務。此類架構不需要除照明光之外的能量，對於提高當今深度學習框架的運算速度，同時降低能量消耗有著顯著意義。與此同時，深度衍射神經網絡很可能為自動駕駛、安防等相關領域的相機設計帶來重大突破。

加州大學洛杉磯分校的研究人員們首先通過圖像分類和相干光成像的實驗檢驗[1]，證明了這一平臺的計算潛力。隨後，通過耦合光學神經網絡和常見的深度學習網絡模型提升了該平臺的性能[2]。

近日，研究人員充分利用了光學計算的並行特徵，極大地提高了光學神經網絡分類的精確度，進一步縮小了光學神經網絡與先進卷積神經網絡之間的差距。最新研究進展發表在Advanced Photonics 2019年第1卷第4期上(Jingxi Li, Deniz Mengu, Yi Luo, Yair Rivenson, Aydogan Ozcan. Class-specific differential detection in diffractive optical neural networks improves inference accuracy )。

該研究最重要的創新點在於使用了差分的測量方法：每一種類別的預測都由一對光電探測器測量值的差給出，從而將負值引入到光學探測器的測量值中。擁有最大歸一化差值的一對探測器所代表的類別即被預測為分類結果（例如飛機，汽車，船舶等）。除此之外，得益於光學計算的並行能力，入射光還可分成若干平行光路，從而使每一個差分光學神經網絡可以分解成若干負責特定類別識別的子網絡，且不引入新的電子計算負擔。這些新的設計方法將光學神經網絡的性能提升到了前所未有的高度。使用差分衍射光學神經網絡進行仿真訓練的結果顯示，其盲測準確率已經接近甚至超過一些早期深度神經網絡（如LeNet）的表現。儘管光學神經網絡的表現距離近期提出的一些神經網絡架構（例如殘差神經網絡ResNet）還有一定的差距，但值得注意的是，光學神經網絡擁有可達光速的計算速度、高度並行的運算能力、可擴展性以及超低的功耗性能比，這些優點都是數字神經網絡所望塵莫及的。該研究由加州大學洛杉磯分校（UCLA）電子與計算機工程系教授、加州納米系統研究院（CNSI）副主任Aydogan Ozcan主導。其他作者還包括研究生Jingxi Li， Deniz Mengu，Yi Luo和加州大學洛杉磯分校電子與計算機工程系兼職教授Yair Rivenson。Ozcan教授表示，這項成果體現了將光學應用於機器學習中所帶來的低能耗、低延遲的優勢。同時，差分光學衍射神經網絡的優勢可能推進下一代智能計算相機的設計進程。

該研究由科奇公司，美國國家科學基金委和美國霍華德休斯醫學研究所贊助。

參考文獻：

[1] All-Optical Machine Learning Using Diffractive Deep Neural Networks, ScienceDOI: 10.1126/science.aat8084 (2018).

[2] Analysis of Diffractive Optical Neural Networks and Their Integration with Electronic Neural Networks, IEEE Journal of Selected Topics in Quantum Electronics  DOI: 10.1109/JSTQE.2019.2921376  (2019).


推薦閱讀

Advanced Photonics | 混合介電聲子系統中的高Q諧振態

Advanced Photonics | 超表面材料讓三維成像技術更輕、更快、更小

Advanced Photonics | 玻色取樣：通往量子霸權的光學之路

Advanced Photonics | 深度神經網絡實現透過厚散射介質成像

如需轉載，請直接留言。

商務合作：高先生 13585639202（ 微信手機同號）

本文註明來源為其他媒體或網站的文/圖等稿件均為轉載，如涉及版權等問題，請作者在20個工作日之內來電或來函聯繫，我們將協調給予處理（按照法規支付稿費或刪除）。

最終解釋權歸《中國雷射》雜誌社所有。


相關焦點

  • MIT新突破:Nature Photonics揭秘新型光學深度神經網絡系統
    隨著以深度學習為代表的人工智慧技術的興起，人們也開始關注如何開發出能更有效、更高速地執行神經網絡運算的計算硬體。近日，麻省理工學院（MIT）的研究者在 Nature Photonics 上發表的一篇論文《Deep learning with coherent nanophotonic circuits》提出了一種使用光子技術實現神經網絡的方法，而且他們還已經對這一概念進行了實驗驗證。
  • Advanced Photonics | 各向異性材料中的鬼共振:無損介質中的負折射率和倏逝場增強
    Pendry教授對「超透鏡」的提議奇蹟般地開闢了一個全新的研究領域。從那時起，它發展成為超材料中涉及廣泛且發展迅速的領域。超透鏡「魔力」的關鍵在於它不僅可以聚焦傳播波，而且可以聚焦倏逝波，因為這時負折射率介質可以將倏逝波的快速衰減轉變為場的指數增長。然而，光學超材料固有的光吸收嚴重限制了場增強。
  • Jay Guo教授InfoMat:利用高自由度神經網絡設計超平面光學濾波器
    基於深度神經網絡的現代機器學習算法在凝聚態物理、粒子物理、蛋白質組織學等領域構建了從輸入參數到材料性質的映射關係，因此可以用於光學器件逆向設計的求解。為實現可見光波段的濾波器超平面設計，美國密西根大學的L.
  • 光學卷積神經網絡加速器:通過光學實現更強大的人工智慧
    近日，美國喬治·華盛頓大學和加州大學洛杉磯分校的研究人員與深度科技創業公司Optelligence LLC共同開發出一種光學卷積神經網絡加速器，每秒能夠處理拍字節（1拍字節=250位元組）級的大量信息。這項創新利用了光的巨量並行性，預示著用於機器學習的光學信號處理新時代的到來，應用領域眾多，包括無人駕駛汽車、5G網絡、數據中心、生物醫學診斷、數據安全等。
  • 光學卷積神經網絡加速器:通過光學實現更強大的人工智慧!
    創新近日，美國喬治·華盛頓大學和加州大學洛杉磯分校（UCLA）的研究人員與深度科技創業公司 Optelligence LLC 共同開發出一種光學卷積神經網絡加速器，每秒能夠處理拍字節（1拍字節=2^50位元組）級的大量信息。
  • NVIDIA發布GeForce RTX平臺遊戲顯卡,全新Turing架構性能提升6倍
    NVIDIA發布GeForce RTX平臺遊戲顯卡，全新Turing架構性能提升6倍NVIDIA 創始人兼執行長黃仁勳先生表示： 「Turing 開啟了遊戲行業又一個黃金時代，它為玩家奉上只有光線追蹤技術才能實現的高保真度，而此前大多數人認為仍需十年努力才可實現這一成果。
  • 日本研究人員開發出新型光子加速器,有助於提升運算速度與效率
    摩爾定律指出：「當價格不變時，集成電路上可容納的電晶體數目，約每隔18個月便會增加一倍，性能也將提升一倍。」摩爾定律-集成電路晶片上電晶體數量（1976-2016）（圖片來源：維基百科） 然而，這裡存在著一個固有的限制，這個限制基於處理器晶片的尺寸與電子的量子力學特性之間的關聯方式。
  • Galaxy S11,搭載的5倍光學變焦原理是?潛望鏡
    明年2月即將發布的三星電子Galaxy S11的相機設計結構預計會整體發生變化。根據13日業內消息，Galaxy S11上將搭載1億800萬像素的圖像傳感器，並且搭配5倍光學變焦等大幅度的更新。截止目前，主要的一些廠商的旗艦智慧型手機中，通常只有2倍光學變焦。高光學倍率上會使用潛望鏡方式。三星電子在歐洲專利局申請了潛望鏡形態的5倍光學變焦相機Space Zoom的專利。
  • 3D 列印造出人工神經網絡,UCLA團隊實現全光學機器學習
    研究團隊首先提出了一種全光學的深度學習框架——衍射深度神經網絡（Diffractive Deep Neural Network，D2NN），該架構採用基於深度學習算法的無源衍射層（passive diffractive layers）設計，經誤差反向傳播法（error back-propagation method）訓練後，能夠以接近光速的高速處理能力，實現多種機器學習的複雜功能
  • ISSCC 2019 | 清華大學團隊研製高能效通用神經網絡處理器晶片...
    該晶片在算法，架構和電路三方面進行了聯合優化，在變換域進行神經網絡加速，並使用可轉置存儲器復用數據，使得晶片的能效和面積相較於之前的研究都有顯著的提升。隨著 AI 技術的不斷發展，單一的網絡結構已經很難滿足不同領域的任務需求。常見的應用諸如圖像識別或機器翻譯分別需要卷積神經網絡或循環神經網絡的支持。而不同網絡意味不同的計算模式，在帶寬和計算資源上也會有各自的限制。
  • MIT研發光學深度神經網絡:幾乎不需能耗
    深度學習計算機系統是基於人工神經網絡（Artificial Neural Networks）模仿人腦學習方法的一種系統，現已成為計算機科學領域的熱門話題。雖然有很多人提倡使用光學計算機，但研究成果並不實用。這個團隊研究的光神經網絡系統能應用到很多程序上。傳統計算機的架構在處理某些重要神經網絡任務所需計算時並不是很有效。這樣的任務通常涉及重複的矩陣乘法，需要在CPU和GPU上進行密集的計算。經過多年研究，這個MIT提出了一種相反的方式執行這種操作。「一旦你調試好這個晶片，它就能運行矩陣乘法。
  • 信息保留的二值神經網絡IR-Net,落地性能和實用性俱佳|CVPR 2020
    導語：在CVPR 2020上，商湯研究院連結與編譯組和北京航空航天大學劉祥龍老師團隊提出了一種旨在優化前後向傳播中信息流的實用、高效的網絡二值化新算法IR-Net。不同於以往二值神經網絡大多關注量化誤差方面，本文首次從統一信息的角度研究了二值網絡的前向和後向傳播過程，為網絡二值化機制的研究提供了全新視角。
  • 慕尼黑上海光博會:感受尖端科技,探尋雷射光學解決方案
    大會旗下將包括：第七屆國際應用雷射技術中國研討會（LPC 2012） -- 與雷射與光學應用太平洋國際會議（PICALO）合作舉辦、第七屆全國雷射技術與光電子學學術會議暨「2011中國光學重要成果及優秀產品」發布會、OSA 能源光子論壇、OIDA 光通信技術研討會四大會議，詳情請關注大會網站 www.photonics-congress-china.cn。
  • 顛覆傳統計算架構:光神經網絡硬體登上Nature
    眾所周知，深度神經網絡在計算精度低時也能表現良好。因此，這些網絡為非傳統計算技術提供了一個很好的機遇。例如，研究人員正在探索基於非易失性存儲設備的深度神經網絡加速器。這類設備在切斷電源時也能保存信息，同時通過模擬電子計算能夠提升深度神經網絡的速度和能源效率。那麼，為什麼不考慮利用光學呢？
  • 圖神經網絡越深,表現就一定越好嗎?
    雖然這些方法可以訓練出具有數十層深度圖神經網絡（這是一項壯舉，並非不可能實現），但卻沒有產生令人滿意的效果。更糟糕的是，使用深度結構體系通常會導致性能的倒退。下表顯示了一個典型的實驗評估結果，比較了node-wise分類任務上不同深度的圖神經網絡的表現。
  • 神經網絡預測編碼器的設計及應用
    如圖1所示，該BP網絡具有一個輸入層，兩個隱含層(也稱中間層)和一個輸出層組成，各層之間實行全連接。BP神經網絡的隱含層通常具有多個，其傳輸函數常常採用sigmoid函數，而輸入輸出層則採用線性傳輸函數。
  • 片上光學頻率梳:可產生光子微波,應用於衛星通信和5G網絡!
    這些微波信號及其光學載波，可用於雷達、衛星通信和未來的5G無線網絡。隨著物聯網、車聯網等新科技不斷發展，如今加入無線通信網絡的手機、汽車等各種物品變得越來越多。據估計，到2025年，約750億個物聯網設備將影響著我們生活的方方面面。
  • 神經擬態計算如何提升性能？
    談量子計算商用：需要至少數百萬個量子位，面臨4大挑戰量子計算是用量子比特相互糾纏實現性能的指數級提升，可以實現並行的大量計算。這也讓量子計算可以解決很多經典計算機難以解決的問題，例如開發加速製藥研發、設計新型材料等。
  • 神經擬態計算如何提升性能?
    談量子計算商用：需要至少數百萬個量子位，面臨4大挑戰量子計算是用量子比特相互糾纏實現性能的指數級提升，可以實現並行的大量計算。這也讓量子計算可以解決很多經典計算機難以解決的問題，例如開發加速製藥研發、設計新型材料等。
  • 用於英文字母識別的三種人工神經網絡的設計
    人工神經網絡已經被廣泛應用於模式識別、信號處理、專家系統、優化組合、智能控制等各個方面，其中採用人工神經網絡進行模式識別具有一些傳統技術所沒有的優點:良好的容錯能力[2j、分類能力、並行處理能力和自學習能力，並且其運行速度快，自適應性能好，具有較高的解析度。單層感知器、BP網絡和霍普菲爾德網絡均可以用於字符識別。