光速執行AI運算,港科大雙層全光學神經網絡不要計算機也能做分類

2020-12-05 機器之心Pro

機器之心報導

機器之心編輯部

完全通過光學，不要計算機也能構建個神經網絡？港科大的研究團隊提出了一種全光學神經網絡，所有線性變換、激活函數通過光學模塊就能實現。

圖源：鵬城實驗室 Olivia Wang

在處理模式識別、風險管理以及其他同樣複雜的任務時，最強大的計算機都無法與人腦匹敵。但是，近來光學神經網絡取得的進展通過模擬人腦中神經元的反應方式縮小了計算機與人腦之間的差距。這種光學神經網絡比 ML 中的網絡能耗更低、運算更快，是未來大規模應用 AI 的堅實基礎。

近日，來自香港科技大學的研究團隊在《Optica》雜誌上發表了一篇論文，詳細描述了他們提出的雙層全光學神經網絡。這是一個功能完善的全光學神經網絡（AONN），其中所使用的線性函數和非線性激活函數都是完全根據光學實現的。而且這種全光學神經網絡還能擴展到更加複雜的神經網絡架構，從而完成圖像識別等更複雜的任務。

論文連結：https://www.osapublishing.org/optica/abstract.cfm?uri=optica-6-9-1132

這個複雜的東西就是一個兩層的全光學神經網絡，它和機器學習中的兩層全連接網絡有點「類似」。

研究團隊成員之一 Junwei Liu 表示：「我們提出的全光學神經網絡能夠以光速執行光學並行計算，並且耗能極少。這種大規模的全光學神經網絡可應用於圖像識別以及科學研究等諸多領域。」

港科大的全光學神經網絡是什麼

在傳統混合光學的神經網絡中，光學組件通常用於線性運算，而非線性激活函數通常使用電子的方式實現。這主要因為非線性光學元器件需要高功率的雷射器，這在光學神經網絡中是很難實現的。

為了克服這方面的問題，研究者使用具有電磁感應透明度的冷原子實現非線性函數。研究團隊的 Shengwang Du 說：「這種光感應效應可以通過非常小功率的雷射器實現，且該效應是基於非線性量子幹涉的。因此這種效應可以將我們的系統擴展到量子神經網絡，從而解決經典方法難以解決的問題。」

為了確認新方法的能力與可行性，研究者構建了一個雙層全連接全光學神經網絡，它的輸入單元與輸出單元數目分別是 16 與 2。研究者使用他們的全光學網絡分類 Ising 模型（一種磁場的統計學模型），即 order 和 disorder 階段兩個類別。結果表明，全光學神經網絡與一般基於計算機的神經網絡一樣準確。

圖 1：全連接網絡的結構與全光學神經網絡的一般結構。

如上 a 為機器學習中常見的全連接網絡，b 則是香港科技大學研究者提出的全光學神經網絡（AONN），它們都會進行非線性變換。與一般的 ONN 不同，AONN 沒有複雜的電場神經元，AONN 所有的信都通過光學的方式進行編碼。

非線性光學激活函數

這篇論文核心的突破就是採用了基於光學的非線性激活函數，因此整個網絡才能稱為「全」光學神經網絡。那麼什麼是非線性光學激活函數？簡單而言，它就是一種基於電磁感應透明的模塊（electromagnetically induced transparency, EIT）完成的，我們只要知道 EIT 是一種原子躍遷之間的光量子幹涉效應就行了。

EIT 非線性光學激活函數由雷射冷卻的 85Rb 原子在 dark-line 二維磁光阱（MOT）中實現，如下圖 3(a) 所示。圖 3(b) 所示為原子能級，原子在基態|1>中製備。

在沒有耦合光束的情況下，原子介質對共振探測光束是不透明的，它如圖 3(c) 透射光譜中的實現所示最大程度地被原子吸收。

圖 3：EIT 非線性光學激活函數的實現。

對「光學神經網絡」的不懈追求

當然，香港科技大學的這個全光學神經網絡並非研究者在該領域的唯一探索。今年 5 月份，在《Nature》的一篇論文中，德國的研究人員提出了一種在毫米級光子晶片上實現的、基於相變非線性材料的全光學脈衝神經網絡。該網絡內部沒有光到電的轉換，輸入的數據被電子調製成不同的波長以注入網絡，但之後所有數據都會停留在晶片上。利用集成相變材料來實現權重調製和神經元集成；它們位於兩種微環諧振器上，具有突觸或神經功能。

在不同工作波長情況下注入的未調製光接收到在相變材料中累積的神經元激活，之後將它們傳遞到網絡下一層。即使沒有晶片上光學增益（在這個過程中，一種介質將能量傳遞給通過它傳輸的光），這個設置也可能擴展至更大的網絡。作者在其上實現了小規模的監督學習和無監督學習。

利用上述全光學神經元進行監督學習和無監督學習。a 和 b 表示兩個神經元在不同輸入模式下的輸出；C：全光學神經元的無監督學習機制；d：重複顯示「0110」模式時四個突觸的權重隨時間的變化。

香港科技大學的研究者在論文中也提到了這項研究，但他們指出，這兩項研究存在根本差別。首先，德國這項研究中的系統是單層的，而本文中提出的是一個 16 個輸入、2 個輸出的雙層全光學神經網絡，還帶有 4 個具有非線性光學激活函數的中間神經元。而且，港科大的研究者利用 EIT 量子幹涉實現了非線性光學激活函數，這與那項研究的方法完全不同。

除了上述全光學神經網絡，還有研究者嘗試從局部入手，把神經網絡的一部分替換為光學卷積層。

去年 8 月，史丹福大學在《Nature》子刊《Scientific Reports》上發表論文，提出在 CNN 網絡前端替換一個光學卷積層（opt-conv）的方案，可以在保持網絡性能的同時顯著降低能耗，並在 CIFAR-10 數據集的分類任務上驗證了其結論。

光學卷積層也就是用光學器件實現的卷積層，其光學運算具備高帶寬、高互聯和並行處理特性，並能光速執行運算，功耗接近於零。該技術有望在低功耗機器學習領域得到進一步發掘。

光學卷積層設計。（a）4f 系統圖，可以通過在傅立葉平面上放置相位掩模來實現光學卷積層（opt-conv）。（b）數字卷積層的標準組成，包括輸入圖像、卷積核堆棧和相應的輸出量。（c）opt-conv 層中的等效組成，核和輸出以二維數組的形式平鋪在平面，而不是堆疊在深度維數中。

此外，為了實現光速運算，加州大學洛杉磯分校（UCLA）的研究者甚至用 3D 列印打造出了固態的神經網絡。該網絡利用層級傳播的光衍射來執行計算，實現了手寫數字的圖像識別，相關成果已發表在《science》雜誌上。

這一想法看似新奇，其實也很自然。神經網絡中執行的線性運算，恰好和光衍射的線性相互作用對應，神經元的權重、激活值概念也能和光的振幅、相位對應（可調）。此外，固態光衍射計算還具有能耗小、無發熱、光速執行（儘管傳統計算機電路中的電場傳播也是光速的，但並未直接對應神經網絡的計算過程）等優點。

當然，也有人對此提出質疑，認為這種固態的神經網絡對安裝精度和環境震動要求比較嚴格，可行性有待考證。

更複雜的光學神經網絡

最後，研究者還計劃擴展全光學的這種方法，從而構建具有複雜架構的大規模全光學深度神經網絡，這些網絡能用於更複雜的圖像識別等任務。該論文的作者說：「儘管我們的工作是概念性驗證，但它展示了全光學神經網絡在未來人工智慧中的可能性。下一代的 AI 硬體在本質上應該更快、更低能耗，從而高效支持複雜的 AI 應用。」

參考連結：

https://phys.org/news/2019-08-all-optical-neural-network-deep.html

https://spectrum.ieee.org/tech-talk/semiconductors/optoelectronics/ai-at-speed-of-light

相關焦點

  • 運算更快,耗電更少!香港科技大學首創多層全光學人工神經網絡
    因此，人們都希望能夠開發出更加實用的光學人工神經網絡，也就是比基於傳統算法的人工神經網絡運算更快且耗電更少。在光學學會的研究期刊Optica中，來自香港科技大學的研究人員詳細介紹了他們的雙層全光學神經網絡，以及他們是如何成功將其應用於複雜的分類任務。
  • 3D列印出來的深度神經網絡,光速求解AI數學運算
    大腦中神經元之間的信號傳播速度大約是 100 米每秒，而光的傳播速度是 30 萬千米每秒，如果神經元信號也是光速傳播的呢？來自加州大學洛杉磯分校（UCLA）的研究人員利用 3D 列印技術列印出了固態的神經網絡，並且利用層級傳播的光衍射來執行計算，實現了手寫數字的圖像識別，相關成果已發表在《science》雜誌上。這一想法看似新奇，其實也很自然。
  • 3D列印深度學習神經網絡用光子而不是電子進行計算
    加州大學洛杉磯分校的研究人員創造了一個獨特的全光學平臺，以光速執行機器學習任務。這是一個新穎的想法，使用光線通過多個板而不是電子衍射。對某些人來說，這可能看起來有點像用算盤替換計算機，但加州大學洛杉磯分校的研究人員對他們的古怪，閃亮，光速的人工神經網絡寄予厚望。
  • 模塊化免疫神經網絡模型在計算機病毒分類檢測中的
    計算機病毒分類檢測，指將可疑文件作為輸入，執行某病毒檢測算法後輸出結果(無毒、帶毒／帶何種毒)的過程，實質上是對文件的分類。病毒分類檢測應屬於模式識別範疇。由於單一的技術無法有效地對抗計算機病毒，技術的融合併用及智能化，將是未來計算機病毒檢測的趨勢。
  • 用光速實現深度學習,跟GPU說再見
    研究人員使用 THz 級頻率的光穿透 3D 列印的網絡層。每一層網絡由數萬個像素組成，光可以通過這些像素傳播。研究人員為每類的目標分配像素，來自目標的光被衍射到已分配給該目標類型的像素上。這樣，衍射深度神經網絡就能夠識別目標，其耗時與計算機 「看到」 目標所花費的時間相仿。
  • 港科大3D人工眼球問世，未來我們能看到多遠？
    ②神經網絡學習在寒武紀大爆發後，不知為何生命突然進化出了神經細胞，這一信息高效交流模式相比應激反應不知先進高效了多少倍，其通過獨特排列方式的神經突觸瞬間傳輸電脈衝信號並整合運算（猶如量子計算機式的並行運算）的機制讓我們產生了對信息獨特的理解與反饋方式，至此生命由自然演化優勝劣汰（死亡）的形式邁入神經網絡學習的時代。.
  • 顛覆傳統計算架構:光神經網絡硬體登上Nature
    深度神經網絡包含很多層人工神經元和人工突觸，它們是神經元之間的連接。這些連接的強度被稱為權重，它們可以是正的，表示神經元被激活；也可以是負的，表示神經元抑制。深度神經網絡通過改變其突觸權重來學習執行圖像識別等任務，從而最小化實際輸出與預期輸出之間的差距。CPU 和其他數字硬體加速器通常用於深度神經網絡計算。
  • MIT新突破:Nature Photonics揭秘新型光學深度神經網絡系統
    隨著以深度學習為代表的人工智慧技術的興起，人們也開始關注如何開發出能更有效、更高速地執行神經網絡運算的計算硬體。近日，麻省理工學院（MIT）的研究者在 Nature Photonics 上發表的一篇論文《Deep learning with coherent nanophotonic circuits》提出了一種使用光子技術實現神經網絡的方法，而且他們還已經對這一概念進行了實驗驗證。
  • 3D 列印造出人工神經網絡,UCLA團隊實現全光學機器學習
    研究團隊首先提出了一種全光學的深度學習框架——衍射深度神經網絡（Diffractive Deep Neural Network，D2NN），該架構採用基於深度學習算法的無源衍射層（passive diffractive layers）設計，經誤差反向傳播法（error back-propagation method）訓練後，能夠以接近光速的高速處理能力，實現多種機器學習的複雜功能
  • 光信號和光子計算機
    光子計算機是一種由光子信號進行信息處理、信息存儲、邏輯操作和數字運算的新型計算機。集成光路是光子計算機的基本構成部件，包括核鏡、透鏡和雷射器。光子計算機和傳統計算機相比較，有以下幾點好處：(1)光計算機的光子互聯晶片集成密度更高。
  • 谷歌AutoML新進展,進化算法加持,僅用數學運算自動找出ML算法
    AutoML-Zero 旨在通過從空程序或隨機程序開始，僅使用基礎數學運算，來自動發現能夠解決機器學習任務的電腦程式。其目標是同時搜索 ML 算法的所有屬性，包括模型結構和學習策略，同時將人類偏見最小化。近來，機器學習（ML）取得了顯著的成功，這要歸功於深度神經網絡等 ML 算法。
  • 科大訊飛:希望有新的專門針對於神經網絡的計算架構改進
    背後的概念就是在特定領域上，做一些類似於強人工智慧的模式，但是我們究竟基於神經網絡做出來的東西，最終是不是強人工智慧，現在業界還不好說。目標非常遠，難度相應就會大，所以不可能做到真正像人一樣，說超腦就跟人腦一樣，實際上我們會約束它在一個特定領域上，在一個很窄的領域上，可能在某個特定領域上能達到一般人的智能，甚至超過人的水平，這是我們目標的設定，當然中間有一步步的步驟分解去做。
  • 科大訊飛:基於中斷循環神經網絡的文本分類
    ACL 2018基於中斷循環神經網絡的文本分類Disconnected Recurrent Neural Networks forText Categorization科大訊飛北京研究院HFL實驗室IFLYTEK CO.
  • 科學家開發基於光的並行卷積神經網絡有望徹底「變革」AI硬體
    在各種類型的 AI 系統中，人工神經網絡由於優異的性能而被廣泛應用於 AI 任務，這些網絡使用多層相互連接的人工神經網絡進行複雜的數學運算。為了加速人工神經網絡的處理，人們已經做出了各種努力來設計和實現特定的電子計算系統。特別值得一提的是，人們在專用集成電路、大腦靈感計算和內存計算等定製晶片的應用上，已經取得了相當大的成功，這些晶片通過一系列稱為憶阻器的內存設備直接進行處理。
  • Advanced Photonics | 全新設計顯著提升光學神經網絡性能
    深度衍射神經網絡是一種在人工設計的衍射表面上完成計算的光學機器學習平臺。它可通過最新深度學習算法進行全自動設計，隨後便能使用三維列印或掩模光刻等手段進行批量製造。這種經算法設計的三維結構由若干光學透射或反射表面構成，並可依次作用於入射光，從而以光速完成機器學習的計算任務。此類架構不需要除照明光之外的能量，對於提高當今深度學習框架的運算速度，同時降低能量消耗有著顯著意義。與此同時，深度衍射神經網絡很可能為自動駕駛、安防等相關領域的相機設計帶來重大突破。
  • Nature重磅:用「光」加速AI,基於光的並行卷積神經網絡有望徹底...
    在各種類型的 AI 系統中，人工神經網絡由於優異的性能而被廣泛應用於 AI 任務，這些網絡使用多層相互連接的人工神經網絡進行複雜的數學運算。 為了加速人工神經網絡的處理，人們已經做出了各種努力來設計和實現特定的電子計算系統。
  • 單個半導體器件也能計算XOR,組合後還能做AI圖像分類
    生物學家們發現，人類的單個神經元也可以進行異或（XOR）運算，效率遠高於我們現在的人工神經網絡（ANN）。ANN要實現一個異或運算，至少需要2層神經網絡。現在，來自荷蘭特溫特大學一篇登上Nature的論文，再次打破我們的認知。他們發明了一種新的矽半導體器件，利用量子力學的隧道效應，可以在單個器件上進行任意邏輯運算，當然也包括異或。
  • 港科夜聞|香港科大牽頭研究量子晶片低耗電提升運算,獲國家撥2千萬港元開發
    1、香港科大牽頭研究量子晶片低耗電提升運算，獲國家撥2千萬港元開發。近年多國致力開發量子技術應用，香港科大自去年12月，牽頭展開「量子調控與量子信息」國家重點研發計劃下的一項專項研究，利用現存的二維物料，開發低耗電的量子計算機晶片器件，以提升量子計算機的運算能力等，為本港首項獲國家科技部直接資助的量子研究項目，獲批經費1,758萬元人民幣（約2,100萬港元）。有參與研究的本港學者指這次是少有兩地科學家合作研究的量子研究項目，意義重大。
  • 人工神經網絡與腦控計算機是什麼?
    全世界第1臺計算機誕生於1889年，當時的計算機非常落後，只是用來儲存一些計算的資料，而隨著計算機慢慢發展，它又多了一個新的外號，這個外號就是電腦。電腦=電+腦，前半部分是指電流電子，後半部分是指人類大腦，由此可見，人們認為，最能夠形象的表達計算機的一個形容詞，就是人類的大腦，計算機通過內部大量的一些微晶片儀器，然後通過電流來進行將它們聯繫起來互動，而運作的過程其實跟人類大腦的運行方式高度相似。
  • 斯坦福學者造出機器鴿;港科大等提出學生情緒分析新系統
    本周既有港科大、哈工程等機構提出的觀察課堂學生情緒變化、注意力集中程度的 EmotionCues 系統，也有斯坦福學者製作的半生物半機械羽毛翅膀的「鴿子機器人」。