3D 列印造出人工神經網絡,UCLA團隊實現全光學機器學習

2020-12-05 DeepTech深科技

如果你想開發出一種超高速物體識別系統,比如檢測飛彈或者路上的正在跑的汽車的話,那只用一個連著數位相機的計算機是遠遠不夠的。

加州大學洛杉磯分校的電氣工程師 Aydogan Ozcan 希望改變這種情況,所以他的研究團隊同時使用了機器學習技術、光學工具和 3D 列印技術,開發出了可高速識別物體的識別系統。不像普通的計算機,這種系統不需要提供外接電源,只需要提供初始光源和一個簡單的探測器即可。

研究團隊首先提出了一種全光學的深度學習框架——衍射深度神經網絡(Diffractive Deep Neural Network,D2NN),該架構採用基於深度學習算法的無源衍射層(passive diffractive layers)設計,經誤差反向傳播法(error back-propagation method)訓練後,能夠以接近光速的高速處理能力,實現多種機器學習的複雜功能。團隊最後採用 3D 列印製造出了這種光學架構,實現了手寫數字和時尚產品的圖像分類。該成果已經發表於《Science》雜誌上。

圖丨論文:All-optical machine learning using diffractive deep neural networks(利用衍射深度神經網絡的全光機器學習)

「構建由光學元件堆疊成的固態人工神經網絡是一種非常有創新性的方法,」瑞士洛桑聯邦理工學院光學與電氣工程學院教授 Demetri Psaltis 表示。

蒙特婁大學研究機器學習和神經網絡的 Roland Memisevic 和 Yoshua Bengio 團隊的研究生 Olexa Bilaniuk 指出,這一成果新穎之處不在深度學習部分,而是光學工程部分和使用 3D 列印「人工神經網絡」的能力。「以前構建這樣一個光學網絡的工作要麼僅僅停留在理論上,要麼也只能構建一個又小有簡單的系統,」他補充道。

圖丨Aydogan Ozcan

Ozcan 團隊希望使用該系統來模仿各種動物的眼睛,這些動物的眼睛處理光線和圖像的方式與人眼不同。如果在光學顯微鏡中使用的是較短波長的光的話,這一系統也可以用於顯微鏡應用和醫學成像。

為了建立他們的物體識別系統,Ozcan 和他的同事們首先使用了深度學習的方法。目前深度學習常用於模式識別領域,給定音頻或視覺數據,計算機可以應用深度學習技術訓練學習識別特定的模式,然後,利用算法習得的某些規則,來對新數據進行預測。

在該研究中,研究人員訓練其光學網絡模型來識別不同的數據類型的數據,包括從 0 到 9 的手寫數字識別和各種服裝的圖像的識別。在每種情況下,計算機都創建了一個模型,該模型由多個像素層組成。每個像素都可以傳輸光,像素之間光的連接表示某一神經元與本層或相鄰層中的其他神經元的連接。

對於上述提到的兩種數據類別,研究人員使用五層 3D 列印塑料對仿真模型進行物理再現,然後使用雷射——一種 0.4 THz 的單色光而非可見光來處理每種類型的圖像。

3D 列印的多層神經網絡接收物體表面反射的光,光以光速經過神經網絡的固態結構傳播,從模型的出口射出的光射向探測器,預先標定探測器對應的物體或圖片的類別,可以間接判斷所識別的物體或圖片的分類結果。

列印得到的固態模型就像是「連接著的固態大腦,除此之外,光連接神經元,就好像信息在神經元之間流動一樣,」Ozcan 解釋說。

「這是一種非常高效的神經網絡實現,因為一旦被動衍射表面被 3D 列印出來,它們就不會使用任何電力,卻可以以光速處理模型的輸入,沒有任何延遲,」Bilaniuk 說。

研究人員正在努力提高訓練模型的性能。在手寫數字識別實驗中,他們的人工網絡在識別新的手寫數字時準確度約為 91.75%。他們還希望擴大列印的人工網絡的尺寸,目前論文中報導的尺寸為 8 cm×8 cm。「增加更多的層數,我們可以以更高準確率實現更複雜的任務,」Ozcan 表示。

對於 Psaltis 來說,這一工作提出所帶來的問題多於答案:這個系統可以變得更強大和穩定嗎?速度是否還可以提高?建模和 3D 列印的成本是多少?我們如何將這一系統與現有的數字設備結合起來?

根據 Bilaniuk 的說法,如果該系統可以適應常規光線,並能做到小型化,那麼潛在的應用可能是手機相機中的人臉識別和自動對焦,而且這種方案並不會像數字設備那樣消耗電池。

相關焦點

  • 3D列印出來的深度神經網絡,光速求解AI數學運算
    來自加州大學洛杉磯分校(UCLA)的研究人員利用 3D 列印技術列印出了固態的神經網絡,並且利用層級傳播的光衍射來執行計算,實現了手寫數字的圖像識別,相關成果已發表在《science》雜誌上。這一想法看似新奇,其實也很自然。神經網絡中執行的是線性運算,恰好和光衍射的線性相互作用對應,神經元的權重、激活值概念也能和光的振幅、相位對應(可調)。
  • 3D列印深度學習神經網絡用光子而不是電子進行計算
    對某些人來說,這可能看起來有點像用算盤替換計算機,但加州大學洛杉磯分校的研究人員對他們的古怪,閃亮,光速的人工神經網絡寄予厚望。Deep Learning是由Rina Dechter於1986年創造的,它是機器學習領域發展最快的方法之一,常用於面部,語音和音頻識別,語言處理,社交網絡過濾和醫學圖像分析以及更具體的解決方案。任務,例如解決逆成像問題。
  • 光學卷積神經網絡加速器:通過光學實現更強大的人工智慧
    為了在這種光學機器學習系統中實現突破,研究人員用基於數字鏡的技術取代了空間光調製器,從而開發出速度快百倍的系統。該處理器的非迭代時序,再加上快速的可編程性以及大規模並行化處理,使得這個光學機器學習系統的性能甚至超越頂尖的圖形處理單元一個數量級,而且在最初的原型機之外還有進一步優化的空間。
  • 光學卷積神經網絡加速器:通過光學實現更強大的人工智慧!
    這項創新利用了光的巨量並行性,預示著用於機器學習的光學信號處理新時代的到來,應用領域眾多,包括無人駕駛汽車、5G網絡、數據中心、生物醫學診斷、數據安全等。大規模並行的唯幅度傅立葉神經網絡(圖片來源:喬治·華盛頓大學)技術為了在這種光學機器學習系統中實現突破,研究人員用基於數字鏡的技術取代了空間光調製器,從而開發出速度快百倍的系統。
  • 前沿研究丨光學數位化全息技術——全光學機器學習展望
    中國工程院院刊《Engineering》刊發《光學數位化全息——全光學機器學習展望》一文指出,未來,光學數位化全息技術與人工智慧技術的結合將為基礎科學和全息實際應用帶來重大突破。光學數位化全息技術,即利用光學手段得到高解析度、大尺寸、成本更低的全息圖,利用3D雷射直寫技術加工各種光敏材料,可以實現計算全息圖的光學數位化。
  • 機器學習與人工智慧之六:人工神經網絡
    觀眾老爺這期講機器學習的神經網絡算法,本來小編想先介紹基於我們人類知識和規則的機器學習的,但想著打鐵要趁熱,上期我們將人類的視覺系統進行了建模,今天咱們了解一下機器學習的人工神經網絡算法,這樣能比對出機器與人的差異,也能深入理解人工智慧算法具體的實現和原理。
  • 機器學習算法盤點:人工神經網絡、深度學習
    機器學習算法盤點:人工神經網絡、深度學習 佚名 發表於 2016-08-01 16:26:33   機器學習無疑是當前數據分析領域的一個熱點內容。很多人在平時的工作中都或多或少會用到機器學習的算法。
  • Advanced Photonics | 全新設計顯著提升光學神經網絡性能
    深度衍射神經網絡是一種在人工設計的衍射表面上完成計算的光學機器學習平臺。它可通過最新深度學習算法進行全自動設計,隨後便能使用三維列印或掩模光刻等手段進行批量製造。隨後,通過耦合光學神經網絡和常見的深度學習網絡模型提升了該平臺的性能[2]。近日,研究人員充分利用了光學計算的並行特徵,極大地提高了光學神經網絡分類的精確度,進一步縮小了光學神經網絡與先進卷積神經網絡之間的差距。
  • 科技:人工神經網絡的進步
    這些重大新故事中的一些與人工神經網絡有關,人工智慧研究中的一個相對較新的現象正在推動從娛樂到醫學等許多領域的各種進步。人工神經網絡依賴於這樣的思想:技術可以使用對應於個體人類神經元和神經元組的小單元來模擬人類大腦的生物學工作,以基於輸入產生輸出。
  • 機器學習算法匯總:人工神經網絡、深度學習及其它
    算法類似性根據算法的功能和形式的類似性,我們可以把算法分類,比如說基於樹的算法,基於神經網絡的算法等等。當然,機器學習的範圍非常龐大,有些算法很難明確歸類到某一類。而對於有些分類來說,同一分類的算法可以針對不同類型的問題。這裡,我們儘量把常用的算法按照最容易理解的方式進行分類。
  • 高清圖解:神經網絡、機器學習、數據科學一網打盡|附PDF
    今天,新智元要為大家推薦一個超實用、顏值超高的神經網絡+機器學習+數據科學和Python的完全圖解,文末附有高清PDF版連結,支持下載、列印,推薦大家可以做成滑鼠墊、桌布,或者印成手冊等隨手攜帶,隨時翻看。
  • 極簡機器學習課程:使用Python構建和訓練一個完整的人工神經網絡
    而本文介紹的系列視頻,將帶領大家使用Python構建和訓練一個完整的人工神經網絡。1.數據+架構要想使用一種機器學習的方法,我們首先需要數據。機器學習中有大量的模型,本文訓練的是當前特別火的人工神經網絡。Ps:把數據放進模型之前,我們需要考慮數據單位間的差異。2.正向傳播上一節我們建立了神經網絡,這次我們將用Python程式語言來實現它。
  • 什麼是人工神經網絡(ANN)?
    人工神經網絡如何運作人工神經網絡的核心成分是人工神經元。每個神經元接收來自其他幾個神經元的輸入,將它們乘以分配的權重,將它們相加,然後將總和傳遞給一個或多個神經元。一些人工神經元可能在將輸出傳遞給下一個變量之前將激活函數應用於輸出。
  • 3D列印的超材料:具有新穎的光學特性!
    導讀近日,美國塔夫茨大學的工程師團隊開發出一系列3D列印的超材料,這些超材料具有獨特的微波或者光學特性。背景超材料(metamaterial),通常是指通過人工設計結構實現,具有天然材料無法具備的超常物理特性的複合材料。舉例來說,超材料可以操控光波、聲波、電磁波等,使它們改變通常的性質,這樣的效果是普通材料所無法實現的。
  • 香港科技大學首創多層全光學人工神經網絡
    然而,最近光纖神經網絡方面的新技術或許可以顯著拉近計算機與人腦的這一差距。藉助光學實現並行計算研究人員近日表示,他們首創的多層全光學人工神經網絡已經有了很大突破,作為這一類神經網絡的最新成果,這是實現大規模光纖神經網絡的關鍵進展。
  • MIT新突破:Nature Photonics揭秘新型光學深度神經網絡系統
    隨著以深度學習為代表的人工智慧技術的興起,人們也開始關注如何開發出能更有效、更高速地執行神經網絡運算的計算硬體。近日,麻省理工學院(MIT)的研究者在 Nature Photonics 上發表的一篇論文《Deep learning with coherent nanophotonic circuits》提出了一種使用光子技術實現神經網絡的方法,而且他們還已經對這一概念進行了實驗驗證。
  • 金融領域裡的機器學習算法介紹:人工神經網絡
    人工智慧的發展在很大程度上是由神經網絡、深度學習和強化學習推動的。這些複雜的算法可以解決高度複雜的機器學習任務,如圖像分類、人臉識別、語音識別和自然語言處理等。這些複雜任務一般是非線性的,同時包含著大量的特徵輸入。我們下面我們將分幾天的時間對這些算法及其在金融領域的應用進行闡述。
  • 光速執行AI運算,港科大雙層全光學神經網絡不要計算機也能做分類
    機器之心報導機器之心編輯部完全通過光學,不要計算機也能構建個神經網絡?港科大的研究團隊提出了一種全光學神經網絡,所有線性變換、激活函數通過光學模塊就能實現。uri=optica-6-9-1132這個複雜的東西就是一個兩層的全光學神經網絡,它和機器學習中的兩層全連接網絡有點「類似」。研究團隊成員之一 Junwei Liu 表示:「我們提出的全光學神經網絡能夠以光速執行光學並行計算,並且耗能極少。這種大規模的全光學神經網絡可應用於圖像識別以及科學研究等諸多領域。」
  • 清華大學錢鶴、吳華強團隊研製出人工樹突器件,實現新型神經網絡
    ,研製出一種具有豐富動態特性的人工樹突器件,構建了包含突觸、樹突、胞體三種基本計算單元的新型神經網絡,樹突功能顯著提升了網絡的準確率,同時大幅降低了系統的功耗,增強了網絡處理複雜任務的能力。當前的人工神經網絡大多將神經元用簡單的點模型表示,將其計算功能簡化成積分-發放(integrate-and-fire),而忽略了樹突的信息處理功能。這樣的簡化使得人工神經網絡在功耗、靈活性上與生物神經網絡相比仍存在很大的差距。
  • 中科院王曉龍團隊實現雙網絡水凝膠的3D列印
    中科院王曉龍團隊實現雙網絡水凝膠的3D列印 DeepTech深科技 發表於 2021-01-12 10:28:38   3D 列印技術的出現,讓不少繁複的製作工藝變得簡單