從圖像處理到語音識別，再到人工智慧和深度學習應用，人腦計算的軟體實現構成了許多重要計算任務的基礎。然而，與真實的神經組織不同的是，傳統的計算架構將存儲和處理的核心計算功能物理地分離開來，使得快速、高效、低能耗的計算難以實現。為了克服這些限制，一個有吸引力的替代方案是設計模擬神經元和突觸的硬體。當這些硬體連接到網絡或神經形態系統時，它們處理信息的方式更類似於大腦。在這裡，我們提出了一個全光學版本的神經突觸系統，能夠監督和非監督學習。利用波分復用技術實現了一種可擴展的光子神經網絡電路結構，成功地在光學領域實現了模式識別。這種光子神經突觸網絡有望獲得光學系統固有的高速和高帶寬，從而能夠直接處理光學通信和視覺數據。
在我們的日常生活中，人工神經網絡已經被廣泛使用，例如，用於執行面部和語音識別等任務，這些任務經常在我們的行動電話上執行。在更複雜的應用中，如醫療診斷和自動駕駛，高速數據分析將變得越來越重要。然而，由於速度和能量效率低下，使用傳統計算技術來滿足快速高效處理的需求是有問題的。傳統的計算機是按照馮·諾伊曼的架構建造的，有兩個獨立的單元分別用於內存和處理器，它們以順序的方式運行，一次一個命令。
與大腦的大規模並行信號處理相比，在基於馮·諾依曼架構的計算機上用軟體模擬神經網絡，並受到內存和處理器之間數據傳輸的限制，其效率是很低的，這是顯而易見的。神經形態計算的更激進的方法是，通過開發生物大腦的基本構件(即神經元和突觸)的硬體模擬，並將它們組合成適當規模的網絡和陣列，從而克服使用傳統計算機進行類似大腦處理的局限性。例如，這種方法可以使直接在晶片上並行地高效處理和分析數據成為可能，從而在諸如行動裝置和所謂的「邊緣計算」應用程式等電力關鍵情況下獲得廣泛的實用價值。
最近，在電氣領域提出了許多不同的實現人工智慧硬體(即神經形態)實現的概念，但光學方法還處於初級階段。然而，一種非常有前途的光子神經形態計算方法是基於相變材料(PCMs)和器件，因為它們已經被證明具有內在的能力，能夠在硬體上提供神經元的基本集成和激發功能以及synapses的塑性加權操作。一個完全光學的、集成的、可擴展的神經形態框架，用於使用PCMs實現spiking神經網絡——據我們所知——還沒有被證明。
在此，我們提出並製作了一個集成了全光突觸的全光尖峰神經元電路，並證明該系統能夠完成模式識別的典型人工智慧任務。此外，系統中的訓練和學習同時以監督和非監督兩種方式進行，這兩種方式都有廣泛的應用，但依賴於不同的學習規則。在第一種情況下，如果訓練集有一對已知的輸入和輸出，就可以應用監督學習規則，例如著名的反向傳播算法。第二種情況需要無監督學習，這意味著網絡可以自行適應特定的重複特徵和模式，而這些特徵和模式在此之前是未知的。
我們設計了一個可擴展的、分層的架構，基于波分復用(WDM)來實現這樣一個複雜的集成光子系統，提出了一個由4個神經元和60個突觸(總共140個光學元件)組成的光子神經網絡，能夠成功地識別呈現給它的字母。通過在納米光子晶片上實現一個全光尖峰神經網絡，我們向光學神經形態系統邁出了一步，這將得益於在光學領域完全運行所帶來的高帶寬和快速信號特性。
一個人造神經元的光子實現
圖1a, b所示為我們的光尖峰神經元電路的草圖，其中也包含了全光突觸，顯示了它是如何集成到一個納米光子平臺上的，N個輸入(突觸前)神經元，1個輸出(突觸後)神經元和N個相互連接的突觸。突觸前神經元與突觸後神經元之間的每一個連接都有一定的權值wi。在圖1a的結構中，來自突觸前神經元的光脈衝從左側進入連接的突觸，進而進入突觸後神經元本身。的突觸建立光學波導(見圖1 b)和加權實現通過PCM細胞細胞(這裡有一個面積3.6μm2和顯示為紅色的方塊)集成波導的頂部，可以修改傳播光以一種受控制的方式。pcm經常用於可重寫的光碟技術，如藍光光碟，並且在matter24的非晶態和晶態(相)之間的光吸收方面表現出很大的反差。
PCM細胞處於無定形狀態，突觸波導具有高度的透射性，代表了兩個神經元之間的強連接。然而，在晶體狀態，大部分的光被吸收，導致弱連接。將輸入脈衝加權後，使用波分復用(WDM)27,28將它們組合成單個波導，並引導到(輸出)尖峰神經元電路。它由一個環形諧振器和它自己集成的PCM單元組成，可以通過輸入的組合脈衝(在晶體和非晶狀態之間)進行切換。神經元PCM細胞的切換反過來又改變了環的光共振條件及其傳播損耗。
當神經元PCM細胞處於結晶狀態時，合適的探頭脈衝沿「輸出」波導耦合強地發送到環形諧振腔，因此不會觀察到輸出脈衝(spike)。然而，如果來自突觸前神經元的加權輸入脈衝的瞬時綜合功率足夠高，可以切換神經元PCM細胞以其無定形狀態，探針脈衝不再與環發生共振，並將通過環傳遞，從而生成輸出神經尖峰。因為PCM細胞的切換隻發生在一定的閾值功率之上，所以當輸入功率的加權和超過這個閾值時，神經元才會產生輸出脈衝(spike)。因此，該系統自然地模擬了生物神經元的基本集成和發射功能，其區別在於，人造神經元在固定的時間內通過光功率進行集成，而生物神經元則在一段時間內對傳入脈衝進行集成。這個人造神經元，如圖1c所示的光子電路形式，是適合神經突觸系統可擴展實現的分層光子網絡(如下所述)中的一個構件。
到目前為止所描述的神經突觸系統提供了監督學習任務所需的基本結構，其中輸入的權重由外部主管設定。然而，為了也能夠進行無監督學習，我們添加了一個反饋波導，將神經元的部分輸出脈衝導回突觸PCM細胞。通過這種方式(如下文更詳細的描述)，所有導致特定輸出峰值的輸入之間的連接將會增強，而那些沒有貢獻的連接將會減弱——或者，用Hebbian的術語來說，就是「激活的神經元」
圖1d顯示了實際實現的光學顯微圖(×3)單神經元神經突觸系統，經電子束光刻在一個由一層氮化矽和一層氧化矽組成的平臺上。幾個輸入波導每個與突觸PCM細胞在頂部(用紅色橢圓表示)是饋給上層波導使用小環諧振器作為一個簡單的多路復用設備(環形諧振器有四個不同的半徑從線性增加40μm 55μm,光學品質因數(Q值)的價值1萬，插入損耗1.5 dB。這上波導然後導致光神經(大)環諧振器(半徑60μm)有自己的集成PCM細胞(面積9μm2)。發送到位於神經元環形諧振器下方的波導的探針脈衝可以與之耦合，也可以產生輸出脈衝，這取決於神經元PCM細胞是處於結晶狀態還是非晶狀態，如前所述。光通過光柵耦合器耦合在晶片上和晶片外，光柵耦合器在測量裝置中提供對多個光纖的訪問。
單神經元器件的光學性能
圖2a詳細顯示了單個神經元的光子信號處理和光學操作。每個輸入脈衝發送在不同波長λi和第一個部分吸收有關突觸PCM(加權)的細胞。加權後，單個輸入波導與一個多路復用器組合成單個波導，將輸入功率相加。如果這個能量足夠高，可以切換神經元大環形諧振器的PCM細胞(見圖2b)，產生一個輸出峰值，在無監督學習的情況下，利用反饋迴路調整突觸權重。在圖2b中，可以看到用於傳遞脈衝神經元功能的環形諧振器的更詳細的掃描電子顯微圖。使用神經元PCM細胞為了調節諧振條件，在專門為低光損耗設計的波導道口上沉積了30 (0.23 dB)。第二個波導交叉(沒有PCM單元)僅用於測試目的，並允許偏置輸入。
為了表徵我們的神經元電路的積分-激髮型響應(或激活函數)，我們通過交叉波導將不同能量的脈衝發送到神經元PCM細胞後，獲得了多個諧振器的透射光譜(圖2c;見的方法)。通過繪製不同激勵脈衝後環形諧振器的傳輸與固定波長下的脈衝能量的關係，得到如圖2d所示的激活函數。根據選擇的波長，可以調整輸出函數的對比度和最大傳輸電平。
可以清楚地看到，只有在最大脈衝能量的60%的閾值能量以上才能產生大量的輸出。這種非線性響應類似於經過校正的線性單元(ReLU)函數，對神經激活函數至關重要，因為它將複雜的輸入數據投射到更高的維度，使輸出神經元能夠進行線性分離
監督和無監督學習
實現了一個全光尖峰神經元，並進行了監督學習實驗。在這種情況下，網絡的突觸權值由外部管理器設置(例如，在基於軟體的人工神經網絡中使用反向傳播算法)。這裡，一組由輸入模式對和預期輸出對組成的訓練數據被顯示給網絡。根據預期輸出和實際輸出之間的偏差，在a中調整突觸權值優化過程，直到解決方案是最好的近似和網絡訓練。
所使用的實驗神經網絡由兩個單一的神經突觸系統(如圖1d所示)組成，每個神經突觸系統由四個輸入(突觸前)神經元連接到一個輸出(突觸後)神經元由四個PCM突觸組成。第一個神經元的權重被設置為「1010」模式，意味著第一個和第三個神經元PCM突觸處於高傳遞狀態(主要貢獻活化能)，第二和第四突觸處於低傳遞狀態(較少貢獻活化能)。第二個神經元以同樣的方式被訓練。
在圖3a、b中，突觸後神經元的輸出被描繪成輸入模式的函數。可以清楚地看到，在這兩種情況下(即對於兩種輸入模式)，神經元都得到了成功的訓練，而且從神經元的輸出中很容易確定哪種模式呈現給了網絡。利用同一組輸入神經元上的兩個輸出神經元，我們的全光神經形態系統已經可以解決簡單的圖像識別任務。通過增加的數量輸入每個神經元和神經元的數量，可以處理更複雜的圖像和更困難的任務，比如字母(或數字)識別或語言識別可以使用相同的基本解決方法，如下我們展示(在字母識別實驗，模擬數字識別和語言識別)。
我們已經舉了一個監督學習的例子。這種學習技術適用於許多任務，但存在輸入模式和期望輸出元組的訓練集的局限性必須存在。如果輸出是未知的，例如，如果必須在數據流中發現未知的重複模式，那麼監督學習是不適用的，非監督學習過程是必要的。在無監督方法中，網絡自動更新其權重，並以這種方式適應特定的模式，而不需要外部監控器。
為此，需要定義更新規則。無監督學習中一個常見的概念是依賴於尖峰時間的可塑性。在這裡，輸出峰值後突觸重量的變化取決於神經元的輸入和輸出峰值之間的相對時間(突觸前和突觸後神經元觸發的時間差異)。如果一個輸入信號剛好在輸出峰值產生之前到達，那麼這個輸入信號很可能已經達到了觸發閾值，相應的權重將會增加。如果輸入脈衝在輸出脈衝之後到達，突觸的重量就會減少。增強的量(體重增加)或下降(體重減少)是輸入和輸出峰值之間的時間差的函數。
在我們的全光神經元方法中應用了一個相似但簡化的學習規則。在我們的例子中，輸入脈衝和輸出脈衝之間的時間間隔是固定的(因為我們以計時的方式操作神經元，每一個時間步進有一個完整的輸入模式；因此，在輸入和輸出事件之間沒有變化的時間延遲。因此，我們採用了一個簡化的學習規則，增加了所有輸入的突觸權重，從而產生了一個尖峰減少所有沒有減少的權重。通過實驗，我們通過輸出脈衝與輸入脈衝的(時間上)重疊來獲得這種特性。
圖3d, e顯示了一個神經元在無監督學習過程中四個突觸權重隨時間的變化。最初，所有PCM突觸都處於無定形(高透過率)狀態。當輸入模式『0110』被重複時，神經元會隨著時間的推移適應它，直到最後神經元在沒有外部監督的情況下學會了這個模式。神經元現在專門用來識別這種特殊的模式。從圖3可以看出，w2和w3的權值與輸入3和輸入4對應，隨著時間的推移，權值幾乎保持不變，因為重疊的輸入和反饋脈衝保持其無定形狀態。相比之下，權值w1和w4是隨每個epoch逐步下降的。
參考文獻：
All-optical spiking neurosynaptic networks with self-learning capabilities