南大繆峰團隊在"垂直結構"新型類腦視覺系統方面取得重要進展

視覺系統是人類用來觀察並認知外部世界的最重要的感覺系統。視覺認知的形成，需要眼睛將物體攜帶的光信息轉化為視覺神經衝動，並傳遞給大腦視覺皮層進行視覺信息處理。得益於這種視網膜和大腦視覺皮層垂直分層的結構和信息加工能力，人類視覺系統能以極低的功耗和極高的信息處理效率完成複雜的視覺認知。將這種強大的視覺信息處理能力賦予機器，使其能夠像人一樣具有獨立思考和行動的能力，是人們一直以來的夢想。傳統機器視覺採用攝像頭和計算機的組合架構，雖然一定程度上實現了對人類視覺系統部分功能的模擬,但是要想達到能與人類視覺系統相比擬的高效信息處理能力，仍面臨很大的挑戰。近日，南京大學物理學院繆峰教授團隊將視網膜形態傳感陣列和憶阻交叉陣列結合為一體，提出和實現了「垂直結構」的類腦視覺系統，為未來實現類腦機器視覺提供了一個可行的思路。

多功能光電傳感和類腦計算器件對於研發能夠工作在全模擬域的類腦視覺系統至關重要。近年來，繆峰團隊（https://nano.nju.edu.cn）利用「原子樂高」的技術途徑，分別在室溫高靈敏紅外探測器（Science Advances 2017）、耐高溫憶阻器（Nature Electronics 2018）、彈道雪崩探測器件（Nature Nano. 2019）、可重構類腦視覺傳感器（Science Advances 2020）、可重構類腦電路（Nature Electronics 2020）等方向陸續取得突破。與此同時，繆峰團隊也一直探索憶阻交叉陣列的應用領域，首次利用憶阻交叉陣列構建了一個神經網絡系統，用於核心信息處理單元，實現了具有一定自適應能力的智能小車（Advanced Intelligent Systems 2020）。

基於這系列工作打下的基礎，該團隊近日提出，通過將視網膜形態傳感器陣列與憶阻交叉陣列結合在一起，可以模擬人類視覺系統的「垂直分層」架構，從而同步實現對視覺信息的感知和預處理，並高效執行較複雜的包括圖像識別、物體追蹤、運動軌跡預測等在內的任務。該工作為未來開發三維垂直集成的新型類腦視覺系統奠定了科學與技術基礎。相關研究成果以《Networking retinomorphic sensor with memristive crossbar for brain-inspired visual perception》（基於視網膜形態傳感器和憶阻交叉陣列的類腦視覺系統）為題於近日在線發表在National Science Review上（https://doi.org/10.1093/nsr/nwaa172）。南京大學物理學院博士生王爽、王晨宇和王鵬飛為論文的共同第一作者，梁世軍副研究員和繆峰教授為該工作的共同通訊作者。該工作得到了王振林教授課題組、陳坤基教授課題組的實驗協助，和國家傑出青年科學基金、國家自然科學基金、江蘇省青年基金等項目的資助，以及微結構科學與技術協同創新中心的支持。

被譽為「憶阻器之父」、美國加州大學伯克利分校的蔡少棠(Leon Chua)教授在同期National Science Review上（https://doi.org/10.1093/nsr/nwaa182）為本文撰寫了專題評論文章「A promising route to neuromorphic vision「 《一條通往類腦視覺的光明之路》，指出「Liang和Miao關於在完全模擬域內執行感算識任務的類腦視覺系統原型展示的工作是一個重大的突破」。蔡少棠教授進一步指出，該工作「為將來探索類腦視覺系統在自動駕駛、智能安防和智能醫療領域的應用開闢了一條可遵循的潛在技術路線」。

研究成果：

人類視覺系統強大的信息處理能力很大程度上依賴於視網膜和大腦視覺皮層所形成的分層結構（圖1a所示）。人類對外界信息形成視覺認知的過程需要經歷以下基本過程：攜帶外部世界信息的光首先投射在眼球底部的視網膜上，視網膜上的光感受器會將光信號轉化為電信號，傳遞給視網膜中的其它細胞實現對信息的初步整合加工，整合後的信號將由視網膜神經節細胞通過視神經傳遞給大腦；進入大腦的視覺信息會被大腦中不同的視覺皮層進行深層次加工處理，最終傳遞給高級腦區形成視覺認知。為了實現對人類視覺系統結構和功能的逼真模擬，繆峰團隊提出，通過將採用「原子樂高」的方式搭建的可重構視網膜傳感器和憶阻交叉陣列進行集成，可以實現全模擬域的視覺信息傳遞和處理，如圖1b所示。

圖1：人類視覺系統和類腦視覺系統。人類視覺系統主要由視網膜和大腦皮層視覺中樞組成；對應地，類腦視覺系統主要由可重構視網膜傳感器和憶阻器交叉陣列所構成。

在實驗中，研究團隊首先展示了視網膜形態的傳感器陣列及其在圖像預處理方面的應用。為了製備傳感器陣列，該團隊利用機械剝離方法獲得了二維材料硒化鎢和氮化硼，並將它們依次轉移至氧化鋁上製備成範德華異質結器件。在背柵調控下，所製備的器件展現出極性相反的，且依賴於柵極電壓、光強、波長等物理參數變化的光電流響應。這種光響應特徵與視網膜中雙極性細胞的特徵類似。為了證實範德華異質結器件具有圖像信息加工的能力，研究團隊將異質結器件組裝至3×3的PCB陣列上。通過控制施加到每個器件上的獨立柵極電壓源，陣列的圖像預處理功能能夠被配置為不同卷積核的形式。根據基爾霍夫定律，把每次光信號輸入之後的所有器件源漏電流變化量ΔIds進行求和，作為對圖像信息處理後的結果。如圖2所示，器件陣列實現了對Lenna圖的同步感知和預處理（邊緣增強、風格化）。通過對Lenna圖的預處理結果進行評估，研究團隊指出所製備的異質結陣列傳感器能夠模擬人類視網膜的垂直結構和信息預處理功能。

圖2，視網膜形態的傳感器陣列及圖像預處理功能。（a）按照3×3陣列排布的視網膜形態傳感器陣列，單個器件結構如光學圖片所示。（b）在背柵調控下，器件展示出正負光電流響應。（c）用於圖像預處理的Lenna原圖。（d）經過邊緣增強處理過的Lenna圖片。（e）對Lenna圖的邊緣增強結果進行評估，處理後的圖片的灰度值（綠）呈現出高斯分布。（f）經過風格化處理的圖片。（g）對Lenna圖的風格化結果進行評估，處理後的圖片與模擬值呈現相似的灰度值排布。

進一步地，研究團隊將2100張含有噪點的「N」，「J」，「U」字母集輸入視網膜形態陣列傳感器，並將陣列中的背柵電壓配置為可具有執行邊緣增強功能的卷積核。視網膜形態陣列輸出的電信號經過電流-電壓轉換器，輸入至憶阻交叉陣列。憶阻交叉陣列中每一個交叉點具有可調的電導值，且呈現出線性的電壓-電流特徵，這允許其被用於執行類似大腦視覺皮層功能的人工神經網絡。研究發現，類腦視覺系統對2100張「N」，「J」，「U」字母集圖片的識別率達到100%。相比於基於傳統傳感器的視覺系統，集成有視網膜形態傳感器的類腦視覺系統能夠加速圖像識別的收斂過程，如圖3所示。

圖3，用於圖像識別的類腦視覺系統。（a）類腦視覺系統用於圖像識別的流程圖。用於圖像識別的8×8"N"，"J"，"U"噪點字母集（c左圖）被輸入視網膜形態傳感器中，進行同步圖像感知和預處理；處理後的結果輸入憶阻交叉陣列進行圖像識別。（b）憶阻器具有線性的電壓-電流特徵。類腦視覺系統對該字母集的識別率達到100%（c右圖）。（d）視網膜形態傳感器的存在能夠加速圖像的識別率和收斂速度。

得益於憶阻交叉陣列可重新配置的靈活性，研究團隊將其配置成能夠處理與時序信息相關的循環神經網絡，可以進一步完成對動態物體的追蹤任務。在實驗中，研究團隊利用視網膜形態傳感器，對視野中的目標「十」字進行邊緣特徵提取，並將移動「十」字目標的坐標按照時序信息的形式輸入由憶阻交叉陣列執行的循環神經網絡中。循環神經網絡能夠根據「十」字目標在n時刻以及之前的坐標信息，獲得n+1時刻的坐標值，從而實現對n+1時刻物體的運動軌跡進行預判。研究團隊指出，該類腦視覺系統可以對動態視覺信息進行逐級簡化處理，提升對移動物體追蹤的效率。這一項工作從原理上證明，利用視網膜形態的傳感器和憶阻交叉陣列進行垂直集成的類腦視覺系統，有望在將來應用於眾多新興智能科技領域。

圖4，用於動態視覺任務的類腦視覺系統。（a）類腦視覺系統用於運動追蹤的流程圖。利用視網膜形態傳感器，對視野中的 "十"字目標進行邊緣特徵提取，並將"十"字目標的坐標以時序信息形式輸入循環神經網絡，對下一時刻該目標的軌跡進行預測。（b）類腦視覺系統經過運動追蹤獲得的"十"字目標物運動軌跡（綠色線）與經過軌跡預測獲得的"十"字目標物運動軌跡（橘黃色線）基本一致。