研究開發類腦視覺傳感器,媲美人眼信息同步

2020-11-23 澎湃新聞

研究開發類腦視覺傳感器，媲美人眼信息同步

2020-08-18 10:52 來源：澎湃新聞·澎湃號·湃客

文/陳根

 在人腦處理的信息中，超過80%都是通過眼睛獲得的。人眼不僅可以進行信息的探測和同步處理，而且整體功耗極小（遠小於20瓦）。相比而言，機器的視覺系統需要先探測再處理，使用的圖像傳感器在探測目標圖像的同時會產生大量冗餘信息，此類信息通過有限的帶寬傳輸給所連接的計算機進行處理和分析，從而導致較大的時間延遲和較高的功耗。

因此，構建一個可以媲美人眼、具備同步進行信息探測和處理功能的類腦視覺傳感器成了科技探索的重要方向之一。近日，南京大學物理學院繆峰教授團隊就在Science Advances上發表了一篇題為《基於柵極可調範德華（vdW）異質結的可重構神經網絡視覺傳感器》的研究，這也是對類腦視覺傳感器做出重要探索。

人類視覺系統強大的信息處理能力很大程度上依賴於視網膜的結構和功能。視網膜中的主要細胞包括感光細胞、雙極細胞等，這些細胞之間是垂直分層分布的結構。光透過瞳孔入射到視網膜上後，感光細胞將入射光轉換為電學信號，流經雙極性細胞，利用雙極性細胞的生物特性對電學信息進行一定的加工和處理，加工後的圖像信息僅僅保留其主要的特徵，再傳輸至大腦皮層進行進一步的圖像處理和理解。

通過這種方式，視網膜在一定程度上實現了信息探測和處理的同步進行。為了實現對視網膜結構和功能的逼真模擬，研究團隊提出可以通過「原子樂高」的方式搭建基於二維材料垂直異質結的類腦視覺傳感器。

該類腦視覺傳感器通過範德華（vdW）垂直異質結構的柵極可調正負光響應來工作。該傳感器不僅模擬了雙極細胞和光感受器的神經生物學功能，還模擬了雙極細胞之間獨特的連通性以及光感受器。

通過調整每個像素的柵極電壓，實現了可重構視覺傳感器圖像傳感與處理。此外，研究人員的類腦視覺傳感器本身可以訓練，通過分類的輸入更新單獨應用於傳感器中每個像素的柵極電壓來獲得圖像。

事實上，實現視網膜形態視覺晶片是解決傳統晶片面臨的挑戰和在實際應用中處理大量視覺數據的一個有前途的解決方案。毫無疑問，這項工作提出的技術為未來先進的神經網絡視覺晶片的實現提供了機會。

關鍵詞 >> 物理,材料,視覺

特別聲明

本文為澎湃號作者或機構在澎湃新聞上傳並發布，僅代表該作者或機構觀點，不代表澎湃新聞的觀點或立場，澎湃新聞僅提供信息發布平臺。申請澎湃號請用電腦訪問http://renzheng.thepaper.cn。

相關推薦

評論（）

相關焦點

  • 陳根：研究開發類腦視覺傳感器，媲美人眼信息同步
    文/陳根 在人腦處理的信息中，超過80%都是通過眼睛獲得的。人眼不僅可以進行信息的探測和同步處理，而且整體功耗極小（遠小於20瓦）。相比而言，機器的視覺系統需要先探測再處理，使用的圖像傳感器在探測目標圖像的同時會產生大量冗餘信息，此類信息通過有限的帶寬傳輸給所連接的計算機進行處理和分析，從而導致較大的時間延遲和較高的功耗。
  • "原子樂高"搭出類腦視覺傳感器
    在人腦處理的信息中，超過80%都是通過眼睛獲得的。人眼不僅可以進行信息的探測和同步處理，而且整體功耗極小（遠小於20瓦）。相比而言，傳統的機器視覺系統需要先探測再處理，使用的圖像傳感器在探測目標圖像的同時會產生大量冗餘信息，此類信息通過有限的帶寬傳輸給所連接的計算機進行處理和分析，從而導致較大的時間延遲和較高的功耗。
  • 南大團隊「搭出」類腦視覺傳感器 模擬人眼視網膜,信息探測和處理...
    在人腦處理的信息中，超過80%都是通過眼睛獲得的。
  • 南京大學物理學院搭出類腦視覺傳感器
    在人腦處理的信息中，超過80%都是通過眼睛獲得的。人眼不僅可以進行信息的探測和同步處理，而且整體功耗極小(遠小於20瓦)。相比而言，傳統的機器視覺系統需要先探測再處理，使用的圖像傳感器在探測目標圖像的同時會產生大量冗餘信息，此類信息通過有限的帶寬傳輸給所連接的計算機進行處理和分析，從而導致較大的時間延遲和較高的功耗。
  • 「垂直結構」新型類腦視覺系統方面取得重要進展
    基於這系列工作打下的基礎，該團隊近日提出，通過將視網膜形態傳感器陣列與憶阻交叉陣列結合在一起，可以模擬人類視覺系統的「垂直分層」架構，從而同步實現對視覺信息的感知和預處理，並高效執行較複雜的包括圖像識別、物體追蹤、運動軌跡預測等在內的任務。該工作為未來開發三維垂直集成的新型類腦視覺系統奠定了科學與技術基礎。
  • 類腦計算:從神經網絡到真正的人工智慧丨 CCF-GAIR 2019
    他表示，人工視覺晶片是用半導體技術模仿人類的系統，其主要特點是把圖像傳感器和視覺處理器集成在一個晶片上，其功能是模仿人類視覺系統進行信息的並行獲取以及處理。這種視覺晶片是一種比較典型的邊緣計算系統。數據中心模式是指圖像數據被傳感器感知到以後，首先通過無線網絡傳到數據中心。在這其中，不可避免地會遇到通信延時問題。
  • 南京大學繆峰團隊在「垂直結構」新型類腦視覺系統方面取得重要進展
    基於這系列工作打下的基礎，該團隊近日提出，通過將視網膜形態傳感器陣列與憶阻交叉陣列結合在一起，可以模擬人類視覺系統的「垂直分層」架構，從而同步實現對視覺信息的感知和預處理，並高效執行較複雜的包括圖像識別、物體追蹤、運動軌跡預測等在內的任務。該工作為未來開發三維垂直集成的新型類腦視覺系統奠定了科學與技術基礎。
  • 南大繆峰團隊在"垂直結構"新型類腦視覺系統方面取得重要進展
    基於這系列工作打下的基礎，該團隊近日提出，通過將視網膜形態傳感器陣列與憶阻交叉陣列結合在一起，可以模擬人類視覺系統的「垂直分層」架構，從而同步實現對視覺信息的感知和預處理，並高效執行較複雜的包括圖像識別、物體追蹤、運動軌跡預測等在內的任務。該工作為未來開發三維垂直集成的新型類腦視覺系統奠定了科學與技術基礎。
  • 新材料助力類腦計算 探路「電子大腦」
    採用傳統矽基電晶體的電路來模擬人腦中的突觸或者神經元的功能，不僅耗費大量硬體資源，而且執行信息處理的過程極其耗能。因此找到合適的材料，構建出可以模擬人腦運行的類腦器件，以及由這些器件集成的硬體類腦系統，是人工智慧能否實現像人腦那樣「靈光」的關鍵。
  • 新材料助力類腦計算，探路「電子大腦」
    採用傳統矽基電晶體的電路來模擬人腦中的突觸或者神經元的功能，不僅耗費大量硬體資源，而且執行信息處理的過程極其耗能。因此找到合適的材料，構建出可以模擬人腦運行的類腦器件，以及由這些器件集成的硬體類腦系統，是人工智慧能否實現像人腦那樣「靈光」的關鍵。近日，南京大學物理學院繆峰教授團隊分別在類腦視覺傳感器和可重構類腦電路方面取得重要進展。
  • 新材料助力類腦計算,探路「電子大腦」
    採用傳統矽基電晶體的電路來模擬人腦中的突觸或者神經元的功能，不僅耗費大量硬體資源，而且執行信息處理的過程極其耗能。因此找到合適的材料，構建出可以模擬人腦運行的類腦器件，以及由這些器件集成的硬體類腦系統，是人工智慧能否實現像人腦那樣「靈光」的關鍵。　　近日，南京大學物理學院繆峰教授團隊分別在類腦視覺傳感器和可重構類腦電路方面取得重要進展。
  • 腦科學日報:可印在皮膚上的監測傳感器;類腦計算系統新框架
    類腦計算系統和傳統計算系統的層次結構 一直以來，通過模擬人腦信息處理方式，仿製像人腦一樣具有「思維」、在工作性能上超越人腦的「類腦系統」，實現通用人工智慧，是眾多科學家畢生追求的夢想。
  • 清華「天機芯」團隊再發重磅研究！以全新類腦計算系統實現通用人工智慧
    當時，Nature總編斯基珀博士在接受新華社專訪時稱讚清華天機晶片的論文將人工智慧中的計算機科學研究與神經科學研究結合起來，是人工智慧領域的重要裡程碑。而晶片僅為硬體產物，與之配套的類腦計算架構是十分有必要的，這可實現類腦計算軟體和硬體之間的兼容，快速促進類腦計算的開發效率。
  • 傳感器熱點：我國成功研製全球神經元規模最大的類腦計算機
    傳感新品　　【俄極大提高量子點自發發射率，可為新型生物傳感器打下良好基礎】　　俄羅斯國立核研究大學研究人員首次提高了量子點的自發發射率，並使其光致發光強度增加近一個數量級。　　首先，該成果可以作為開發緊湊型螢光生物傳感器的良好基礎，通過使用光子晶體增強螢光量子點，可顯著提高化驗分析的靈敏度，進行疾病的早期診斷和治療。另外，該成果可作為光學計算機或密碼系統的新元件，以代替大規模的單光子或光學邏輯元件。在這一領域中，除了緊湊和簡單之外，使用該成果還可以解決該行業的關鍵問題——「按需」獲得單光子或量子糾纏。
  • 浙江成功研製神經元規模最大的類腦計算機
    而要讓這麼多神經元能夠互聯並且可拓展從而實現高效的聯動組合，同時要把雜亂無章的信息流有序分配到對應的功能腦區，依靠的正是「管家婆」——達爾文類腦作業系統（DarwinOS）。「目前達爾文類腦作業系統的功能任務切換時間達微秒級，可支持億級類腦硬體資源管理。」項目研究骨幹呂攀說。
  • 北京腦科學與類腦研究中心成立
    北京腦科學與類腦研究中心成立 2018-03-23 01:12:13來源：中國新聞網作者：${中新記者姓名}責任編輯：吉翔
  • 中國科學家成功研製全球神經元規模最大的類腦計算機
    未來，項目團隊將基於我國自主產權類腦晶片，研製規模更大的神經元類腦計算機，同時研究支撐其運行與開發的類腦基礎軟體體系，並逐步實現開源與開放，為我國類腦計算新技術的發展貢獻力量。項目研究骨幹呂攀介紹說：「目前達爾文類腦作業系統的功能任務切換時間達微秒級，可支持億級類腦硬體資源管理。」由此，類腦計算機研究的價值真正得以實現——既可以應用於生活中的智能任務處理，也可以應用於神經科學研究，為神經科學家提供更快更大規模的仿真工具，提供探索大腦工作機理的新實驗手段。