視覺感知堪比人眼!這款突破性傳感器模仿人類視網膜,有望帶來 AI...

2020-12-13 雷鋒網

視覺、聽覺、嗅覺、味覺、觸覺是人類最基本的五種感覺,其中視覺極為關鍵,畢竟隨著物種進化,眼睛作為人類最為精細、複雜的器官,感知能力無與倫比。

曾有神經科學、認知心理學研究表明,80% 以上的外界信息都是通過視覺進入了我們的大腦。

技術代代革新之下,仿人眼的嘗試不斷湧現。

2015 年,美國明尼蘇達州一位名為 Allen Zderad 的 68 歲男子在失明 10 年之後,憑藉一雙「仿生眼」重見光明。

2020 年 5 月,香港科技大學範智勇團隊聯合加州大學伯克利分校、美國勞倫斯伯克利國家實驗室的一組研究人員,就視網膜問題提出了最新方案,甚至打造出了多項性能超越人眼的仿生眼。

而就在近日,美國公立研究型大學俄勒岡州立大學(Oregon State University)在光學傳感器領域有了重大進展,更接近於人眼感知視野變化能力的傳感器終於來了。

俄勒岡州立大學表示:

該傳感器是圖像識別、機器人和人工智慧等領域的重大突破,突破性的仿人眼光學傳感器是人工智慧發展的關鍵一步。

打造新型視網膜傳感器

2020 年 12 月 8 日,相關研究成果正式發表於《應用物理快報》,題為 A perovskite retinomorphic sensor(一種鈣鈦礦型視網膜傳感器),論文作者為俄勒岡州立大學工程學院研究員、電氣與計算機工程助理教授 John Labram 和研究生 Cinthya Trujillo Herrera。

哪怕最先進的超級計算機,複雜程度也無法與人腦相媲美。

最早,基於這一事實,神經形態計算領域的研究開始興起,其設計目的是在執行機器學習任務時優於傳統計算機,原理可以簡要概括為一句話:將人腦(的一些方面)複製到硬體中。

論文介紹,雖然近年來這一領域取得了很大的進展,但幾乎所有提供給神經形態處理器的輸入信號仍然是為傳統的 von Neumann 計算機體系結構設計的。

研究團隊設計了一個簡單的光敏電容器,並描述了它對光刺激的反應。

如下圖 a 所示,該結構基於雙層電介質:

底部為二氧化矽:二氧化矽高度絕緣,並且對光基本上沒有反應。頂部為鈣鈦礦:即甲基銨碘化鉛(MAPbI3),這是一種具有大光電導響應的化合物,在光照下介電常數有顯著變化,是電介質的理想候選材料,在光照下可以改變電容。電極方面:

底部電極是高摻雜的矽,用作襯底。頂部電極是 15nm 的、通過熱蒸發沉積的金,被設計得足夠薄,即便接觸電阻很大,在導電時能對光照半透明。

John Labram 表示:

以前嘗試製造仿人眼設備(視網膜視覺傳感器)都是依靠軟體或較為複雜的硬體。但我們設計的這種新型傳感器,其操作包括在基礎設計中,涉及了鈣鈦礦半導體的超薄層。當置於光下時,鈣鈦礦會從堅固的電絕緣體變為導體,它具有發展太陽能的潛力,近年來對於鈣鈦礦,學界也有著廣泛的研究。

基於上述結構,當與外部電阻器串聯時,電阻器兩端的電壓降(又稱電位差)將在電容器充電/放電時暫時出現尖峰,然後恢復到其平衡值。也就是說,傳感器會在照度變化時出現尖峰,在其他時候輸出零電壓(如上圖 d 所示)。

研究團隊設計的光敏電容器在設計和預期的用途上,都與別的科學團隊以前研製的光電電容器不同——光電電容器被設計用來儲存來自太陽輻射的能量,而上述傳感器被設計用來檢測神經形態計算中光學刺激的變化。

模仿人眼感知更加逼真

那麼上述傳感器實際的仿人眼效果如何呢?

首先,研究人員通過播放視頻作為施加給傳感器的光學刺激,模擬大型陣列。

結果表明:

對應視頻的靜止部分,傳感器輸出了較暗的視頻;對應視頻的移動部分,傳感器則輸出了較亮的視頻。在沒有光照的情況下緩慢移動時,傳感器輸出的較亮區域存在「鬼影」效應。

可見,傳感器對於動態圖像有著很明顯的反應。

隨後,研究人員向傳感器施加了以特定角度排列的光刺激,作為另一種檢驗。

這一實驗受到了 20 世紀 50、60 年代一項發現的啟發——科學家們注意到貓的某些神經元對以特定角度排列的光刺激有強烈的反應。科學家們認為,這是視網膜中一些細胞的特定排列導致了超極化、去極化,它們對光學刺激會產生反應。

因此,研究人員選擇測量兩個值:電容器兩端的電壓降(C 傳感器)和電阻器兩端的電壓降(R 傳感器)。

結果如上圖所示,這種傳感器的確會對某個方向的刺激做出更強烈的反應。

上述兩項實驗表明,這一傳感器的人眼感知模仿能力的確較強。

不僅如此,研究人員還認為,由於這是一種傳感器,它不需要任何複雜的讀出算法或後處理,它可直接輸出電壓,電壓取決於傳感器所瞄準的物體的方向。

John Labram 表示:

新型傳感器將與神經形態計算機完美匹配,將為下一代人工智慧的應用提供動力,如自動駕駛汽車、機器人技術和先進的圖像識別。

引用來源:

https://aip.scitation.org/doi/full/10.1063/5.0030097

https://today.oregonstate.edu/news/breakthrough-optical-sensor-mimics-human-eye-key-step-toward-better-artificial-intelligence

雷鋒網雷鋒網雷鋒網

相關焦點

  • 【新型光學傳感器模仿人眼感知更逼真,有望帶來圖像識別、AI等領域...
    【新型光學傳感器模仿人眼感知更逼真,有望帶來圖像識別、AI等領域重大突破】美國俄勒岡州立大學在新型光學傳感器研發上取得重大進展。他們開發出一種新型光學傳感器,可更逼真地模仿人眼感知物體變化的能力。在新型視網膜形態傳感器中,利用了鈣鈦礦的獨特光電性能。這種新型傳感器還能與神經形態計算機完美匹配。
  • 新型光學傳感器模仿人眼感知更逼真
    新型光學傳感器模仿人眼感知更逼真 有望帶來圖像識別、人工智慧等領域重大突破 2020-12-10 科技日報 馮衛東 他們開發出一種新型光學傳感器,可更逼真地模仿人眼感知物體變化的能力。這一成果有望帶來圖像識別、機器人技術和人工智慧等領域的重大突破。  目前的信息處理算法和體系結構變得越來越像人的大腦,但信息接收的方式仍是為傳統計算機設計的。為了發揮其全部潛能,更像人腦那樣「思考」的計算機需要更像人眼那樣「看」的圖像傳感器。
  • 美國科學家成功研發新型光學傳感器 可模仿人眼感知
    美國俄勒岡州立大學在新型光學傳感器研發上取得重大進展。他們開發出一種新型光學傳感器,可更逼真地模仿人眼感知物體變化的能力。這一成果有望帶來圖像識別、機器人技術和人工智慧等領域的重大突破。
  • 世界首個3D人工眼亮相:完全複製人眼結構、視網膜媲美人類
    據最新消息,香港科技大學(HKUST)科學家領導的國際團隊開發出了世界上首款3D人工眼,這款『電化學仿生眼』,首次複製了人眼的曲面結構,為視覺類人機器人和視力障礙患者帶來了新希望。從眼球的結構和視覺形成過程來看,人造眼球最關鍵的技術就是視網膜。科學家們一直致力於創造出媲美人類的視網膜,實現真正的仿生視覺。
  • 研究人員設計出全球首個3D人工眼球,可模仿人類視網膜當做人眼?
    報導稱,人造眼球通過各種微型傳感器來創建圖像,這些微型傳感器模擬了人類眼球的光檢測感光細胞。而傳感器被包裝成鋁膜和鎢膜,形成一個直徑超過 2cm 的半球形,模仿人類視網膜。圖像通過大量微小的傳感器轉換,傳感器位於由鋁和鎢製成的模仿人類視網膜的半球形膜中,理論上可超過人眼的高解析度成像。不僅如此,這種人工視網膜對於可見光譜內所有頻率光都敏感,同時它在接受光刺激後的短短 19.2 毫秒內作出響應,然後在 23.9 毫秒內恢復無效狀態,比人眼視網膜中感光細胞 40-150 毫秒的響應和恢復時間要短許多。
  • AI已在座艙傳感器方面得到廣泛應用
    當AI+傳感器遇見車裡的人   近年來,AI技術已在座艙傳感器方面得到廣泛應用,感知人的情緒和行為,為安全駕駛提供幫助。它可以處理來自攝像頭、麥克風、生物傳感器甚至雷達的實時數據,然後幫助汽車做出決策。
  • 機器人要多少傳感器才能如人類般靈敏?
    而這一切都少不了傳感器的功勞,傳感器是機器人感知外界的重要幫手,它們猶如人類的感知器官,機器人的視覺、力覺、觸覺、嗅覺、味覺等對外部環境的感知能力都是由傳感器提供的,同時,傳感器還可用來檢測機器人自身的工作狀態,以及機器人智能探測外部工作環境和對象狀態。
  • 港科大突破人造視網膜 5年內可讓人復明
    」海倫·凱勒寫下的這段話是多少後天失明者久久難以忘懷的夢魘。「如果給我三天光明,我會看見多少東西啊!」這又是多少盲者的期盼。近日,香港科技大學範志勇團隊在Nature上發布的一款3D人工眼球給盲人帶來了新的福音。該團隊打造了一款完全模仿人眼結構而來的電化學眼睛(EC-EYE),直徑約為2cm,與人眼大小相當。這也是世界上首個3D人工眼球。
  • 世界首個3D人工眼球問世:或比人眼更清晰 數百萬人有望重見光明
    世界首個3D人工眼球問世:或比人眼更清晰 數百萬人有望重見光明 2020-05-25 11:04:03 來源:環球網  |  作者:佚名報導稱,人造眼球通過各種微型傳感器來創建圖像,這些微型傳感器模擬了人類眼球的光檢測感光細胞。而傳感器被包裝成鋁膜和鎢膜,形成一個直徑超過2cm的半球形,模仿人類視網膜。香港科技大學範志勇教授介紹,仿生眼大小與人眼相當,仿生眼結構也與人眼高度相似,當對單個納米線進行電尋址時,具有實現高成像解析度的潛力。
  • 科學家研發高仿真機械義眼 視覺功能直逼人眼
    【環球網科技綜合報導 記者 樊俊卿】多年來,科學家一直致力於研發具有可視功能的機械義眼,希望能以此為視覺受損的病患帶來重見光明的機會。海外科技資訊網站「Engadget」報導稱,近日,這項技術取得了實用性突破。
  • 光敏納米線、半球形視網膜:特別像人眼的仿生眼
    原文作者:Hongrui Jiang最新報導的人造眼擁有一個仿生視網膜的半球形組件,上面密集排布了納米級光傳感器。這個人造眼的部分感覺能力可與生物眼睛相媲美。科幻小說中經常出現擁有人造眼的機器人,還有能與人腦結合的仿生眼,給盲人帶來光明。
  • 多模態學習,帶來AI全新應用場景?
    正如我們有視覺、聽覺、嗅覺和觸覺等,那麼我們接觸的信息就有視頻、圖像、文字、語音、味道、軟硬度等,這每一種信息的形式就可以稱作一種模態。模態的範圍要比我們的感知能力更寬泛。除了視覺、聽覺獲得的模態信息,我們也可以利用傳感器獲得諸如雷達、紅外線等不同感應數據的模態信息。
  • 從金字塔模型的角度認識視覺感知
    大腦通過視覺感知,將投射到視網膜上的視覺信息轉化為對空間和物體感知的認知概念,並利用這些認知概念來進行決策和指導、規劃運動。 視覺感知是由視覺皮層和視覺相關皮層之間建立起來的聯繫。這包括兩個通常定義的通道:背流通道和腹流通道。
  • 新型電子皮膚:更像人類皮膚,可同時感知溫度和應力!
    我們將失去觸覺,無法感知冷暖和疼痛,無法對大多數情況做出反應。皮膚不僅是器官的保護殼,還是生存所需的信號系統,它提供了關於外界刺激和溫度的信息。觸覺感受器,緊密地分布在整個皮膚上,感受溫度或者機械刺激(例如觸摸或揉捏)並將其轉化為電信號,然後傳送給大腦。人類皮膚的層次、觸覺感受器和附屬物。
  • 2020年中國人工智慧手機白皮書—AI重新定義光感知
    > 智慧型手機光感知系統升級,切合當下消費者需求偏好,有望帶動智慧型手機市場走出瓶頸期。智慧型手機光感知系統主要由晶片、屏幕、算法及鏡頭組構成,鏡頭組組具體包含:鏡頭、音圈馬達、傳感器、模組、紅外濾光片。在智慧型手機光感知系統中,消費者體驗較為直觀的屏幕與鏡頭組在光感知系統中價值佔比約為34%和26%。全面屏以及後置多攝的應用,推動光感知系統價值升級,也為光感知系統體驗的優化和功能的豐富奠定堅實的硬體基礎。而為光感知系統提供穩健算力保障的晶片部分,價值佔比約為40%。
  • AI技術加持色彩還原,揭秘紫光展銳圖像算法
    人類進入智慧型手機時代後,攝影方式也發生了巨大變化:用來拍照的不再只是鏡頭和傳感器了,背後還加載著一系列的圖像算法,它可以用更快的速度處理圖像,並獲得更好的拍攝效果。 好作品只能依賴專業攝影師的時代過去了,圖像算法引入到手機拍照應用後,讓人人拍出好照片成為可能。
  • 全新的智能感知方案,安森美半導體助力自動駕駛發展
    人工智慧對人類社會的方方面面的影響和改變是遠遠超過計算機數字工業革命帶來的改變。史丹福大學人工智慧專家,「人工智慧之父」Andrew Ng認為人工智慧是新的電力,就像第二次工業革命電力給整個人類帶來的一個巨大的深入改變;數據是人工智慧的動力和發動機,感知是數據的燃料。
  • 天津大學研發「智能皮膚」自癒合材料,模仿人類皮膚組織自我修復
    該材料能在嚴寒、深海和強酸鹼等極限條件下快速自癒合,有望成為機器人、深海探測器和極端條件下各類高科技設備的「超級電子皮膚」,性能達到國際領先水平。天津大學研製成功新型超分子聚合物 新華社資料圖相關成果已經在國際權威期刊《自然·通訊》發表。自癒合材料採用先進的超分子技術合成。
  • 作為依賴視覺的動物,我們經常要聚精會神,哪些情況下瞳孔會放大
    當人類的祖先上了樹,眼睛的進化方向就變成了感知更多細節和色彩,但有所得必有所失,比如靈長目動物基本都失去了視網膜底部的明毯或照膜,而這個結構主要用於將穿過視網膜的光線再次反射回視網膜,加強感光細胞對微弱光線的感知能力。這讓人類和其他靈長目的夜視能力連牛都不如,更不要說那些晝伏夜出的獵食者了。
  • 外商統治、國牌崛起,誰將主導車載傳感器的千億市場?_易車網
    汽車的「眼睛」與「耳朵」與傳統汽車相對比,自動駕駛汽車的感知系統的主要工作是替代人類駕駛員的視覺系統:通過將感受的信息按照特定規則轉為電信號,傳輸到汽車的中央控制單元協助汽車自動駕駛。自動駕駛歸根結底是要讓汽車變得智能,而關於人工智慧如何幫助人類,業內常有這樣的說法:當前人工智慧系統所擅長的領域與人類所擅長的領域恰恰相反。