將視覺與運動聯繫起來,研究人員可以幫助自動駕駛汽車「看到」

2020-09-09 老鐵一起嗨

研究人員發現,初級視覺皮層中的圖像處理電路不僅在動物自由移動時更活躍,而且它們從大腦的運動控制區域接收信號,該區域獨立於處理動物所看物體的區域。

為了更好地了解周圍的世界,動物不斷運動。

靈長類動物和人們使用複雜的眼球運動來聚焦視力(例如,人類在閱讀時會這樣做);鳥類,昆蟲和齧齒動物可以通過移動頭部來做同樣的事情,甚至可以通過這種方式估計距離。

然而,這些運動如何在大腦用來「看到」的複雜神經元迴路中發揮作用,目前尚不得而知。

隨著科學家創造出人工神經網絡來模仿視覺在自動駕駛汽車中的工作方式,這可能是一個潛在的問題領域。

為了更好地理解運動與視覺之間的關係,哈佛大學的一個研究小組研究了動物自由自在漫遊時大腦主要區域之一發生的情況,以分析圖像,該研究結果發表在《神經元》雜誌上,表明初級視覺皮層中的圖像處理電路不僅在動物運動時更加活躍,而且還從獨立於大腦的運動控制區域接收信號來自處理動物所看事物的區域,實際上,研究人員在視覺皮層中描述了兩組與運動有關的模式,這些模式基於頭部運動以及動物是處於亮還是暗中。

與運動有關的發現是出乎意料的,因為視覺通常被認為是前饋計算系統,其中視覺信息通過視網膜進入並在單向路徑上運行的神經迴路中傳播,從而逐段處理信息,研究人員在這裡看到的更多證據表明,視覺系統具有比原先想像的更多的反饋組件,其中信息可以沿相反的方向傳播。

這些結果使人對神經活動如何在大腦的感覺區域中工作有了細微的了解,並增加了正在重寫大腦視覺的教科書模型的研究領域。

在視覺皮層中看到這種與運動相關的信息真的很令人驚訝,因為傳統上人們認為視覺皮層只能處理圖像,起初這是一個神秘的事物,為什麼這個感覺區域會代表這種動物正在做出的特定運動類型。

儘管科學家們無法確切地說出發生這種情況的原因,但他們認為這與大腦如何感知周圍的事物有關。

對此的模型解釋是,大腦需要以某種方式協調感知和行動,需要知道感覺輸入是何時由行為引起的,而不是何時由世界上的某些事物引起。

這項工作於2017年開始,並於2019年結束。

過去關於視覺的實驗的典型設置是這樣進行的:對動物(如小鼠或猴子)進行鎮靜、約束、使其頭部處於固定位置,然後給予視覺刺激(如照片),以便研究人員可以看到大腦中哪些神經元反應了。

這種方法由哈佛大學的科學家於1960年代率先提出,並於1981年因其努力獲得諾貝爾醫學獎。

從那時起,許多實驗都遵循了他們的模型,但並未闡明運動如何影響所分析的神經元。

這項最新實驗的研究人員希望對此進行探索,因此他們觀察了10隻老鼠晝夜不停的運轉。科學家將每隻老鼠放在一個封閉的圍欄內,該圍欄是其家的兩倍,並不斷記錄它們的頭部運動,他們使用植入的電極測量了大鼠移動時初級視覺皮層的大腦活動。

錄音的一半是在燈光下拍攝的,另一半被記錄在完全黑暗中,研究人員想比較有視覺輸入時和無視覺輸入時視覺皮層在做什麼,為了確保房間是漆黑的,由於老鼠在夜間的視力非常好,所以他們用膠帶封住了任何可以讓光線進入的縫隙。

數據顯示,平均而言,動物移動時,即使在黑暗中,大鼠視皮層中的神經元也比休息時更活躍,這讓研究人員措手不及,在漆黑的房間裡,沒有視覺數據要處理,這意味著活動來自運動皮層,而不是外部圖像。

研究小組還注意到,運動時激發的視覺皮層中的神經模式在黑暗和明亮中是不同的,這意味著它們不是直接相連的,一些準備在黑暗中激活的神經元在光線下處於一種睡眠模式。

研究人員使用機器學習算法對兩種模式進行了編碼,這樣一來,他們不僅可以通過觀察其視皮層中的神經活動來判斷大鼠以哪種方式移動其頭部,而且還可以在大鼠製造大腦之前預測其移動幾百毫秒。

研究人員通過關注次級運動皮層證實了運動信號來自大腦的運動區域,他們通過外科手術將幾隻老鼠的運動區域摧毀,然後再次進行了實驗,大腦此區域受損的大鼠不再在視覺皮層中發出信號,但是,研究人員無法確定信號是否起源於次級運動皮層,他們說,它可能只是通過的地方。

此外,科學家指出了他們發現的一些局限性。

例如,他們只測量頭部的運動,而不測量眼睛的運動。

該研究還基於夜間活動的齧齒動物。

他們的視覺系統與人類和靈長類動物具有相似之處,但複雜度不同。

儘管如此,該論文仍增加了新的研究領域,其發現可能會應用於控制機器視覺的神經網絡,例如自動駕駛汽車中的神經網絡。

所有這些都是為了更好地理解視覺是如何工作的。

神經科學正在進入一個新時代,在這個新時代中,我們認識到感知和行動是相互交織的循環。

沒有感知就沒有行動,沒有行動就沒有感知,科研人員現在擁有衡量這一點的技術。

相關焦點

  • 可用於自動駕駛 史丹福大學研究人員開發出超級視覺系統
    據外媒報導,史丹福大學(Stanford University)研究人員研發了一個攝像頭系統,該系統基於該團隊此前研發的拐角攝像頭而打造,可從更多表面捕捉更多光線,而且視野更寬更遠、而且速度非常快,能夠監控到人眼看不到的運動。
  • 自動駕駛視覺系統:不僅可以」看「,還能預測「未來」
    對於自動駕駛的視覺系統而言,「看」到路人是一個基礎工作,更重要的是,能否能像人類一樣,判斷出路人下一個動作將是什麼。來自密西根大學的團隊,便研究了一種改進算法,讓自動駕駛視覺系統能夠對路人的行為進行預測。
  • 受昆蟲眼啟發研人造複眼 提高自動駕駛汽車視覺能力
    複眼,西安交大自動駕駛,人造複眼自動駕駛汽車視覺,昆蟲複眼自動駕駛,汽車新技術" title="黑科技,前瞻技術,西安交大人造複眼,西安交大自動駕駛,人造複眼自動駕駛汽車視覺,昆蟲複眼自動駕駛,汽車新技術" style="margin: 0px auto; padding: 0px; border-width
  • 西安交通大學受昆蟲眼睛啟發研人造複眼 提高自動駕駛汽車視覺能力
    受昆蟲眼睛啟發,研究人員研發出人造複眼,旨在提升自動駕駛汽車的視覺能力,以及幫助推動機器人技術發展。 據外媒報導,受昆蟲眼睛啟發,研究人員研發出人造複眼,旨在提升自動駕駛汽車的視覺能力,以及幫助推動機器人技術發展。
  • 哈佛大學研究人員研發出偏振光攝像頭 可用於自動駕駛汽車
    偏振光就是光振動的方向,人眼無法看見,但是某些品種的蝦和昆蟲卻可以看見,而且其能夠提供大量與之交互的物體的信息。目前,能夠看到偏振光的攝像頭用於檢測材料應力,增強對比度以實現物體檢測,以及分析材料表面質量,如凹痕或劃痕。但是,與早期的彩色相機一樣,此類偏振光敏感攝像頭體積龐大,而且往往依賴於移動部件,成本高昂,嚴重限制了其應用範圍。
  • 日產汽車通過仿生學,進行未來自動駕駛技術研究
    經濟日報-中國經濟網12月4日訊 提到「自動駕駛」,你會想到什麼?你會否想到一臺無人駕駛的汽車、更安全的旅行、創新或數位化的未來?又或者,是一群遊來遊去的小魚?  在開發未來汽車的過程中,日產汽車的工程師們從多方汲取知識和靈感。
  • 美國科學家讓自動駕駛汽車學習人類的「預測未來動作」能力
    圖片來源:馬裡蘭大學據外媒報導,美國馬裡蘭大學(University of Maryland)一組計算機科學家採用了一種新型的計算機「記憶」,有望推動自動駕駛機器人和自動駕駛汽車技術發展,甚至推動整個人工智慧的發展。
  • 基於機器視覺的汽車智能駕駛系統
    此外一些工程車輛在作業時環境惡劣、勞動強度大,這些車輛的駕駛自動化是非常有必要的。為了使汽車駕駛操作簡單、安全、舒適,把人從繁重枯燥的汽車駕駛中解脫出來,當今世界各國都在積極研究開發自動駕駛技術。  德國、美國和日本等國在汽車自動駕駛領域開展了積極的研究並取得了很大的成績。
  • 特斯拉不贊成傳感器融合,自動駕駛汽車怎麼辦?
    傳感器的發展速度和水平決定了未來自動駕駛(AD)的進展快慢,這話並不過分。沒有傳感器,自動駕駛汽車就不可能實現。傳感器可以使汽車看到和感知道路上的一切,並收集安全駕駛所需的信息,通過中央處理器為汽車控制裝置發送適當的指令,如轉向、加速和制動;聯網傳感器收集的實際路徑、交通堵塞和道路障礙物信息,可以在聯網汽車之間共享;地圖信息的處理和分析可以構建從A點到B點的路線。
  • LIDAR : 自動駕駛汽車的關鍵傳感器
    在這篇博文中,你將會學習到更多關於 LIDAR 的知識,包括它在自動駕駛汽車空間中的起源,以及它是如何從眾多傳感器中脫穎而出的。請盡情享受這篇文章!正如下圖中的 Uber 和 Baidu 的自動駕駛汽車,它是安裝在汽車頂部的不斷旋轉的笨重盒子。
  • 福特汽車與維吉尼亞理工合作測試自動駕駛汽車信號系統
    為了保障自動駕駛汽車和人們的出行安全,福特汽車對現實生活中的一系列交通狀況進行了全方位分析以尋求適合的解決方案。而此次聯合研究項目便是其努力的一部分,該項目著眼於找到最有效的方法幫助無人駕駛汽車和其他道路使用者進行溝通。研究人員起先考慮使用顯示文本,但這就意味著所有人都要理解某種相同的語言。符號系統也被棄用,因為長久以來符號在消費者心目中的認知度並不算高。
  • 日產自動駕駛汽車將部署NASA技術 讓人類遠程駕駛自動駕駛汽車
    核心提示:日本汽車製造商日產(Nissan)將部署美國國家航空航天局(NASA)研發的技術,利用人類的幫助,遠程駕駛其自動駕駛汽車。蓋世汽車訊 據外媒報導,日本汽車製造商日產(Nissan)將部署美國國家航空航天局(NASA)研發的技術,利用人類的幫助,遠程駕駛其自動駕駛汽車,該公司承認,真正的L5自動駕駛汽車可能是無法實現的
  • 一文概覽自動駕駛汽車定位技術
    本文將介紹自動駕駛汽車的定位技術,主要包括GNSS(全球導航衛星系統),RTK(實時運動定位)和慣性導航。定位,是讓自動駕駛汽車找到自身確切位置的方法,這對自動駕駛汽車來說非常重要。當你在駕駛一輛車時徹底迷路了,你不知道自己在哪兒,而這時你有一張全球的高精度地圖,定位的任務就是確定你的車輛在這張高精度地圖上的位置。
  • 一文解讀全球頂級計算機視覺會議:CVPR 2019自動駕駛內容
    為期五天的全球頂級的年度計算機視覺會議,CVPR(計算機視覺與模式識別)已經在加利福尼亞州的長灘市落下帷幕。計算機視覺在自動駕駛擁有著一席之地,甚至有從業者認為純視覺可以實現自動駕駛,所以在CVPR2019舞臺,自動駕駛也成為了其中重要的內容。
  • 量子傳感器可使自動駕駛汽車「看到」角落裡的物體
    蓋世汽車訊 很少有人知道,世界上所有的鐘表都是根據銫133原子中電子的振蕩來調整的,銫133原子是銫金屬中唯一穩定的同位素。自1967年愛因斯坦證明光速是宇宙中最恆定的維度以來,國際單位制就使用銫133發射光譜中的兩個特定波數定義1秒和1米。從那時起,銫就被廣泛用於極其精確的原子鐘中,以使世界準時。
  • 自動駕駛技術終迎重大突破,眼擎科技讓汽車具有PK人眼的視覺能力
    在中國,自動駕駛則是一派彎道超車的熱鬧景象,4月11日,三部委聯合印發了《智能網聯汽車道路測試管理規範(試行)》,標誌著自動駕駛一些行為今後有法可依,接著,阿里宣布了「蓄謀已久」自動駕駛進展,上來就是L4級以上的水平,自此BAT在自動駕駛領域已經悉數入局,更勿論國內數十家自動駕駛領域的創業公司風頭正勁,且看近期國內自動駕駛領域在立法、企業、資金、人才等方面相繼傳來的好消息,更不用提中國是全球最大的汽車市場
  • 量子傳感器可使自動駕駛汽車看到角落裡物體
    其他的量子傳感器則利用原子躍遷,探測運動中的細微變化,以及電場、磁場和引力場中的細微差別。  在固態物理學中,量子傳感器是指對刺激做出反應的量子裝置。量子傳感器量化了能級,使用量子相干性來測量物理量,或使用量子糾纏來改進測量,而傳統傳感器卻無法做到。據外媒報導,一些權威專家認為,未來,量子傳感器將發揮越來越重要的作用,可以讓自動駕駛汽車「看到」角落或房間裡的物體。
  • 自動駕駛技術將重構汽車行業價值鏈?
    有趣的是,這一聲明並非出自埃隆馬斯克、扎克伯格或貝佐斯這樣的未來主義者,而是在去年秋天接受《連線》雜誌採訪時,歐巴馬總統有關自動駕駛汽車的評論。過去一年裡,我們看到了許多關於無人駕駛汽車的突破性公告,從福特將自動駕駛負責人的職位提升到CEO的位置,再到特斯拉的調查顯示自動駕駛的事故減少了40%,奧迪開始面向大眾市場銷售「3級」自動駕駛汽車。
  • 哈佛大學:為自動駕駛汽車鋪平道路
    在轉變加速之前,哈佛的兩項努力正在幫助制定政策一天將會到來,如果還沒有,那麼當您沿著道路行駛時,可以瞥一眼側面,看到一輛無人駕駛的汽車。自動駕駛汽車正在路上,哈佛的兩項倡議正在幫助波士頓及其以後地區的順利到來做好準備。
  • 自動駕駛的未來,是雷射雷達還是視覺識別?
    首先我們來看看特斯拉跟雷射雷達還有計算機視覺識別的軼聞。 在特斯拉CEO馬斯克眼中,雷射雷達是一種落後的東西,他在2019年4月曾經說過:「雷射雷達和高精度地圖都是自動駕駛中錯誤的解決方案, 只會減慢自動駕駛商業化的速度。如果你只是在限制區域行駛, 那也不能叫做自動駕駛。」