新型深度攝像頭:解析度更高,更適合無人駕駛汽車!

2021-01-10 環球創新智慧

導讀

最近,美國麻省理工學院的科研人員利用飛行時間成像的新方法,將飛行時間深度傳感器的解析度提高1000倍,使之有望應用於無人駕駛領域。

背景

TOF是Time of flight的簡寫,直譯為飛行時間的意思。即傳感器發出經調製的近紅外光,遇物體後反射,傳感器通過計算光線發射和反射時間差或相位差,來換算被拍攝景物的距離,以產生深度信息,此外再結合傳統的相機拍攝,就可以將物體的三維輪廓,以不同顏色代表不同距離的地形圖方式呈現出來。

TOF技術可用於消費類電子產品的小型化深度攝像頭,也可用於軍事領域和無人駕駛汽車,例如無人駕駛汽車採用的工業級雷射雷達(LiDAR),它利用雷射束探測目標的位置、速度等特徵量,結合了雷射、全球定位系統GPS和慣性測量裝置三者的作用,進行逐點掃描來獲取整個探測物體的深度信息。

(圖片來源:維基百科)

創新

過去十年以來,美國麻省理工學院媒體實驗室攝像頭文化小組(Camera Culture group)一直在開發一種採用「飛行時間」技術的創新的成像系統。他們開發出的新型深度傳感器的深度解析度提高了1000倍,並有望應用於無人駕駛領域。

(圖片來源:麻省理工學院)

Achuta Kadambi 是發表於《IEEE Access》雜誌上的新論文的第一作者、電氣工程和計算機科學、媒體藝術和科學專業的聯合博士生。他也參與了其論文指導教授 Ramesh Raskar 的論文,而Ramesh Raskar 也是媒體藝術和科學系副教授、攝像頭文化小組的負責人。

技術

在2米範圍內,現有的飛行時間系統的深度解析度約為1釐米。這對於當代汽車所用的輔助停車和衝突檢測系統來說已經足夠好。

正如 Kadambi 所解釋的,隨著距離增加,解析度呈指數方式下降。比方說,在一個遠程場景中,你想要自己的汽車檢測遠處的物體,從而讓你的決策快速更新。也許你會從1釐米的解析度開始,但是現在你將回到1英尺或者甚至5英尺的解析度。而且如果你犯了錯誤,這將導致生命危險。

作為對比,在2米範圍內,麻省理工學院研究人員開發出深度解析度達3微米的系統。Kadambi 也展開了測試,他發送一束光信號穿越500米的光纖,其沿途布置了固定間隔的濾波器,在將信號饋入系統之前,模擬功率跨越更長距離下降的過程。這些測試表明,在500米範圍內,麻省理工學院的系統仍然可以達到僅1釐米的深度解析度。

在飛行時間成像過程中,短的光脈衝照射進場景中,攝像頭測量它返回所需的時間,這個時間標示著反射光線的物體的距離。光脈衝越長,對光線傳播距離的測量就越含混不清。因此,光脈衝長度是判斷系統解析度的重要因素之一。

然而,另外一個因素則是檢測率。調製器,用於控制光束的打開和關閉,每秒可切換十億次。但是,如今的檢測器每秒只能進行100萬次測量。檢測率是現有的飛行時間系統解析度限制在釐米級別的又一重要因素。

然而,Kadambi 稱,另外一種成像技術的解析度更高。這項技術是幹涉測量法。通過這種方法,光線一分為二,其中一束光線保持局部循環,而另外一束光線:「樣本光束」照射到視覺場景中。反射的樣本光線與局部的循環光線重新結合,而兩束光線的相位存在差異:它們的電磁波的波谷和波峰相對對齊,對於樣本光束的傳輸距離展開精準測量。

(圖片來源:維基百科)

但是,幹涉測量法需要兩束光線精準同步。Kadambi 表示,你將永遠無法在汽車上使用幹涉測量法,因為它對于振動非常敏感。他們利用了幹涉測量法的一些理念,而另外一些理念則來自LIDAR,在這裡將二者真正地結合起來。

他解釋道,他們也使用了一些聲學理念。參與過音樂合奏的人都熟悉一種稱為「節拍」的現象。比如,兩個歌唱者輕微地走調,一個的音高是440赫茲,另外一個是437赫茲,他們的聲音相互作用會產生另外一個音調,這個頻率是他們正在唱的音調的頻率差異,例如這裡是3赫茲。

光脈衝也是如此。如果一個飛行時間成像系統,以每秒10億脈衝的速率,將光線照射到場景中,而返回光線結合了每秒 999,999,999次的光脈衝,結果將是每秒鐘發出一個脈衝。商用的視頻相機可以很容易檢測到這個脈衝。而這種緩慢的「節拍」中會含有測量距離所必需的所有相位信息。

Kadambi and Raskar 並不像幹涉測量系統所必須的那樣嘗試同步兩個高頻光信號,而是採用一開始製造它時所用同樣的技術,簡單地調製返回信號。也就是說,他們有節奏地發出光脈衝。結果是相同的,但該方案對於汽車系統來說更實用。

Raskar 表示,光學幹涉和電子幹涉的結合非常獨特。他們在幾千兆赫的頻率下調製光線,這就像每秒開關閃光燈幾百萬次。但是,他們是通過電子的方式改變它,而不是通過光學的方式。這二者之間的結合正是這個系統的強大之處。

相對於低頻率系統來說,千兆赫光學系統自然地對於霧的補償更好。霧對於光學飛行系統來說是一個重要問題,因為它會散射光線:它使得返回的光信號偏斜,因此它們來得偏晚而且角度奇特。飛行過程中,在所有的噪音中隔離出真正的信號,是一個極具計算量的挑戰。

在低頻發射系統中,散射會引起光線相位輕微移動,從而很容易引起到達檢測器的信號模糊。但是,通過高頻發射系統,相對於信號頻率來說,相位移動更大。散射的光信號通過不同路逕到達,將會相互抵消:一個波的谷將與另一個波的峰對齊。威斯康星大學和哥倫比亞大學的理論分析表明,這種抵消分布得足夠廣泛,使得真正信號的辨識更加容易。

價值

這種新方案利用飛行時間成像的新方法,將深度解析度提高1000倍,使之有望應用於無人駕駛,同時也將使得精準的測距可以穿過大霧,跨越開發無人駕駛汽車的主要障礙。

關鍵字

無人駕駛、深度攝像頭、傳感器

參考資料

【1】http://news.mit.edu/2017/new-depth-sensors-could-be-sensitive-enough-self-driving-cars-1222

【2】Achuta Kadambi, Ramesh Raskar. Rethinking Machine Vision Time of Flight With GHz Heterodyning. IEEE Access, 2017; 5: 26211 DOI: 10.1109/ACCESS.2017.2775138

相關焦點

  • 無人駕駛環境感知設備中 雷射雷達和攝像頭各自的優缺點
    導讀在無人駕駛汽車上,雷射雷達和攝像頭相對於是汽車的「眼睛」,他們倆各有不同的優缺點。那麼無人駕駛汽車到底用雷射雷達還是用攝像頭?或者還有其它的解決方案呢?
  • 理工睿行:專業毫米波雷達為無人駕駛汽車提供「智慧之眼」
    我們知道,無人駕駛最為重要的高級駕駛輔助系統(ADAS)需要多種傳感器配合工作,而毫米波雷達由於其眾多優勢,成為ADAS不可或缺的核心傳感器,也是零部件供應商們的聚焦的戰場。國內知名的毫米波雷達解決方案提供商理工睿行,在論壇上由理工睿行總經理金燁博士發表的《分布式高解析度車載毫米波雷達技術研究》演講,提出了一種基於分布式車載雷達新體制,探索毫米波雷達在無人駕駛汽車實際應用的新思路。
  • 無人駕駛系統真的很難懂?一篇文章告訴你答案!
    童濟仁汽車評論 編輯丨嚴小森這是一篇科普向技術流的文章,看完這篇文章,相信你對無人駕駛系統的了解已經超越了99%的人。現如今,無人駕駛技術通常被分為環境感知與定位、決策規劃和運動控制3個部分。環境感知與定位負責確定汽車周圍哪裡有汽車或者行人,前面是紅燈還是綠燈,即確定環境和汽車的狀態。
  • 無人駕駛汽車的四類「眼睛」——毫米波,雷射,超聲波,攝像頭
    這是一個非常適合車載領域的頻段。目前,常見的用於車載領域的毫米波雷達頻段主要有三種。24GHz通常用於較近距離的探測,目前主要用於實現汽車的盲點監測、變道輔助等功能。在盲點監測功能中,雷達被安裝在車輛的後保險槓內,用於監測車輛後方兩側的車道是否有車、可否進行變道。該頻段的缺點是頻率較低,帶寬(Bandwidth)相對較窄,只有250MHz。
  • 無人駕駛之雷射雷達深度剖析
    無人駕駛汽車怎麼實現自動駕駛呢?這背後一個關鍵技術就是LiDAR,即雷射雷達傳感器,俗稱光達,它也被稱為無人駕駛汽車的眼睛。其中,無人駕駛可以說是最熱門的一個應用。這引起了準備研發無人駕駛車的谷歌的注意,之後谷歌組建了隊伍,據稱,最初的人員就來自這些參賽隊員。谷歌於2009年推出無人駕駛汽車項目,在其無人車原型中使用的就是Velodyne公司的Lida。
  • ...賭城發布一年內可量產無人駕駛汽車,首提無人駕駛四象限概念|獨家
    更令人興奮的是,IHS Automotive指出,中國在無人駕駛技術部署方面具有最大的市場增長空間,到 2035 年將賣出 570 萬輛具有一定程度無人駕駛技術的汽車。而已深入涉足無人駕駛領域的百度也宣稱,將在五年內實現無人駕駛汽車的量產。 甚至可以說,本屆CES已經成為全球首屆最大的無人駕駛大會。
  • 北京無人駕駛百度測試禁止_百度無人駕駛 北京 - CSDN
    本文節選自圖書:《第一本無人駕駛技術書》,本書從實用的角度出發,以期幫助對無人駕駛技術(特別是人工智慧在無人駕駛中的應用)感興趣的從業者與相關人士實現對無人駕駛行業的快速入門,以及對無人駕駛技術的深度理解與應用實踐。我們可以預測一個不遠的未來,屆時所有行駛的汽車都是無人車,我們將迎來一個更加安全、更加清潔環保的世界。
  • 奇點臨近,百度無人駕駛汽車將與時間賽跑
    如今,無人駕駛汽車領域也正走向奇點臨近的時刻。包括網際網路和汽車領域在內的幾家大企業,正野心勃勃地試圖改變人類現有的交通面貌。去年12月,百度宣布成立自動駕駛事業部,與此同時,百度一同宣布了它在無人駕駛汽車領域的目標:實現三年商用,五年量產。
  • 汽車自動駕駛之雷射雷達行業深度報告
    雖然雙目或多目攝像頭具有更高的測距精度和更廣的視角,但由於 其成本較高以及對精度和計算晶片的高要求,使得其仍未能大規模量產,目前以 Mobileye 領銜的單目攝像頭解決方案是市場的主流。 波長越短,意味著解析度越高;而解析度越高,意味著在 距離、速度、角度上的測量精度更高。
  • Google和百度的無人駕駛汽車是這樣實現高精度的定位
    無人駕駛汽車要解決的根本問題是:在哪裡,要去哪裡,怎麼去。無人駕駛汽車行駛的過程也是在不斷的計算這三個問題的過程。其中在哪裡就是我們今天要討論的高精度定位系統。無人駕駛汽車只有知道了自己所在的位置,再綜合對周圍環境的感知,才能知道下一步的應該如何行駛。
  • 雷射雷達加速自動駕駛汽車發展
    編者按:近年來自動駕駛汽車的遠距離深度相機雷射雷達作為汽車理解三維空間的主流方案備受認可,不過雷射雷達目前大且貴,這使得該技術的進一步普及充滿挑戰。當然,深度相機還分近距深度相機和遠距深度相機,近距深度相機精度高,工作距離短,可用於工業檢測、無序分揀、人臉識別等。遠距深度相機識別精度低,工作距離遠,可用於手勢、動作和姿態識別,無人駕駛避障、路徑規劃等,其中自動駕駛系統中常用的雷射雷達就屬於遠距深度相機。
  • 汽車自動駕駛產業鏈深度報告:晶片及軟體專題
    隨著汽車電子化程度提高,電子控 制單元整合是汽車電子設計的發展趨勢,多屏融合的智能座艙將集成中控大屏+ 液晶儀錶盤+抬頭顯示器(HUD)+流動後視鏡,並搭載高級輔助駕駛(ADAS)、 無人駕駛技術和人工智慧 AI 等新時代科技,帶來更為智能化和安全化的交互體 驗。
  • 無人駕駛汽車的發展前景詳細說明
    在往期文章中,小編對無人駕駛汽車工作原理、無人駕駛汽車優缺點均有所介紹。為增進大家對無人駕駛的了解程度,本文將對無人駕駛汽車的發展前景或者未來予以介紹。如果你對無人駕駛技術抑或無人駕駛汽車具有興趣,不妨同小編一起往下閱讀哦。   無人駕駛作為汽車未來的研究方向,其對於汽車行業甚至是交通運輸業有著深遠的影響。
  • 無人駕駛黑科技:毫米波雷達穿透力強,雷射雷達精度高
    經研究,特斯拉上所使用的探測雷達為毫米波雷達,而非其他主流無人駕駛研發中所使用的雷射雷。那麼問題來了:毫米波雷達是否能夠勝任雷射雷達的工作,成為一種實現無人駕駛更加低成本的解決方案?精度上的差異,讓毫米波雷達性能不及雷射雷達無人駕駛技術想要真正上路行駛,最關鍵的技術難點就在於汽車如何能對現實中複雜的交通狀況了如指掌,這樣一來就必須使用雷達裝置。現階段主流無人駕駛研發技術中,都選擇了雷射雷達,而一向「不走尋常路」的馬斯克選擇使用毫米波雷達。那麼,兩種類別的雷達技術究竟有什麼區別?
  • 全新AI 攝像頭、360 度環境感知陣列,博世要做自動駕駛系統集成商
    屆亞太汽車工程年會 & 2017 中國汽車工程學會年會暨展覽會(APAC 19 & 2017 SAECCE)於10月24-26日在上海舉辦,本次論壇以「未來汽車與交通變革」為主題,逾 3000 位國內外業界嘉賓共同探討汽車產業車廠與零部件協同創新和技術發展路徑。
  • 關於無人駕駛的過去、現在以及未來,看這篇文章就夠了!
    蘭德公司的研究表明,「無人駕駛技術能提高燃料效率,通過更順暢的加速、減速,能比手動駕駛提高 4%~10% 的燃料效率。」由於工業區的煙霧與汽車數量有關,增加無人車的數量能減少空氣汙染。一項 2016 年的研究估計,「等紅燈或交通擁堵時汽車造成的汙染比車輛行駛時高 40%。」 無人車共享系統也能帶來減排和節能的好處。
  • 無人駕駛汽車的工作原理和特點詳細說明
    無人駕駛是近幾年的熱點之一,前些時間,第一臺無人駕駛汽車在合肥予以施行。對於無人駕駛,我們也較為熟悉。那麼,大家對於無人駕駛汽車的價格、無人駕駛汽車的工作原理以及無人駕駛汽車的特點熟悉嗎?本文中,小編將對這三點無人駕駛相關問題予以介紹與解答。如果你對無人駕駛抑或無人駕駛汽車具有興趣,不妨繼續往下閱讀哦。   一、無人駕駛汽車的價值   根據最新消息,現在不少企業公司都在研發無人駕駛汽車,因為在未來也會大受歡迎的。
  • 外媒:無人駕駛汽車的難題——高精3D地圖
    英國金融時報網3月13日報導稱,高精3D地圖對無人駕駛汽車至關重要,不僅提供位置信息,還承擔安全功能,但目前該行業呈碎片化,面臨數據收集和缺乏標準的問題。文章主要內容如下:當一輛自動駕駛汽車端詳這個世界時,它會看到很多東西。
  • 汽車自動駕駛產業鏈深度報告:晶片及軟體專題|智能座艙|軟體定義...
    隨著汽車電子化程度提高,電子控 制單元整合是汽車電子設計的發展趨勢,多屏融合的智能座艙將集成中控大屏+ 液晶儀錶盤+抬頭顯示器(HUD)+流動後視鏡,並搭載高級輔助駕駛(ADAS)、 無人駕駛技術和人工智慧 AI 等新時代科技,帶來更為智能化和安全化的交互體 驗。
  • 傳統可見光攝像頭如何突圍?電裝評估短波紅外技術
    解決攝像頭能見度低的問題,是汽車行業必須解決的瓶頸。這既關乎到ADAS感知的能力提升,也是為自動駕駛提供更低成本的解決方案。汽車攝像頭CMOS方案供應商Omnivision的相關負責人表示,對於自動駕駛系統來說,要求包括更高的解析度、更高的動態範圍、同時進行LFM、多色濾波陣列(CFAs)和網絡安全。