導讀
最近,美國麻省理工學院的科研人員利用飛行時間成像的新方法,將飛行時間深度傳感器的解析度提高1000倍,使之有望應用於無人駕駛領域。
背景
TOF是Time of flight的簡寫,直譯為飛行時間的意思。即傳感器發出經調製的近紅外光,遇物體後反射,傳感器通過計算光線發射和反射時間差或相位差,來換算被拍攝景物的距離,以產生深度信息,此外再結合傳統的相機拍攝,就可以將物體的三維輪廓,以不同顏色代表不同距離的地形圖方式呈現出來。
TOF技術可用於消費類電子產品的小型化深度攝像頭,也可用於軍事領域和無人駕駛汽車,例如無人駕駛汽車採用的工業級雷射雷達(LiDAR),它利用雷射束探測目標的位置、速度等特徵量,結合了雷射、全球定位系統GPS和慣性測量裝置三者的作用,進行逐點掃描來獲取整個探測物體的深度信息。
創新
過去十年以來,美國麻省理工學院媒體實驗室攝像頭文化小組(Camera Culture group)一直在開發一種採用「飛行時間」技術的創新的成像系統。他們開發出的新型深度傳感器的深度解析度提高了1000倍,並有望應用於無人駕駛領域。
Achuta Kadambi 是發表於《IEEE Access》雜誌上的新論文的第一作者、電氣工程和計算機科學、媒體藝術和科學專業的聯合博士生。他也參與了其論文指導教授 Ramesh Raskar 的論文,而Ramesh Raskar 也是媒體藝術和科學系副教授、攝像頭文化小組的負責人。
技術
在2米範圍內,現有的飛行時間系統的深度解析度約為1釐米。這對於當代汽車所用的輔助停車和衝突檢測系統來說已經足夠好。
正如 Kadambi 所解釋的,隨著距離增加,解析度呈指數方式下降。比方說,在一個遠程場景中,你想要自己的汽車檢測遠處的物體,從而讓你的決策快速更新。也許你會從1釐米的解析度開始,但是現在你將回到1英尺或者甚至5英尺的解析度。而且如果你犯了錯誤,這將導致生命危險。
作為對比,在2米範圍內,麻省理工學院研究人員開發出深度解析度達3微米的系統。Kadambi 也展開了測試,他發送一束光信號穿越500米的光纖,其沿途布置了固定間隔的濾波器,在將信號饋入系統之前,模擬功率跨越更長距離下降的過程。這些測試表明,在500米範圍內,麻省理工學院的系統仍然可以達到僅1釐米的深度解析度。
在飛行時間成像過程中,短的光脈衝照射進場景中,攝像頭測量它返回所需的時間,這個時間標示著反射光線的物體的距離。光脈衝越長,對光線傳播距離的測量就越含混不清。因此,光脈衝長度是判斷系統解析度的重要因素之一。
然而,另外一個因素則是檢測率。調製器,用於控制光束的打開和關閉,每秒可切換十億次。但是,如今的檢測器每秒只能進行100萬次測量。檢測率是現有的飛行時間系統解析度限制在釐米級別的又一重要因素。
然而,Kadambi 稱,另外一種成像技術的解析度更高。這項技術是幹涉測量法。通過這種方法,光線一分為二,其中一束光線保持局部循環,而另外一束光線:「樣本光束」照射到視覺場景中。反射的樣本光線與局部的循環光線重新結合,而兩束光線的相位存在差異:它們的電磁波的波谷和波峰相對對齊,對於樣本光束的傳輸距離展開精準測量。
但是,幹涉測量法需要兩束光線精準同步。Kadambi 表示,你將永遠無法在汽車上使用幹涉測量法,因為它對于振動非常敏感。他們利用了幹涉測量法的一些理念,而另外一些理念則來自LIDAR,在這裡將二者真正地結合起來。
他解釋道,他們也使用了一些聲學理念。參與過音樂合奏的人都熟悉一種稱為「節拍」的現象。比如,兩個歌唱者輕微地走調,一個的音高是440赫茲,另外一個是437赫茲,他們的聲音相互作用會產生另外一個音調,這個頻率是他們正在唱的音調的頻率差異,例如這裡是3赫茲。
光脈衝也是如此。如果一個飛行時間成像系統,以每秒10億脈衝的速率,將光線照射到場景中,而返回光線結合了每秒 999,999,999次的光脈衝,結果將是每秒鐘發出一個脈衝。商用的視頻相機可以很容易檢測到這個脈衝。而這種緩慢的「節拍」中會含有測量距離所必需的所有相位信息。
Kadambi and Raskar 並不像幹涉測量系統所必須的那樣嘗試同步兩個高頻光信號,而是採用一開始製造它時所用同樣的技術,簡單地調製返回信號。也就是說,他們有節奏地發出光脈衝。結果是相同的,但該方案對於汽車系統來說更實用。
Raskar 表示,光學幹涉和電子幹涉的結合非常獨特。他們在幾千兆赫的頻率下調製光線,這就像每秒開關閃光燈幾百萬次。但是,他們是通過電子的方式改變它,而不是通過光學的方式。這二者之間的結合正是這個系統的強大之處。
相對於低頻率系統來說,千兆赫光學系統自然地對於霧的補償更好。霧對於光學飛行系統來說是一個重要問題,因為它會散射光線:它使得返回的光信號偏斜,因此它們來得偏晚而且角度奇特。飛行過程中,在所有的噪音中隔離出真正的信號,是一個極具計算量的挑戰。
在低頻發射系統中,散射會引起光線相位輕微移動,從而很容易引起到達檢測器的信號模糊。但是,通過高頻發射系統,相對於信號頻率來說,相位移動更大。散射的光信號通過不同路逕到達,將會相互抵消:一個波的谷將與另一個波的峰對齊。威斯康星大學和哥倫比亞大學的理論分析表明,這種抵消分布得足夠廣泛,使得真正信號的辨識更加容易。
價值
這種新方案利用飛行時間成像的新方法,將深度解析度提高1000倍,使之有望應用於無人駕駛,同時也將使得精準的測距可以穿過大霧,跨越開發無人駕駛汽車的主要障礙。
關鍵字
無人駕駛、深度攝像頭、傳感器
參考資料
【1】http://news.mit.edu/2017/new-depth-sensors-could-be-sensitive-enough-self-driving-cars-1222
【2】Achuta Kadambi, Ramesh Raskar. Rethinking Machine Vision Time of Flight With GHz Heterodyning. IEEE Access, 2017; 5: 26211 DOI: 10.1109/ACCESS.2017.2775138