8.2千米外對人的姿態識別
遠程45千米主動成像圖解
透過霧霾看清45千米外的一棟樓,這不是「神話」,而是中國科學家已經實現的成果。
中國科學技術大學教授徐飛虎和研究團隊近日發表一篇題為《45千米單光子計算三維成像》(Singlephoton computational 3D imaging at 45 km)的論文。在該論文研究中,中科大團隊實現了45千米的遠距離成像,並已具備百千米成像的能力。未來該團隊會就100千米的成像技術進行深入的實驗。
徐飛虎2017年從麻省理工學院歸國開展工作,回國後加入中科大潘建偉院士團隊,一直致力於發展實用化量子信息技術。他曾首次提出單像素單光子成像方法,實現了全球最遠距離的單光子成像雷達,並保持著國際領先地位。
長距離主動成像面臨著巨大挑戰
在本次45千米成像研究之前,業內一直面臨著長距離主動成像難的困局。隨著距離的變遠,遠距離雷射雷達的回波信號會出現嚴重衰減,只能返回微弱的回波光子,而返回的光子又混入很強的背景噪聲,因此長距離主動成像一直面臨著巨大挑戰。具體來說,雷射雷達是向遠處目標發一束光,然後通過目標返回的光子,來測量一個三維圖像。比如,無人車之所以可以導航,正是雷射雷達在發揮作用。現在的問題是,如果物體離目標幾十千米之遠,那麼發光物發出的光,能返回來光子非常少。
這給應用場景帶來的常見阻礙之一,便是無人駕駛導航的能耗增大。無人車導航的一般作用距離是一千米左右。通過技術手段,降低無人車雷射雷達的能耗,一直是業界的期待。
第二個常見阻礙是空間雷射成像雷達,其涉及到兩方面。首先是地對空,即從地面對天上的飛行目標,進行遠距離的目標探測與識別。假如飛機距離地面幾十千米到上百千米,就會很難識別。其次是空對地,以衛星對地面的對地觀測為例,衛星打一束雷射下來,地面返回光給衛星,然後衛星進行探測。如果衛星距離地面四五百千米,就需要用到遠距離雷射成像手段。
基於上述常見的市場痛點,該團隊展開遠距離成像的研究,並發明了單光子相機技術。
實現遠距離亞瑞利解析度成像
本次研究的主要內容是,發展出有效的單光子相機遠距離成像方法,並實現45千米的遠距離主動成像。
2020年初,徐飛虎所在中科大團隊曾實現8.2千米的成像,並解決了解析度問題,實現了對人類不同姿態的識別。而本次成果,則在原來基礎上將成像距離提升到45千米。這超過此前英國Gerald Buller團隊實現的10千米雷射成像雷達紀錄。
45千米主動成像是什麼概念?這意味著無論在白天和晚上,觀察者都能從45千米之外,把目標大樓的輪廓、大樓的窗戶等信息準確地拍出來。
具體來說,本次研究通過亞像素掃描以及適用於遠程應用的反卷積兩種方法,最終實現遠距離亞瑞利解析度(Subsurface Rayleigh)成像。
亞像素掃描:可探測小光斑內容物
由於光學器件的衍射限制,隨著光的傳播,光束的距離越遠,擴散得就會越嚴重。以手電筒為例,晚上用它照近處的牆,會看到一個比較小的光斑;但如果用手電筒照幾十米外的牆,光斑就會擴得很大。這便是光學器件的衍射極限,也是解析度限制。
以該團隊早先研究的8.2千米成像為例,把一束光從這麼遠的距離打過去,光斑會非常大。即使用望遠鏡去調製,光斑直徑也高達半米左右。由於光斑過大,成像系統無法識別光斑裡面的內容,這一邏輯可以概括為:光斑決定著成像系統的解析度。
由於人們的日常拍照,通常在幾米範圍內,所以不會涉及高解析度。但對於遠距離特別是10千米以外的成像,解析度就非常重要。面對半米的光斑,成像系統的解析度只有半米,人的姿態等相關信息都無法識別。
為提高解析度和進行準確識別,即識別半米的光斑裡到底有哪些內容,該團隊使用了亞像素掃描技術。該技術可以理解為用手電筒照出一個大光斑,為識別光斑中的內容,就需要精細地平移手電筒,由於光斑與光斑之間的平移非常小,因此叫做亞像素掃描。此外,亞像素掃描,還可進行幾釐米光斑的移動,每移動一下就可以測到一些信號。多次移動後,就能探測出半米光斑中的內容。
反卷積算法:解決遠距離成像難題
反卷積算法的具體使用過程是,多次移動光斑後,會產生很多信號。在此基礎之上,就可以設計算法,來解決遠距離成像的難題。
利用反卷積算法,該團隊分別在白天和晚上,驗證了8.2千米外的成像。據徐飛虎介紹,該團隊當時放了一個人體大小的「模特」,當「模特」的手做不同動作時,反卷積測法可以準確識別出上述動作。而如果沒有這種方法,在成像中只有大概半米的解析度,「模特」的任何姿態都會糊成一片,根本無法識別。
「一硬一軟」:單光子探測手段
和光子有效的計算成像算法45千米成像在8.2千米的基礎上,使用新的探測技術和算法,實現了更遠距離的成像。徐飛虎說,從8.2千米的成像到45千米的成像,是巨大量級的進步。
由於回波光子都是平方關係,從8.2千米成像進步到45千米成像,回波信號基本上要降低36倍。在45千米成像上,該團隊可以把解析度做到0.5米,即可以拍出一些高樓窗戶的輪廓,甚至連窗戶是單扇、還是雙扇都能拍出來。
研究中主要用到兩項技術,一項技術是在系統上做探測,即讓一束光「行走」45千米並打到目標上,然後通過目標的漫反射返回。據徐飛虎介紹,哪怕只有一兩個光子返回,該團隊的實驗系統也能有效收集並探測到。
另一項技術是,為實現本次研究目的,在硬體上,該團隊發展出一套高精尖的單光子成像探測手段;在軟體上,該團隊則發展出新的算法——光子有效的計算成像算法。
一硬一軟的結合,正是為了解決以下難題:白天測量時返回的光子,可能是從45千米外的目標返回的,也可能來自太陽光。如果該光子是太陽光漏進來的,那就不包含任何目標信息,而只有目標返回來的光子才能幫助成像。這時就需要用算法,把太陽光的噪音光子濾掉,同時提取目標返回的信號光子。此外,因為45千米的目標太遠,返回的光子又特別少,平均每個像素大概只有一個光子。如何用極少量光子,把一個大樓的輪廓清晰地重構出來,也需要上述算法的加持。
另外,該團隊發展出一款新型雷達體系——單光子成像雷達系統。將高性能單光子收集和探測技術和光子重構算法這「一硬一軟」結合起來,徐飛虎和團隊最終創造出上述單光子成像雷達系統。他表示,該雷達系統的優勢在於其靈敏度更高、體積更小,能探測的距離也更遠,在同等探測距離需求下,能耗也更低。比如,在晴朗的白天,人們通過望遠鏡大約可以看10千米左右。通過該團隊的技術,即便在霧霾天氣下,45千米的成像也可以順利進行。
研究中,中科大團隊從上海崇明島,對上海市區另一座大樓進行拍攝,拍的過程中霧霾很重,用望遠鏡的能見度大概只有3到5千米。而通過該團隊的技術,能夠拓展到45千米。這可以理解為給用戶創造出一個新型望遠鏡,即在霧霾天氣中,依然可以看得更遠,實現「霧裡看花」。反射光太強破壞了雷達,從而導致無人導航失靈。
這跟光汙染的概念有些相似,對於雷射雷達來說,通過鏡面反射過來的陽光,就是一種光學上的噪音,即無用的光子。而他們在調試系統時,肯定不希望進來噪音,於是經常在晚上做實驗。當然,系統調好後,在白
實現全天時成像能力徐飛虎表示,本次研究曾遇到不少困難。由於45千米成像的要求較高,所以選址非常困難。他們在上海找了很多位置,找了一兩個月,才找到崇明島上的一個賓館。找到後就開始從賓館的20層,往浦東這邊進行觀測。
白天成像條件有限,很多實驗都得在晚上做,並且要不停地調試。中科大團隊的幾位博士生,在賓館熬了兩三個月,由於實驗條件艱苦,經常是熬了好幾周,才能做出比較好的系統調製。
而且,研究人員還需要從一個很糊的、噪音很大的系統裡,利用算法把圖像給重構出來。只有這樣,才能讓原本肉眼無法識別的模糊圖像,變成清晰圖像。
對於很多實驗都是在晚上做,徐飛虎解釋稱,雷射雷達的原理是發一束光到一個目標,然後目標會進行光的散射。在這種情況下,太陽光是實驗需要摒棄的,因為研究人員只需要目標返回來的光。
過去幾年,曾出現過車主使用無人駕駛輔助功能出車禍的事件,主要就是因為雷射雷達出問題。他總結稱,有兩次事故都是因為旁邊的一塊玻璃,將陽光反射到車載雷射雷達上,由於天同樣可以實現主動成像,即全天候成像。
「看見更多的光」長距離成像的常見應用場景,有衛星對地面的遠距離監測、基站雷達的遠距離檢測等等。中科大團隊的研究成果,具備在同等遠距離檢測下、能耗更低的優勢。具體到衛星監測成像來說,其一般用於觀測城市的變化,比如有哪些新的建築建成;再比如衛星可以飛到森林地段,觀測整體森林的生長狀況;此外,還可以觀測天氣,如果氣象部門從中科大團隊的產品中獲取天氣信息,那麼就可能更精確地分析天氣變化。以北京為例,加載這種成像能力的產品,好比高倍望遠鏡,用戶可以從市區看到大興機場飛機的起飛降落。目前,該團隊已經把技術拓展到100千米以上。
目前,該團隊仍需要突破一些技術局限。由於市場需求量較小,導致當前單光子探測器的造價較高,如果可以像晶片一樣量產,造價就可以降下來。
該研究涉及的技術,在業界還處於研發階段,隨著技術至臻成熟,市場就會越來越大。徐飛虎介紹稱,以車載雷射雷達為例,當前並沒有最有效的解決方案。而該團隊的成果,等於提供出一個可能的新思路,具體未來有多大的應用場景,也要看相關技術發展能否把造價降下來,以便把系統做得更好更集成。
也就是說,本次研究的成果亮點在於,相比現有系統其提供了一個能力更強的系統。本次成果的是從0到1的突破,數百千米量級的主動成像能力是傳統的雷射雷達無法做到的。不久的將來,中科大團隊上百千米成像的能力落地,無人駕駛和衛星探測等,也將得到更好的應用。