傳感器融合是將來自多個雷達、雷射雷達和攝像頭的輸入整合到一起,形成車輛周圍環境的單一模型或圖像的能力。由此產生的模型更加精確,因為它平衡了不同傳感器的優缺點。
這其中,還涉及到單一類型傳感器的融合(重疊視場)效果。比如,多個雷達同時探測相同目標,通過利用部分重疊的視場來提高感知精確度。
當然,車輛上的傳感器越多,融合技術就越具有挑戰性,但提高性能的機會也就越多。這其中,單一類型傳感器的自融合,也是趨勢之一。
一、毫米波雷達雷達,空間巨大
比如,早前奧迪的數款車型上就搭載了雙長距雷達用於ACC等前向ADAS的感知,目的是為了解決單一雷達在探測距離和探測角度上的「矛盾」。
不過,此後,奧迪開始啟用一顆雷射雷達來代替其中的一個毫米波雷達,當然,成本也大幅上升。
考慮到霧、塵、雨或雪等惡劣天氣,近日一家研究機構重新提出了雙毫米波雷達實現重疊視場來解決解析度的瓶頸。這被視為提升惡劣天氣感知能力的廉價方法。
方法就是在車輛前方布置兩個毫米波雷達,相隔距離差不多接近一輛車的橫向寬度,這意味著,系統比單個雷達傳感器看到更多的空間和細節。
為了證明性能,研究人員採用了人工霧機來模擬惡劣天氣,他們的系統精確地預測了前方車輛的3D幾何形狀,而相比而言雷射雷達基本上沒有通過測試。
傳統認知概念下,雷達成像質量差的原因是,當無線電波在物體上傳輸和反彈時,只有一小部分信號會反射回傳感器。因此,車輛、行人和其他物體以稀疏的點集的形式出現。
「這就是使用單一前向毫米波雷達進行成像的問題。它只接收到幾個點來代表場景,所以感知很差。」研究機構負責人表示,基於兩個常用雷達組合將通過增加反射點的數量來提高感知能力。
當然,目前汽車行業也在加快4D成像雷達的量產步伐,比如,大陸集團已經宣布新型ARS 540毫米波雷達,這款4D成像雷達最快將於明年部署量產。
而今年年初,海拉宣布與美國初創公司Oculii(傲酷)建立戰略夥伴關係並且參與了戰略投資,通過整合後者開發的4D高清點雲雷達軟體方案。
針對十字路口的橫穿車輛和行人,傲酷雷達可以在FOV120範圍內檢測任何此類橫穿的車和人。雙方預計,第一款產品將在2023年投入批量生產。
顯然,對於汽車製造商來說,並非所有企業都會在短時間啟用還未大規模量產的4D成像雷達技術,同時,雷射雷達的大規模搭載也會在短期內受制於高昂的開發費和不低的成本。
但基於毫米波雷達在全天候情況下的性能表現,創建一個高解析度可識別區域的冗餘感知已經迫在眉睫。
此外,該研究機構也著手克服多雷達的另一個問題:噪聲。在雷達圖像中經常出現不屬於任何物體的隨機點。傳感器還可以接收到所謂的雜亂的回波信號。
尤其是同方向,更多的雷達意味著更多的噪音。因此,該團隊開發了一種新的算法,可以將來自兩個不同雷達傳感器的信息融合在一起,生成無噪聲的新圖像。
這項工作的另一個創新是,該團隊構建了第一個多雷達感知數據集,數據來自多個雷達的重疊視場,用於訓練算法和測試。
實時交通中預測車輛尺寸的多雷達系統,紅盒子是預測,藍盒子是真值測量。
該數據集由實時交通和模擬霧天條件下的晝夜駕駛場景的54000個雷達數據幀組成。此外,後續還將增加雨天等其他惡劣天氣的更多數據收集。
公開消息顯示,該團隊目前正與豐田公司合作,將新的多雷達技術與攝像頭進行再融合。研究人員表示,這有可能取代雷射雷達(至少不會成為唯一路徑)。
二、協同雷達,提供新的落地思路
有一些機構將上述多雷達系統稱為協同雷達技術。
「認為該技術已經成熟,在該領域幾乎沒有什麼進展。」一些行業人士表示,這是一種誤區。不管是4D成像雷達還是協同雷達領域都出現了改變遊戲規則的新創新。
一方面,從傳統軍事領域轉移高精尖的雷達技術,面臨很多不確定的風險,同時初期成本高昂。
另一方面,對於汽車行業大規模應用而言,任何傳感器的關鍵的挑戰不僅在於減小尺寸、重量和功耗,還在於在降低成本的同時提高性能。
對於毫米波雷達來說,不僅要學會目標探測,還要學會目標分類。這對雷達圖像解析度的要求比同類系統高得多。
對於高級別量產自動駕駛系統來說,在不增加尺寸、成本和能耗預算的情況下,將角度解析度提高到所需的水平是目前毫米波雷達的制約因素之一。
同時,增加來自低反射率目標的反射點數目,大幅降低檢測的延遲,特別是對橫向移動的物體,好處是提高系統的反應時間,並允許車輛在緊急情況下採取規避行動。
更為關鍵的是,實現高解析度雷達在價格可接受的汽車市場(尤其是中低端車型)突破成本約束也至關重要。而早期,任意一種新的傳感器導入,對於OEM來說,開發費高昂。
當然,效果是非常直接的。4D成像雷達具有1度到2度角解析度(甚至可以做到更低),比傳統雷達解析度增加5-10倍。這意味著,在前方行人探測上,高解析度可以對三個靠近的行人進行分開定位。
為了實現更高的解析度,4D成像雷達採用了高帶寬的信號處理以及數字波束形成和相控陣技術。所有這些都需要大量的硬體支持和處理能力。
「僅僅用更昂貴的硬體來解決這個問題,是一種『蠻力』的方式來帶來更高解析度的解決方案,」ADI公司相關技術負責人表示。
更關鍵的是,為更高的解析度付出的代價就是更多的數據,從而需要更多的計算能力。當然,不可否認的是,高效的中央處理,或邊緣處理,將是未來任何一種形式雷達的基礎。
下一步,協同雷達或許是另外一個可行的方向。
「協同雷達,利用汽車上現有的雷達傳感器硬體,是未來汽車領域的發展方向之一。」上述負責人表示,協同創建高解析度的相干圖像有很多優勢。
其介紹,協同雷達可以提供成像雷達性能,而不顯著增加汽車上現有的單個雷達系統的尺寸。這是因為有效孔徑現在是由視場重疊的兩個(或多個)分布式雷達傳感器之間的距離決定的,而不是由任何一個傳感器的物理尺寸決定的。
ADI的方法是,在算法上實現多雷達波的相干,有重疊區域的視場。每個傳感器向中央處理器發送數據,或者從一個雷達向另一個雷達發送數據,並在邊緣傳感器處進行處理。
在系統中使用相同的硬體的情況下提高系統的綜合性能。ADI的協同雷達方法允許雷達之間產生多幅非相干圖像的相干疊加。
比如,來自每個雷達的傳輸被一個物體反射,並被兩個雷達接收器捕獲。結果,你會得到2倍的對同一目標的感知(或兩種不同的感知)。
此外,由於兩個雷達協同工作,雷達孔徑(與性能成比例)是兩個雷達之間的距離,這種方法允許具有成本效益的傳感器設計,可以放置在車輛周圍的多個點。
三、雷達自融合+4D成像,路線圖之爭
事實上,這也可以理解為雷達本身的融合。
在同樣數量的硬體條件下,協同雷達模式提供了兩倍的性能。或者,這種方法可以使用一半的雷達信道保持原有相同的性能。
「這意味著,我們得到的解析度是單個雷達單獨實現的兩倍。雖然也需要額外的處理能力,但現有汽車級DSP/MCU可以充分滿足這些處理需求。」上述負責人表示。
融合兩個獨立的雷達圖像,比獨立完成的圖像解析度更高。這也符合未來實現ADAS的感知融合趨勢。
而過去單一雷達的另一個瓶頸,在於計算橫向速度的能力,即使是最好的機器學習算法,也需要大約300毫秒來進行足夠低的誤報率的橫向運動檢測。
對於時速100公裡每小時的車輛來說,前方行人的探測,毫秒的時間就能決定是否會造成生命危險,這意味著傳感器的反應時間是至關重要的。
由於協同雷達的有效孔徑和融合圖像的方式,有能力準確地在30ms測量周期計算橫向移動速度。
此外,當兩個雷達協同工作時,由於角度偏移,可以實現三角測量,捕獲運動目標。比如,從第一個雷達波束感知到行人,然後30毫秒後,從第二個雷達波束感知移動位置。
相比於傳統的攝像頭,協同雷達能夠在十分之一的時間內識別橫向穿越的移動物體。「這種方法直接解決了汽車製造商目前和未來面臨的總擁有成本(TOCO)挑戰。」ADI相關負責人表示。
不過,ADI也在積極部署4D成像雷達的解決方案。相比於傳統雷達,能夠一次測量物體的距離、速度、角方位和高度。
成像雷達利用水平角度、距離和都卜勒的高解析度來探測每個維度的微位移。未來,垂直解析度也將成為成像雷達系統的重要組成部分,為系統的安全性和冗餘度提供又一保障。
此前,ADI與4D成像雷達初創公司Astyx達成了合作協議,為後者提供相關的晶片級解決方案。該公司也在今年被通用汽車旗下自動駕駛公司Cruise收購。
而ADI的4D成像雷達技術能力同樣也來自收購的一家公司,名為Symeo GmbH(來自德國慕尼黑)。這家公司的雷達技術最初是在西門子內部開發的,隨後在2005年被剝離出來。
高解析度成像雷達的「熱潮」,直到Waymo在今年初發布的第五代自動駕駛硬體平臺首次披露成像雷達應用,達到頂峰。
這個由Waymo獨立開發的成像雷達,從天線罩、天線、電路板、機械外殼、固件、軟體等等都是公司自主研發。
成像雷達將解決現有毫米波雷達的重大缺點——低解析度無法在遠處區隔相近的物體並進行具體對象識別(人、車還是樹)。
此外,成像雷達還可以解決一系列其他挑戰,包括消除誤報和漏報、實時處理4D成像產生的大量信息,以及減輕相互雷達幹擾,從而支持更安全和更準確的決策。
在《高工智能汽車》看來,感知組合的多元化,將是接下來不同汽車製造商針對不同價格區間和車型定位的綜合選擇。