編者按:本文來自微信公眾號「矽谷洞察」(ID:guigudiyixian),作者Chelsea Yang,36氪經授權發布。
2019年末,自動駕駛巨頭Waymo 宣布收購英國公司Latent Logic,用於仿真模擬技術的提高。Latent Logic是一家從牛津大學計算機科學系分離出來的英國自動駕駛汽車公司,其開發的AI技術通過「模仿學習」來構建逼真的人類駕駛行為仿真,從而開發可擴展且高效的自動駕駛測試。
其實一直以來,Waymo都在致力於發展仿真技術,這也是它自動駕駛的支柱項目之一。而收購Latent Logic則可以幫助Waymo實現更加貼近現實的仿真技術,Latent擁有一種叫模仿學習的機器學習算法,可以仿真人類的行為,如把開車的人、騎摩託車的人和路人的行為通過將人類不完美的駕駛行為和駕駛錯誤建模出來。該方針技術可以把這些行為模擬得更加真實,進而更好地幫助Waymo做自動駕駛的預測和規劃。
而幾乎在同一時間,Uber傳出正在收購模擬軟體開發公司Foresight。Foresight於2017年成立於矽谷,為智能計程車、送貨卡車和飛行汽車等新興移動機器人提供供軟體和數據服務。如果收購Foresight,Uber也能較快提升其在自動駕駛仿真測試環節上的實力。
(Uber路測出事車輛,圖片來自網絡)
看起來,各大自動駕駛企業都相繼在仿真技術上發力。那麼,仿真技術到底是什麼呢,它對於自動駕駛的發展為什麼如此重要?
(Waymo仿真圖像,圖片來自網絡)
眾所周知,自動駕駛汽車的感知能力非常重要,需要在行駛過程中靈敏地識別道路上的物體,如其他的車輛、行人、路標、紅綠燈、建築物、樹木等等。但是,在天氣惡劣的時候,如下暴雨、暴雪、陽光極其強烈、以及沒有燈光的夜晚,感知和識別能力都會大打折扣。比如當強光照射在某個容易反光的物體上時,自動駕駛汽車安裝的攝像頭可能會被強光影響而錯誤地識別該物體。
這些極端條件並不會經常發生,但要想處理好這些情況,就需要讓自動駕駛汽車大量地被置於這些情景中,然後通過神經網絡和機器學習算法不斷學習相關的處理能力,所以這時候,仿真環境就提供了完美的虛擬實境路測環境,能夠模擬極端情景,讓自動駕駛汽車能持續不斷地可以學習處理的技能。
那麼仿真環境模擬都包括哪些具體的內容呢?
自動駕駛汽車從本質上可以理解為一個控制環路,包含了四個基本要素,物理環境、傳感器、控制器和制動器。當汽車在真實環境中行駛時,傳感器會感應識別到車輛周圍的物體(如靠Liar和Radar識別行人、其他車輛等),根據這些被感知的物體,控制器會控制汽車做出相應的反應指令(比如是行人的話,就會命令汽車停車),最後制動器就會根據控制器發出的指令來做出對應的驅動汽車的反應(如收到是行人該停車的信號後,就會控制汽車讓汽車停車)
駕駛情景仿真指的就是,擁有完整控制環路的自動駕駛車輛被放置在包含了道路、隨意行走的行人、路標、建築物等虛擬實境的駕駛環境中。通過構建出成千上萬、各種各樣的駕駛環境,仿真就可以測試出汽車的控制環路是否按照預期工作了。
自動駕駛汽車的傳感器主要包括Radar、Lidar等,通過電磁波等來檢測物體,能夠與攝像頭互補,如陽光太刺眼影響攝像頭拍攝時,Radar、Lidar的穩定性能就能派上用場了。
對傳感器的性能仿真分析是自動駕駛仿真系統中最重要的環節,主要是通過高保真的物理分析來實現預測傳感器性能的變化,比如,能夠通過雷達方向圖和增益來實現。並且傳感器仿真還能預測在極端天氣下,雷達等傳感器在真實情況中的性能變化,相比於現場去測雷達的實際變化情況,仿真預測成本相對低很多,且時耗小。
(Waymo傳感器系統,圖片來自網絡)
此外,自動化的功能安全分析,電子硬體、半導體、軟體算法都可以用仿真技術來模擬。仿真的主要模型包括傳感器模型、車輛動力學模型、行人模型、靜態虛擬場景模型、動態交通流模型、天氣氣候模型、駕駛行為模型等。
Waymo此前向美國交通部門提交了一份有43頁的安全報告,在報告的第三部分,測試和驗證方法中也描述了Waymo的仿真技術是如何幫助其實現先進的現實世界駕駛技巧。每天,都約有2.5萬輛虛擬的Waymo自動駕駛汽車在仿真軟體中測試,它們的裡程數高達800萬英裡。
Waymo的仿真技術已經非常成熟,且仿真種類繁多,在這裡給大家舉一個小例子來看看Waymo是怎麼對車輛在十字路口左轉做仿真的。
在Waymo路測的主戰場亞利桑那州的街道上有一個十字路口,自動駕駛車輛想要左轉,此時面前的圓形綠燈亮起,對於人類駕駛員來說,在這種交通燈面前都需要非常小心、謹慎,需要判斷對向車是不是有很多、是否在緩慢行駛,判斷看是否能夠在車流中找到縫隙通過,或者是否對向車很少、在很快地行駛,那就需要停下來等待等對向車通過後再左轉。如果左轉過早可能會和對面車相撞,如果左轉過晚又有可能引起後方交通堵塞。
而仿真模擬器在這種情況下,能給自動駕駛車輛提供很多的練習機會,讓汽車在每種情況下反覆學習,來實現學會轉彎的技能。
具體的實現過程如下:
首先Waymo需要不斷測試,測試數量高達數千次。在同一路口模擬不同的駕駛場景測試,並且在不同路口反覆練習,直到新學會的這個轉彎技能,以此提高通用時的運行速度。
接著是創建眾多變量,來實現改變駕駛場景,這個改變駕駛場景的過程被Waymo取名為fuzzing(模糊)。可以改變車流的速度、交通信號燈的時間,以及增加等待過馬路的行人、自行車道等,來讓駕駛場景更加複雜、貼近現實,然後觀察這些變化的因素是怎麼影響Waymo的車駕駛的。
(Fuzzing模型建立,圖片來自網絡)
最後是檢測驗證和不斷迭代,當自動駕駛汽車在仿真環境中學習到了左轉後,這種技能就會被錄入知識庫,然後與其他車輛共享。這種在仿真中學習到的技能又會被反哺運用到現實場景中去驗證,然後循環整個過程來改進,最終要能確保在現實道路上、長達數百萬英裡路測時的安全性。
為了實現全集成式的自動駕駛車輛檢測,Waymo在加州花重金打造了一個完全密閉的測試場地,叫Castle,佔地91公頃,非相關人員都無法進入。
(Castle道具倉庫,圖片來自網絡)
這個地方更像是一個封閉的小城鎮,裡面各種道路情景應有盡有,如高速公路、鐵路道口等,還有眾多的塑料道具,如行人、路障等,為了幫助仿真建模和驗證,Waymo在Castle設置的交通模擬場景高達2萬多個,比如玩滑板的人躺在滑板上,停在路邊的車上突然有人下來,不管後面的車輛急速變道的汽車等。
目前市場上自動駕駛仿真軟體主要有三類,第一類是專門的自動駕駛模擬仿真軟體,第二類是基於遊戲引擎做的仿真軟體,所有很多做仿真的工程師都有做遊戲的背景,第三類是基於機器人仿真軟體做的仿真器。
仿真軟體能夠重枸各種極端、突發情況的情景,通過對參數的微調、修改,又能重組出各式各樣新的突發情景。而實際的路測場景中很難遇到這麼多的突發情況,且很多極端情況都非常的危險,比如一個小孩突然衝出馬路,再比如在冰天雪地的高速公路上,這些路測的情況發生時,都需要承擔很大的風險。而通過仿真技術,這些極端情況就可以輕易重現,省時又省錢。
仿真還有一個好處在於,在仿真環境中,自動駕駛汽車可以在短時間內實現規模龐大的路測。Nvidia的CEO黃仁勳在歐洲Nvidia GPU開發者大會上稱,利用Nvidia的DGX和Tensor RT 3做駕駛仿真,工程師可以在5小時內完成48萬公裡的路測,按照這個速度計算,要測試完美國所有的道路,僅僅需要2天。
所以,眾多自動駕駛公司都在斥重金,抑或發展自己的仿真技術,抑或是收購一些專門研究仿真技術的公司,目前也有很多專門做仿真技術的公司像雨後春筍拔地而起,如成立於2015年的谷歌系公司Drive.ai,目前在4輪融資中已經獲得了7700萬美元。
(Drive.ai仿真圖,圖片來自網絡)
當然,仿真技術也存在著眾多局限。仿真所需要建立的模型都是非常難的,比如目前對電磁場的仿真一般僅限於天線設計,很少被用到情景仿真中,導致了仿真軟體對Radar和Lidar的建模都比較簡單,而且無法對環境電磁學進行仿真。並且,對傳感器仿真的時候,要想建立一個完全符合電磁學原理(電磁信號反射特性、強度等)都困難重重。
要想突破自動駕駛汽車目前在客服情況時「一驚一乍」的反應、加快機器學習的學習進程,還需要各家自動駕駛公司快速地實現仿真技術地不斷更新換代。時間、資本和人才對於這場戰役來說都成了至關重要的因素。
對於自動駕駛仿真技術,你們看好哪家公司呢?你們認為誰會率先在自動駕駛上取得裡程碑式突破?歡迎大家留言討論!
參考文章:
https://xw.qq.com/cmsid/20190404A02PS200?f=newdc
https://www.google.com/amp/s/amp.theatlantic.com/amp/article/537648/
https://www.google.com/amp/s/amp.theatlantic.com/amp/article/537648/
https://www.therobotreport.com/drive-ai-self-driving-simulation