Mathworks資深應用工程師王鴻鈞:仿真加速自動駕駛功能的開發 |...

2020-12-13 雷鋒網

Mathworks資深應用工程師 王鴻鈞

雷鋒網(公眾號:雷鋒網)新智駕按:10月26日至27日,2018 全球智能駕駛峰會在蘇州召開,本次峰會由蘇州市相城區人民政府主辦,蘇州高鐵新城管理委員會、雷鋒網&新智駕和數域承辦,邀請到來自主機廠、科技公司、資本機構和產業研究機構等領域的多位專家,共同打造了一場智能汽車和自動駕駛領域的頂級峰會。

自動駕駛龍頭企業Waymo的秘密武器之一是模擬系統Carcraft。駕駛模擬系統能夠提高數據的利用率、以低成本的方式構建極端場景,對自動駕駛進行驗證。事實上,所有有志於以自動駕駛顛覆未來出行方式的企業,都會注意到自動駕駛模擬器的重要性。

10月27日,Mathworks資深應用工程師王鴻均在2018全球智能駕駛峰會上發表主題為《以仿真加速自動駕駛功能的設計、實現與驗證》的演講,分享頂尖軟體開發商和供應商眼中仿真加速自動駕駛所需要的功能,以及如何實現、驗證。

他主要介紹了Mathworks的MATLAB和SIMULINK兩個主要產品,以及它們是如何在自動駕駛中發揮作用的,並介紹了兩個實際應用案例。

以下是王鴻鈞演講全部內容,雷鋒網新智駕進行了不改變原意的編輯: 

Mathworks作為工具軟體提供商,在系統供應商的背後以自己的力量默默推動著自動駕駛系統的發展。包括整機產品裡面,或多或少都有Mathworks參與的成分。

Mathworks和MATLAB、SIMULINK

Mathworks公司來自美國,公司的宗旨是加速工程與科學的進程。不管是做科研還是做產品,在各種各樣的系統開發過程中Mathworks的這種基於仿真的工程軟體越來越多地發揮作用。Mathworks主要產品是MATLAB、SIMULINK。

MATLAB作為一個領先數學計算軟體,距今已有35年的歷史了。MATLAB語言已經成為一個工業標準的高級編成語言,它被廣泛的應用於算法開發數據計算,數據的可視化以及數據的分析當中。

SIMULINK是基於車輛控制系統框圖對動態系統建模和仿真。然後去分析系統的特性、完成系統的設計。同時SIMULINK軟體支持模型到嵌入式代碼的自動轉化,可以將建立的系統模型轉換成C或者C++的代碼,把這些代碼直接用到嵌入式系統當中,省去了手寫手動編碼的一個過程,同時SIMULINK提供了非常多的工具箱,可以使用它去進行自動控制系統的設計、信號處理和通訊系統的設計,以及各種物理對象的建模。

MATLAB和SIMULINK如何用於開發自動駕駛功能

王鴻鈞介紹,Mathworks可以作用於自動駕駛開發的三個分析:

第一個方面是控制,MATLAB、SIMULINK是一個自動控制的行業標準的軟體,可以使用MATLAB、SIMULINK去進行系統的建模,進行控制算法,以及先進控制算法的開發,包括在自動駕駛裡面經常用到模型預測控制算法的開發。可以進行仿真、進行算法的設計等等,同時用SIMULINK自動對進行進行回歸測試。

第二個方面是感知,在感知層Mathworks可以開發視覺算法,雷達算法,包括雷射雷達算法,可以對採集到的數據進行可視化,對傳感器收集到的數據進行分析,包括去設計深度學習的算法。Mathworks可以直接在MATLAB當中完成深度學習神經網絡的設計、網絡的訓練以及網絡的部署。也可以生成用於GPO的代碼或者是FPGA的代碼,可以直接把它部署到相應的硬體。

第三個方面是導航,Mathworks可以使用MATLAB進行路徑規劃的算法的仿真,同時和機器人作業系統之間有良好的連接性。

此外,作為一個通用的數學平臺,MATLAB還提供了非常多的其它功能,比如數據分析,大數據或者基於大數據的機器學習等等。

功能安全方面,自動駕駛系統是高安全性等級要求的系統,Mathworks對系統功能安全方面有一系列認證的要求,比如ISO26262的認證,Mathworks提供了一整套的驗證和測試的工具鏈,可以幫忙完成認證的工作。

Mathworks和Scania的應用案例

合作夥伴Scania是Mathworks工具應用的典型案例,它用Mathworks工具開發部署,用AEB的傳感器融合算法。目前AEB也是已經開始作為一個歐盟的標準,強制安裝在貨車上面,在國內也是很快會成為下一個需要強制安裝的對象。

在系統原理上,傳感器融合的算法是從兩類傳感器採集到周圍的環境感知數據。第一類傳感器是毫米波雷達,第二類傳感器是攝像頭的圖像數據,Mathworks針對這兩個傳感器採集到周圍車輛目標檢測的結果去進行一個融合,然後獲得周圍環境的一個準確感知。

需要通過搭載了雷達傳感器和視覺傳感器的實驗車輛進行大量公路的實驗,然後區別採集到傳感器第一手原始的數據,把這些數據使用數存儲下來。傳統上來說,如果設計了一個新的算法,進行了一輪新的迭代,需要從頭進行路試,然後把新的算法再進行整個100多萬公裡的公路測試,但是顯然這個效率是非常低的,所以Mathworks採用一種重複仿真的工作流程,這中間最關鍵的核心環節就是仿真,也就是採集到了150萬公裡的實車數據之後,不需要再去進行公路測試了,可以把這些數據放到資料庫裡面去,使用設計算法去運行這些數據。Mathworks通過仿真的環節進行一個虛擬的測試,可以進行快速的迭代,每修改一輪算法之後只需要在伺服器上面運行仿真的環境,然後在這個仿真的環境裡面測試算法就可以了。

Scania統計的結果是:每運行一次150萬公裡的仿真需要的時間是12個小時,只需要12個小時就可以替代150萬公裡的公路測試,這是一個非常高效率的行為。

MATLAB在整個傳感器融合算法的開發過程中提供了一個完整可視化開發的環境,以及一個圓形算法。MATLAB提供的功能包括:視頻的播放、視頻上的一些疊加顯示,包括目標框的識別、車道線的識別以及右邊鳥瞰圖的繪圖,把這些部分組合起來就可以獲得一個圖形化的傳感器融合的開發界面,同時Mathworks提供了MATLAB Coder,這是是從MATLAB代碼轉換成C或者是C++嵌入式代碼的一個工具。直接使用MATLAB Coder就可以將其轉換為C或者C++代碼。得到C代碼以後,就可以把這些算法用於計算機或者一些嵌入式系統,只要獲得了C或者C++代碼就可以很容易進行移植工作。

Mathworks和Voyage的應用案例

Voyage是美國一個比較新興的自動駕駛公司。Voyage在2017年公開了一些自動駕駛計程車運行的信息。Voyage是怎樣使用MATLAB 和Simulink來開發他們的車輛縱向控制的呢?

首先Voyage用Simulink進行縱向模型控制器的仿真。然後生成一個ROS節點,和ROS這類系統是有一個比較好的互通性,因為Mathworks提供了相應的支持,可以生成C++代碼,用於生成ROS的節點,同時生成的ROS節點,用戶可以把它集成到ROS開源軟體的框架裡面去。框架裡面還有其它的組件,包括感知與規划算法在內,可以很方便的把其中一部分功能用MATLAB和SIMULINK去補,通過模型開發,然後再進行代碼生成。

Voyage的一個硬體負責人說:「我們一直在尋找一種快速原型產品的開發方式,我們發現用SIMULINK進行控制器的開發和代碼生成,同時使用MATLAB實現開發任務的自動化,可以幫助我們進行快速的迭代,能夠大大提高我們整個產品的開發效率。」

Voyage很快速的從MATLAB當中提供一個參考事例的基礎上進行仿真,並且生成控制器的C++代碼,在三天之內就集成到了實車上進行測試。其實它存在非常多的問題,實在功能上,對它需求的定義也不是很完善,需要在實車上進行大量的實驗,去完善控制器的設計需求。

對起停這兩個狀態分別做設計,分別設一個獨立的控制算法,然後組合起來,形成一個完整的縱向控制器,Voyage在實車測試的時候,發現了這些新需求,針對這些新的需求完善設計,去修改控制器。反覆加入了這類需求之後,Voyage再去修改SIMULINK,和SIMULINK裡的算法設計。最後去完成模型預測控制的參數迭代,以及一些邊界約束條件迭代等等,使得整個控制器的性能越來越好,就可以往產品化的方向繼續努力。

Mathworks提供一系列仿真自動駕駛功能的參考程序

目前絕大多數已有的汽車產品處於L1-L2階段,在歐盟的標準裡面,2020年是L1普及甚至成為強制標準的階段。L2在一些車輛上已經實裝了,現在有些產品已經有了L2的功能,比如說TGA、交通擁堵輔助這類功能就是典型L2的功能。

L3以上的技術目前為止並不成熟,Mathworks的demo也在不斷優化完善中,目前提供了一個簡單的仿真框架,就是使用雷達和視覺傳感器,傳感器融合模型預測控制等等模塊進行系統閉環仿真的MATLAB。這個框架當中包含了控制器、傳感器模型,可以在這個基礎上快速進行原型系統的仿真。可以通過SIMULINK當中一些樸實無華的功能去對仿真過程當中的信號進行分析。

控制器包括兩塊內容:第一塊是傳感器融合與目標跟蹤;第二塊是右邊ACC控制算法。使用模型預測控制可以把這部分分別生成C++代碼。對於車輛建模,車輛屬於被控對象,需要用到車輛動力學模型,所以Mathworks也推出了車輛動力學模塊庫,同時也支持3D顯示,仿真過程可以通過3D畫面顯示出來。

同時Mathworks也支持批量的自動化測試,因為個自動駕駛功能的測試需要用到大量場景,甚至是幾十萬上百萬公裡的測試場景。Mathworks提供了一個駕駛場景設計器可以去畫一些簡單的測試場景,也提供了一些預製的駕駛場景,AEB、ACC等等的測試場景,Mathworks也支持Open driver道路文件的導入,用戶可以去導入一些已有的道路去進行場景設計,去進行仿真。

還可以使用SIMULINK Test去運行自動化的批量測試,載入測試運行測試,分析結果,所有的這些動作都是自動化的,最後可以生成一份測試報告,在測試報告中可以分析哪些測試通過,哪些測試不通過。

最後如果還想把圖像算法或者是雷射雷達算法等集成到整個閉環的仿真當中,Mathworks還提供了一種是可以和「虛幻」引擎的3D道路場景進行協同和仿真的方法。MATLAB通過插件可以使用虛幻編輯器去創造一些自定義的場景,並與SIMULINK進行協同和仿真。

「虛幻」引擎這一類的場景設計工具,有著相對豐富的資源和素材。同樣Mathworks的三維遊戲引擎也可以用來去進行雷達傳感器或者雷射雷達傳感器的建模,整個系統仿真環境也可以把它放到硬體在環、甚至是車輛在環仿真裡面去。因為Mathworks的車輛模型傳感器模型都是可以生成C或者是C++代碼的,可以分到仿真機這種實時計算機裡面去運行。

「虛幻」引擎可以在桌面上運行,把嵌入式控制器連接起來就可以形成一個硬體在環仿真的環境。在傳統上,MATLAB和SIMULINK本身提供了一套基於模型設計的微開發流程完整的工具鏈。

在整個需求定義模型設計完成之後,還要做相應的軟體設計和代碼生成,Mathworks擁有Simulink Coder這類基於模型的驗證工具,包括代碼驗證工具、進行實時仿真測試的工具等等,這些工具都可以幫助用戶進行一個實際產品的開發。

Mathworks最後都是面向嵌入式的處理器或者嵌入式的系統進行產品的實現。同時Mathworks也提供了大量的經過認證的工具,幫助用戶滿足功能安全標準。

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 自動駕駛仿真平臺VISTA推出,大幅優化自動駕駛汽車測試和部署時間
    將來,研究團隊希望 VISTA 能從單一駕駛軌跡仿真進化到模擬所有類型的路況,例如白天和黑夜以及晴天和陰雨天氣。此外,他們還希望模擬一些有很多車輛參與的複雜交叉路口。 在自動駕駛方面,關於豐田的公開信息並不多。此前,豐田曾與英偉達建立合作,利用英偉達的全套生產套件來開發、培訓和驗證自動駕駛技術。2019年,豐田推出了基於雷克薩斯LS 500h改裝的自動駕駛測試車。
  • MathWorks發布有助於設計ADAS及自動駕駛系統的Release 2017a
    值得一提的是,R2017a包含一款名為 Automated Driving System Toolbox 的新產品,其有助於工程師設計、仿真和測試 ADAS 以及自動駕駛系統。除此之外,R2017a 還包含對 86 款其他產品的更新和補丁修復。
  • 中國首部自動駕駛仿真藍皮書《中國自動駕駛仿真技術研究報告(2019...
    《中國自動駕駛仿真測試技術研究報告(2019)》是目前為止第一部全面介紹中國自動駕駛仿真測試發展現狀的工具書,既結合了當前學術機構的前沿研究成果,又結合了領先企業的最新工程實踐,內容涵蓋自動駕駛仿真測試所有領域,包括:仿真測試市場需求分析、方法應用、搭建技術方案、軟體現狀、虛擬場景資料庫、示範區測試方法介紹、標準介紹、挑戰及發展趨勢八個部分
  • 在智能駕駛的開發中,為什麼仿真的作用越來越重要?
    選擇好的執行器件非常重要,特別是 EPS,死區過大往往會讓你和工程師們有抱頭痛哭的衝動; 5. 智能駕駛開發,仿真平臺的作用愈發關鍵了,實車測試遇到典型場景的密度太低,造成測試效率數量級上的落後。
  • ASAM:自動駕駛仿真測試標準引領者
    ASAM推出的標準涉及多個汽車標準領域,包括仿真、車聯網、測量與校準、診斷、自動化測試、軟體開發、ECU網絡和數據管理與分析等。2016年,德國聯邦經濟與能源部(BMWi)啟動PEGASUS項目,旨在開發一套自動駕駛功能測試程序,以促進自動駕駛技術的快速落地。
  • 浪潮VIRES中汽數據聯合發布支持百萬場景並發的自動駕駛仿真計算方案
    北京2020年12月21日 /美通社/ -- 12月19日,在GTC China 2020大會上,浪潮聯合VIRES和中汽數據有限公司發布了自動駕駛高並發仿真解決方案,為創新車企提供針對私有雲部署的高並發大規模仿真計算模式,幫助用戶極大地縮短測試時間,節省仿真業務構建和服務的部署成本,加速自動駕駛技術開發,推動自動駕駛汽車的商業化進程
  • ASAM正在成為自動駕駛場景模擬仿真測試標準引領者
    ASAM推出的標準涉及多個汽車標準領域,包括仿真、車聯網、測量與校準、診斷、自動化測試、軟體開發、ECU網絡和數據管理與分析等。   2016年,德國聯邦經濟與能源部(BMWi)啟動PEGASUS項目,旨在開發一套自動駕駛功能測試程序,以促進自動駕駛技術的快速落地。
  • 遊戲也能開發汽車?沃爾沃推出「高度仿真駕駛模擬裝置」
    11月24日,沃爾沃在其「開放式創新中心」舉行了一場直播活動,現場首次亮相了「高度仿真駕駛模擬裝置」。該項設施利用了最新的遊戲技術,配合上現實模擬裝置,有望在安全與自動駕駛技術領域取得重大突破。目前整套仿真駕駛模擬裝置由可移動駕駛席、帶觸覺反饋方向盤以及VR頭戴式顯示設備構成。官方表示,這套系統的模擬程度已經提升到一個新的高度,讓體驗者很難真正分清虛擬與現實。這套仿真駕駛模擬裝置採用了實時3D開發平臺Unity以及芬蘭VR設備製造商Varjo的技術,不僅能夠模擬駕駛車輛,也能夠將整套技術移植到真車中。
  • 沃爾沃汽車「高度仿真駕駛模擬裝置」利用最新遊戲技術開發更安全...
    近期,沃爾沃汽車創新專家團隊在其「開放式創新中心」舉行了一場現場直播活動,演示了沃爾沃汽車「高度仿真模擬裝置」。工程師將其稱為「高度仿真駕駛模擬裝置」,並不只是讓玩家沉迷遊戲的藉口。相反,沃爾沃汽車將藉助這款開創性的混合現實模擬裝置,力求在安全與自動駕駛技術領域取得新的重大突破。
  • 51VR披露自動駕駛仿真平臺細節,更大的布局在5G、智慧交通
    近期,圍繞自動駕駛仿真平臺,雷鋒網新智駕與51VR創始人兼CEO李熠及51VR無人駕駛事業部產品與商務負責人張帆博士進行了對話。據悉,51VR下一階段的布局在智能交通(智慧交通)、智慧城市。51VR創始人兼CEO李熠提到,目前智慧交通解決方案還處於Zero階段,年內將升級至功能完善的智慧交通One版本。
  • 如何用自動駕駛系統工具箱設計和驗證多目標跟蹤算法 | 硬創公開課
    MathWorks 今年推出自動駕駛系統工具箱(ADST),藉助這個新的工具箱提供的一系列設計和驗證工具,能夠更快速地開發感知算法,並簡化算法的驗證工作。本文內容是 MathWorks 應用工程師王鴻鈞在雷鋒網(公眾號:雷鋒網)與中國汽車工程學會組織的公開課上的分享。由雷鋒網編輯與整理。
  • 自動駕駛開發者利器:華為雲自動駕駛雲服務Octopus亮相上海車展
    該服務基於華為雲,提供自動駕駛數據、訓練以及仿真三大子服務,助力車企開發者快速開發自動駕駛產品,共同探索智能網聯汽車時代。華為雲自動駕駛雲服務Octopus包含自動駕駛數據、訓練和仿真三大子服務,覆蓋自動駕駛數據、模型、訓練、仿真、標註等全生命周期業務,將有力提升企業的自動駕駛產品開發效率。  數據服務:處理車載硬體平臺上輸出的傳感器數據,回放雷達、攝像頭等不同格式的數據;支持PB級海量存儲、交互式大數據查詢和海量數據治理。
  • 如何使用DFT App進行硬體加速仿真設計
    使用 DFT App 進行硬體加速仿真 硬體加速能夠縮短執行徹底 DFT 驗證所需的仿真周期。同時還能驗證各種規模和複雜性的晶片的功能。 30 年來,人們一直使用硬體加速仿真部署可重複編程的硬體來增加驗證周期,而新的部署模式使這項技術成為更可行的驗證工具,同時也為「App」的方法奠定基礎。
  • 參賽者的商業故事:自動駕駛落地已到臨界點,這些領跑者一步步走到...
    截至到 2020 年,中國駕駛員輔助系統市場也將迎來爆發點。但在自動駕駛落地進程中會遇到很多問題,例如如何分析周邊複雜道路環境,如何開發一套全新的自動駕駛測試流程, 如何將一款合格的駕駛輔助產品交付給整車廠,並最終交付給消費者?
  • 中汽數據周博林:ASAM 標準助力自動駕駛仿真測試落地
    仿真是自動駕駛領域的一項關鍵技術,能夠幫助自動駕駛汽車在模擬的極端環境中進行測試,同時,提高測試效率、降低測試成本。然而,相對於計算機科學、晶片等其它領域,針對自動駕駛的仿真測試才剛剛起步,尚且存在著許多新問題;尤其是在實際發展過程中,整車廠、供應商以及仿真工具提供商使用的數據格式與接口沒有統一標準,導致各方之間的合作受到一定的阻礙。
  • 李斯特合作MSC軟體 提供自動駕駛仿真測試技術
    (圖片來源:李斯特官網)蓋世汽車訊 據外媒報導,當地時間3月27日,海克斯康(Hexagon)旗下公司MSC軟體(MSC Software)與奧地利李斯特內燃機及測試設備公司 (AVL List GmbH)宣布建立合作夥伴關係,在自動駕駛(AD)仿真和測試,
  • 騰訊自動駕駛總經理蘇奎峰:軟體與服務是騰訊自動駕駛業務的核心...
    我們在考慮當下技術條件的時候,要去看應用場景,哪些更適合落地,就更關注哪些點。騰訊做自動駕駛,是想更多助力這個產業,給產業提供更大的幫助。總結起來,自動駕駛大概分幾個落地場景,一個是乘用車自動駕駛,一個是礦山、港口、物流等特定應用場景,未來最大的也許是無人駕駛計程車,Waymo 以及國內很多公司都在做這樣的場景測試和驗證。
  • 華為、騰訊、百度扎堆進入的自動駕駛仿真市場,到底藏著怎樣的秘密?
    在希迪智駕產品總監宋漢辰看來,目前雖然各家都在自建仿真平臺,但都面臨著建立完整仿真體系的資源佔用和功能全面性兩個問題,「仿真環境的搭建需要用到一長串的工具鏈,涉及大量的研發和適配,特別是與硬體適配完成的平臺上,使用效率會提高很多。
  • 雷鋒網公開課 | 騰訊孫馳天:遊戲技術助力,突圍自動駕駛仿真刺激...
    基於此,騰訊推出了三大自動駕駛核心產品:大數據云平臺、仿真測試平臺和高精度地圖平臺,助力車企開發自己的算法和數據平臺。2018年推出的騰訊自動駕駛仿真平臺TAD Sim,是騰訊結合專業遊戲引擎、工業級車輛動力學模型、虛實一體交通流等技術,打造的虛實結合、線上線下一體的自動駕駛仿真測試系統。