主講人 | 輕舟智航：於騫 汪堃量子位 編輯 | 公眾號 QbitAI
矽谷「封城」前夜，讓無人車途徑搶購中的超市，會是怎樣的體驗？
3 月 21 日，這家自動駕駛公司的無人車，就經歷了這樣獨一無二的體驗。
最初，這個計劃是「在矽谷晚高峰乘無人車買漢堡」，但因為美國疫情形勢的急轉直下，最後難度大大增加。
但最終，輕舟智航的無人車還是順利完美地經受住了新挑戰、新考驗，圓滿完成既定目標——買到了漢堡。
所以這是一個怎樣的過程，對於這個過程和背後的技術，輕舟智航的兩位聯合創始人又如何解析？
在輕舟智航x量子位的技術直播分享中，輕舟智航CEO、前Waymo感知關鍵模塊的機器學習算法研發負責人於騫，輕舟智航聯合創始人、Google中國直接入職Waymo第一人汪堃，基於現場試乘的實時數據，詳細介紹了其創新技術路徑以及大規模智能仿真系統的具體應用，包括如何藉助大規模智能仿真系統復現邊界化場景、生成模擬真實場景，如何自主學習各種複雜場景、尋求最優運動規劃決策等。
如果你錯過了直播，現在也可以細緻看看這份文字實錄。
分享要點
試乘體驗技術難點解析以 DMV 年度報告談自動駕駛技術評價標準當前自動駕駛技術演化至哪一階段？自動駕駛長尾挑戰的解決之道為什麼無人駕駛規模化落地需要仿真？無人車需要什麼樣的仿真系統？矽谷「封城」前夜無人車試乘體驗
大家好，我是輕舟智航的聯合創始人和CEO於騫。
很高興能跟大家在屏幕前見面，而且是以這種比較新鮮的方式見面。
輕舟智航，一直希望以一條獨特嶄新的路徑實現無人駕駛，在公司成立之初，我們就立志打造一個輕、快、高效的團隊，這也是公司名稱的由來——兩岸猿聲啼不住，輕舟已過萬重山。
今天想要展示的，是在矽谷「封城」前夜，讓我們的無人車路經遭遇搶購、人流車流密集的超市地段。
加州「在家隔離」強制執行令發布後的3個小時，對輕舟智航來說是難忘的3個小時。
矽谷時間3月16日下午4點23分，我們收到加州相關政府發布的正式強制性命令，所有居民必須在家隔離，除非採購食物，就醫或者其他緊急情況才允許離開住所，強制性命令於當天午夜12點生效。
收到這個通知時，離生效只剩下8個小時。為了保障矽谷同事的健康安全，也是為了不違反強制性命令，原計劃於今天進行的試乘直播活動是不是只能取消？
我們沒有放棄，而是在第一時間聯繫了矽谷風險投資BoomingStar Ventures管理合伙人Alex Ren作為第三方見證者，在當天晚上7點多緊急錄製了路測視頻。
由於時間緊張，我們只有一次機會，所以這個視頻也是按照一次性錄製完成的。
為什麼我們會選擇用直播的方式做試乘體驗呢？
主要是因為直播本身會遇到許多不可控的情況，例如天氣、交通情況等，我們希望借直播向大家展示對自身技術的信心。
以上是本次試乘的部分路線圖，無人車將開到一個商業區周邊的麥當勞，經過一個汽車穿梭窗口（Drive-through），隨後穿過一個大超市和其停車場，回到公司。
Drive-through 是美國很常見的一種點餐方式，是典型的城市複雜交通環境之一。從技術上角度來看，Drive-through場景也是很有挑戰性的。
首先，其車道比單車道更窄，對定位和控制的要求都比較高，如果橫向定位和控制不精確，就會軋到路沿或蹭到建築物，如果縱向不準，就會對不準點餐窗口。
其次，在出口處便是停車場，是非結構化道路，要應對人車混雜的情況，還要通過無保護右轉進入道路主路。
最後，更有挑戰性的是這裡是正常營業的地方，不像開放道路般可以重複進行路測，而我們通過大量的仿真測試，做到了第一次上路就非常安全可靠。
以上是當天一次拍攝的一鏡到底視頻，由於疫情的影響，許多人到超市搶購物資。輕舟智航的無人車在超市附近就遇到了不少行人和車輛。
當然，對於無人車的技術評價，除了試乘體驗參考，業內也有一些行業報告，裡面也提供了一些指標，所以就著這一次分享，不妨也解讀下這份報告：
加州自動駕駛接管報告
今年2月，加州車管局（DMV）公布了2019年加州自動駕駛接管報告，引起了眾多討論，其中接管裡程數（MPI）這個指標更是引起了比較大的爭議。
在我看來，不同公司的接管標準是不一樣的，將不同公司間的接管率相比較是沒有意義的。
打個比方，如果某家公司路測的道路足夠簡單，例如沒有其他車輛、沒有十字路口、也沒有行人，那這家公司的接管率就可以做到足夠低。
但是，如果把同家公司的接管率在時間維度上進行橫向比較就比較有意思了。
以總裡程數和裡程覆蓋的多樣性都比較受業內認可的Waymo為例，當比較Waymo在2018年和2019年的接管類型時，可以發現很有意思的一點：感知所佔的比例明顯變多了，從25%升到了47%。
這是不是意味著Waymo的感知能力下降了呢？
並不是。
從絕對MPI來看，Waymo無論在感知還是運動規劃上都有了進步。
從整體比例的變化可以看到，感知佔的比例上升，更多是由於規劃決策造成接管所佔比例下降的緣故。
這也意味著Waymo在規劃決策方面有了很大的技術進步，這是非常了不起的，也是和其大規模的仿真測試應用離不開的。
大家知道，感知是一個比較確定性的問題，如何測試和評價是非常明確的，整體的方法論也是比較清楚的。
所以業內開始把注意力集中在規劃決策技術上，把規劃決策視為目前最具挑戰性的問題。
規劃決策的挑戰性可以從兩點來看：
第一，不確定性難以衡量。現有判斷規劃決策做得好壞的指標是舒適度和安全性，但這兩項指標都是比較偏主觀的。
一方面，不同人開車有不同的行為喜好，有人激進一些，有人保守一些，舒適程度本身是很主觀的一個判斷；另一方面，在安全性上，簡單的安全性指標是不碰撞，但即使是不碰撞，要是你的車總是離旁邊車就差1釐米，你也會覺得不安全。
第二，從方法論的角度來說，行業裡佔主流位置的規劃決策方法論，整體上看與20年前相比並沒有大的突破。模仿學習或強化學習的方法，在大規模實際應用時也仍然存在眾多問題。
因此，相比感知，規劃控制的提高更困難。
那麼或許也會有以下這個問題了：
自動駕駛的技術演進到了哪個階段？
自動駕駛技術，最早是從地圖和定位開始做起的，簡單理解就是先要知道自己在哪裡。
在做好地圖和定位之後，業內開始專注於感知技術，高線數的雷射雷達對感知的早期發展有重要推動作用。
在2012年學習爆發了之後，業內開始把深度學習應用在感知上，感知技術有了快速的、長足的進步。
當該檢測和識別的物體都檢測出來了，業內又發現規劃決策一點都不簡單，甚至更困難。
這時，仿真技術出現了，其出現很大程度上是為了幫助規劃決策進行更好的測試——畢竟不能每修改一次算法就部署到車上進行測試。
隨著仿真技術的採用，行業又進入一個快速的發展軌道，從2016年至今，Waymo的實際路測裡程超過1000萬英裡，比繞地球赤道400圈還多，這還只是2018年的數據。
這一條技術演進路徑，既是我在自動駕駛領域10多年經驗的一個總結，是不同時間點自動駕駛技術所專注的不同核心，也是近幾年來許多創業公司從無到有的技術構建過程——先做好建圖和定位，再做好感知，最後再開始做規劃決策和仿真。
但對於輕舟智航而言，我們從一開始便把仿真測試平臺作為關鍵核心能力，與其他模塊一同建設起來，使開發達到了十分高效的狀態。
面對自動駕駛長尾效應，自動化是解決邊界化難題的最好辦法
除了規劃決策方面的挑戰，還要提到自動駕駛行業的長尾效應。
從事自動駕駛的技術人員肯定深有體會，技術上已經解決了90%的問題，但剩下的10%卻可能要花費同樣多甚至更多的精力，這10%包括很多邊界化難題，經常被稱為Corner Case。
上圖便是一個典型的邊界化難題（Corner case），在你遇上野鴨子之前，你甚至不知道會有野鴨子的問題，所以邊界化難題（Corner case）是需要去發現，並且解決的。
那麼邊界化難題怎樣去發現並解決呢？
除了收集大量的數據，更重要的是建立自動化生產的工廠，將源源不斷收集來的有效數據，通過自動化的工具，加工成可用的模型。以更快的速度、更高效的方式應對邊界化難題（Corner case）。
以上面野鴨子的場景為例，如果需要專門針對這些場景去開發特殊的模型，那會有無窮無盡的場景需要處理。
但藉助自動化的辦法，只要數據標註好了，下次系統更新時便可以更好處理這種情況，省下大量工程師的時間。
以感知舉例是比較容易理解的，但其實規劃技術也一樣。要想讓車做出準確的規劃，最原始的方法是工程師寫規則——大量的工程師寫出大量的規則，但這種方式維護性很差還不能滿足需求；再進一步便是設計獎勵函數——設計獎勵函數比寫規則要簡單的多；再往後則是利用數據自動學習獎勵函數。這個過程便是往自動化方向發展的過程。
輕舟智航所追求的，是建立自動化規模生產的工廠，相比原本的「造梯子」，我們更希望「造火箭」。為此，就要建立大量的工具鏈以及仿真測試環境。
測試在自動駕駛裡是不可或缺的
在系統開發和測試中，有一個10x定律，指的是在概念、設計、開發、測試、發布的整個過程中，Bug每晚一個階段發現，解決成本就要更高一個數量級。
這個10x定律在自動駕駛領域體現尤為明顯，問題越晚暴露越難以解決。如果到發布後問題才暴露，那可能就是威脅到生命的災難。
從這也可以看到仿真測試的重要性，除了應用在規劃決策，仿真測試也能支撐無人駕駛技術的所有關鍵模塊的快速迭代。
可類比一個現代化工廠的生產過程，在產品發布前的每一個環節，都需要有充分的測試。
從地圖到定位，從感知到預測，再到最終的規劃決策，我們並非全部開發完再測試整體模塊，而是從一開始就同步進行。
目前行業裡，都認識到了測試的重要性，都理解自動駕駛的核心競爭力不是某一兩個單點算法，而是如何構建一個高效的數據工廠，高效快速地完成測試。
輕舟智航的測試工具是為了幫助工程師高效地開發，快速復現車輛上的問題，並提前暴露可能的潛在問題，同時也是提供一個評估系統，評價一個版本和另外一個版本比是變好了還是變壞了，而非做成給人看的好看的圖像或好看的點雲。
我們的測試系統可做到和車載系統的高度一致，在路上出現的問題，回來就能在仿真裡復現，並進行修復。保證再次上路時不出現同樣問題。我們產生的場景庫也與現實環境高度一致，因為本來就是從現實中學習來的。
做不到上述這些能力，仿真測試就只是一個擺設。有了這些能力，就能把開發效率快速提高。
創新技術路徑才能推動無人駕駛全方位、多場景的高效落地
無人駕駛領域的兩個重要議題，一個是技術路徑，一個是商業應用。
無人駕駛是一個很獨特的領域，不是沒有需求，而是有大量的需求。不論是增加安全性，還是降低人力成本，或者是提供城市交通效率，都是無人駕駛領域的強需求，但目前技術還存在各類問題，這也正是輕舟智航的機會。
在技術路徑方面，輕舟智航重視自動化和測試。有效數據、大規模智能仿真系統以及可自主學習決策規劃框架是推動輕舟智航技術不斷向前轉動的齒輪，也是我們獨特的技術路徑。
在過去一年的起步階段，輕舟智航不希望「只見樹木不見森林」——通過見招拆招的方式進入到某個具體的小應用場景，變成一家靠堆人來解決問題、無法規模化的工程公司，而是專注於修煉內功，在做到主線夠深入、橫向可擴展之後，再以輕、快的方式實現真正的無人駕駛。
在商業應用方面，我們的思路是：與其什麼都做，不如聚焦擅長的領域，與合作夥伴共同努力，將無人駕駛帶入現實。
這樣的一套齒輪，要想轉動起來，也離不開外部的行業環境。在我看來，無人駕駛行業正處於一個大發展階段。
一方面，是技術的新高度，另一方面，是政策的強支撐。技術的新高度指的是傳感器和計算單元正在高速迭代，技術人才正在升級和增加等。政策的強支撐則包括近期「新基建」裡對自動駕駛的重視、5G等配套技術的發展、配套法律法規的完善等。
可以說，這是一個最好的時間，也是為什麼輕舟智航會選擇在這個時間出現。
我們專注於適應城市複雜交通環境的L4級別自動駕駛技術，致力於打造「老司機」，希望為合作夥伴提供全方位、可量產的無人駕駛解決方案。
我們有輕、快、高效的全棧式明星團隊，有支持快速拓展的技術路徑，最後也將達到全方位、多場景的高效落地。
無人車需要什麼樣的仿真？
大家好，我是輕舟智航的聯合創始人汪堃。很高興今天有機會針對無人駕駛領域的仿真技術與大家進行交流。
市面上有許多仿真軟體，最流行的是基於遊戲引擎開發的仿真軟體。這種仿真軟體從界面的角度來說是比較好看的，像一個模擬城市，場景很真實。
與這種主流的仿真軟體不同，輕舟智航的仿真軟體界面是很簡單的，拋棄了複雜的渲染工作，僅保留了感知結果，包括3D Box和雷達點的疊加。我們為什麼不利用遊戲引擎，造一個好看的模擬城市呢？
我們總結了基於遊戲引擎開發的仿真系統的三大特點：
第一，在使用遊戲引擎的情況下，其本身的圖像渲染工作對感知的提升是很有限的，因為其中的渲染效果和真實物體是有一定差別的。
第二，在自動駕駛領域，這種Re-build軟體（基於第三方軟體開發）是缺乏測試確定性的。仿真軟體在自動駕駛領域的重要應用，就是復現某一次的路測效果。但由於這種第三方軟體的開發與自動駕駛軟體的開發是相互獨立的，很難保證其中各個模塊的確定性，導致整個仿真軟體存在不確定性，最終影響可用性。
第三，基於遊戲引擎開發的仿真器會消耗大量額外計算資源做圖像渲染，不利於大規模應用，這也影響到本身的實用性。
基於以上考慮，才有了輕舟智航獨特的仿真系統。
仿真能為自動駕駛帶來什麼？
仿真對自動駕駛的重要性不言而喻，它具有幾個優勢：
一、低成本
仿真的路測成本大約是實際路測成本的1%，甚至更少。在進行實際路測時，需要有硬體成本、傳感器成本、司機成本以及系統工程師的成本，而且一天只能有效測試8到10個小時。而利用仿真路測，在要求不高時，只需要一臺電腦和GPU，便能連續24小時進行測試。
二、靈活性
在實際路測中，遇到極端情況是很小概率的事件，而且不安全。而在仿真系統裡，工程師可以通過手工編輯或自動生成來測試眾多極端情況，保證在實際路測前有充分的驗證。
三、可擴展性
仿真的擴展性比實際道路測試的擴展性大，仿真路測裡程大概1000倍於實際路測裡程。仿真系統所需要的硬體成本是很低的，而車隊的硬體成本、人員成本以及運營成本是非常高的，隨著雲服務的發展，仿真的可擴展性將遠大於車隊的可擴展性。
四、可衡量性
在開發自動駕駛軟體時，每一天都存在大量代碼的更改以及算法的迭代，那如何知道這個月的軟體和上個月的軟體哪個表現更優？這種比較是難以通過實際路測進行的，因為在車輛有限的情況下，測試的場景以及裡程數都有限，很難得到一個可靠的統計結果。但藉助仿真，工程師能在大量場景庫裡並行地進行測試，在很短時間內便能對軟體版本進行評估。未來，在評估軟體是否達到量產水平時，仿真也是主要的測試評價技術。
輕舟智航仿真系統的系統架構以及仿真評估器分類
輕舟智航仿真系統的系統架構可以分為5層：
最底層的是輕舟智航自研的Car OS，藉助底層的通訊系統來保證模塊之間的高效通訊；
Car OS與仿真器是高度整合的系統，核心仿真器及評估器，是基於底層的Car OS接口開發的，能保證仿真系統的確定性；
再往上一層是仿真周邊工具鏈和基礎架構，可保證整個數據閉環的有效性，將全部數據高效利用起來；
第四層是大規模場景庫構建；最頂層則是分布式系統仿真平臺，支持快速、大規模的仿真應用，在短時間內得出正確評估。
輕舟智航的仿真評估器也可以分為5類：
第一類是安全性評估器（Safety Evaluator），包含是否碰撞、是否壓到路邊、是否撞到行人等評估；
第二類是真值評估器（Ground Truth Evaluator），可通過人工標註或自動標註的方式對仿真結果進行檢測對比，及時反饋給工程師；
第三類是法規評估（Law Evaluator），指的是根據交通規則進行評估，例如是否闖紅燈、是否逆行等；
第四類是舒適度評估（Comfort Evaluator），指是否有急剎等帶來不舒適感的等行為；
第五類是狀況評估（Stats Evaluator），相對比較底層一些，指根據模塊生成的中間結果，進行縱向比較得到評估的結果。
真正能用起來的仿真
從下方的真實影像中，可看到前方是沒有車輛的。
但藉助仿真，我們在場景中產生了兩輛綠色的虛擬車輛，測試車輛能否對虛擬車輛進行準確的避讓。
同樣，也產生了黃色框的行人來進行測試。視頻中的白色邊框則是當時的實際行駛軌跡。
由於麥當勞這種場景是不允許多次實際測試的，這個視頻只是眾多例子中的一個，我們實際上生成了非常多個這種類似的場景，在仿真測試中評估器，都得到不錯的結果後，才讓車輛到實際場景中測試。
此外，以上動圖也展示了仿真場景庫的自動生成的相關工作。視頻中紅色和綠色的兩個點，分別代表兩輛車的運動軌跡，這些軌跡的生成和變化，是在真實的交通數據集上，利用深度學習的方法進行訓練，再使用訓練好的深度神經網絡 (生成模型) 合成大規模的互動車輛的軌跡。
大家可以看到互動車輛的運動軌跡在不斷變化，這個變化是由於我們藉助生成模型在互動車輛的運動行為空間進行隨機抽樣而產生的。
該生成模型支持在不同地圖上合成不同的場景庫，具有真實有效，多樣豐富，以及規模擴展等諸多特性。
視頻中的兩個點或者兩輛車，是具有交互性的，它們之間可以進行正確的互動，這種互動行為不是人工手動創製，而是從真實車與車之間的互動數據中通過深度學習的方法學習而來的。
總結而言，我們認為仿真是達到規模化無人駕駛技術的唯一路徑。
首先，藉助仿真及相關工具鏈，能形成高效的數據測試閉環，支持算法的測試和高效迭代，取代堆人或堆車的方式。
其次，只有經過大規模智能仿真驗證過的軟體，才能夠保證安全性和可用性。以一個比喻作為結尾，如果無人駕駛是個賽跑，那麼仿真便是助推器，助推完全無人駕駛的實現。
關於輕舟智航
輕舟智航（QCraft）成立於美國矽谷，是世界前沿的無人駕駛公司，致力於打造適應城市複雜交通環境的「老司機」，將無人駕駛帶進現實。基於大規模智能仿真系統和可自主學習運動規劃框架，輕舟智航專注於為合作夥伴提供可量產的無人駕駛解決方案，全方位覆蓋從低速到高速、從物流到出行、從商用車到乘用車等多個應用場景。其核心團隊成員來自Waymo、特斯拉、Uber、福特、英偉達等世界頂級公司，實現了無人駕駛關鍵技術模塊的全棧覆蓋。
—完—