*清華大學猛獅智能車團隊（後排左三為張新鈺）
雷鋒網新智駕按：作為清華大學智能車「猛獅」團隊（由中國工程李德毅院士及清華大學李克強教授指導）負責人，張新鈺在2016年帶領車隊拿下「中國智能車未來挑戰賽」城市賽段亞軍，雖然與冠軍失之交臂，但這也是對他數十年智能駕駛研究成果的證明。在這漫長的生涯裡，他參與研發了國內首輛無人駕駛快遞車以及奇瑞-百度智能車的底層智能系統。2015年，其帶領的團隊所研製的智能公交車在河南鄭開大道順利完成了開放城際道路環境下的智能駕駛，這是世界上第一臺智能駕駛公交車正式路測。
正是因為在智能駕駛領域的多年積累，他近期受邀到中國圖象圖形學學會主辦的「智能駕駛與機器視覺」講習班展開分享。回顧了智能駕駛的發展歷史，詳述了智能駕駛的關鍵技術，深入解讀了智能駕駛產業化的挑戰與方向，最後，還將自己數十年在清華團隊所做的關於智能駕駛的研究和成果如數分享。
以下為張新鈺分享精華內容，雷鋒網新智駕獨家整理奉送（有刪減）。
汽車工業已經經歷了100多年的發展，而中國業已成為全球第一大汽車市場。回顧歷史，我們可以發現汽車工業經歷了幾次較大的變革。
100多年前，汽車代替馬車，成為新一代的日常交通工具，隨著汽車的普及，汽車的形態及生產工藝也在不斷進行突破。後來，汽車安全性能越來越受到重視，無論是被動安全還是主動安全，都有不斷進行探索的先驅。隨著汽車電子、通訊技術以及人工智慧的發展，汽車儼然要成為下一代的移動終端。
智能駕駛也在這一進程中不斷發展。也許我們對開始於美國莫哈韋沙漠的DARPA無人車挑戰賽已經很熟悉了，很多人都將這一賽事視作無人駕駛人才的「搖籃」，但殊不知，關於無人駕駛，其研發在世界範圍內已有很長的歷史。
從以上智能駕駛發展的歷程來看，無論是網際網路科技公司、車企、Tier 1，還是自動駕駛傳感器、系統解決方案創新公司，亦或是高校、科研機構，全都加入到大潮之中，資本、人才亦迅速湧入。
現在，人們談論最多的、市場聲量最大的，國外當屬谷歌，而國內則是百度。谷歌研究無人駕駛已經有10多年的歷史，而百度，近來聲勢浩大的要All in AI，最重要的方向當然還是智能駕駛，「阿波羅計劃」（Apollo）便是其最重要的戰略。百度要成為智能駕駛領域「安卓」的野心昭然。
為了早日實現商業化落地，谷歌無人車獨立出來以Waymo品牌存在。後來，那輛廣為流傳的「螢火蟲無人車」也在不久前宣布退役。
百度如今大肆推廣智能駕駛，通過「阿波羅計劃」向外界開放其代碼。但智能駕駛汽車是人坐的，一般人都會考慮其安全性，要讓所有人接受這一新生事物，是非常艱巨的任務。
從「阿波羅計劃」的開放路線圖可以看到，自2017年7月，百度開放了其自動駕駛基本平臺，開放的內容主要是封閉場景循跡自動駕駛。張新鈺覺得，這種技術目前自動駕駛公司、高校已經有基本的技術原型。
到第二步，百度想推廣固定車道的自動駕駛，這才是比較關鍵的。它要公布高精地圖、傳感器等一系列感知、定位技術。
然後是真正意義上的自動駕駛，這個就更加遙遠了，如果到今年年底百度能把這塊開放，那麼說明「阿波羅」真是一個很開放的平臺。
從自動駕駛的上層技術來看，百度在國內處在領先位置。2015年12月，百度的自動駕駛汽車在北京五環上進行了測試。
在那輛自動駕駛汽車上，裝配了一個64線的雷射雷達（Velodyne）。這種架構基本上是現在國內的高校以及科研機構或創業型公司所採用的，用高精度的雷射雷達方案做自動駕駛。這套設備的成本大概在130、140萬人民幣左右。當時，百度說3年後（也就是2018年）實現商業化，現在看來還有很大困難。
目前，谷歌的自動駕駛汽車已經可以在鄉村道路以及複雜路況下運行，但百度依然是在高速上實現自動駕駛。所以，從技術上看，張新鈺個人覺得現階段肯定還是谷歌的水平要更高。
但是，不管是谷歌還是百度，亦或是很多車企，現在遇到了同樣的問題，那就是「自動駕駛落地」。其中，阻礙因素有這樣幾個方面：
傳感器層面，無論是圖像、攝像頭、雷達還是GPS，在一般環境下，由於天氣、氣候或者突發情況，不可能保證100%安全。而談起雷射雷達，雖然它感知環境的效果最好，但「貴」是最大的問題。
張新鈺介紹，百度採用的64線雷射雷達價格大概在60萬人民幣左右，谷歌所使用的32線雷射雷達，成本大概在33萬人民幣。而Quanergy的S3，作為固態雷射雷達，其成本雖然據稱已經壓縮到了幾百美元至上千美元，但具體效果還沒有確切的說法，因為企業還未用其產品進行測試。
而在政策法規問題上，美國很多州已經允許自動駕駛汽車上路，但國內依然未開放。比如7月5號，李彥宏乘著自家的自動駕駛汽車上了五環，立馬被交警部門調查。政策對於自動駕駛的支持非常重要，政府需要站出來。
此外，實現自動駕駛，還需要車與車、車與路、車與周圍更為廣闊的環境進行信息的感知和交互。這一塊國內基本上是空白，可能有些試驗場有這樣的設施，但為數不多。
張新鈺認為，只有這三個方面的問題解決了，才能考慮自動駕駛汽車落地的問題。
其實，做智能駕駛，就是讓機器仿照人類去駕駛，我們要思考的是如何按照腦科學的發展來做智能駕駛。
人腦是由性格、情緒、長期記憶、短期記憶、動機以及學習和思維組成的。
如果以人腦來類比「駕駛腦」，智能駕駛其實形成的是這樣一個框架：
一般來說，人在駕駛的時候，其實是將認知、感知（駕駛過程主要通過眼睛來看）、行動（執行人腦一些行動）和反饋（反饋到人眼裡面）進行了一個循環。
智能駕駛也一樣，首先有動態感知（通過感知記憶），然後到態勢分析（包括長期記憶的進入）、自主決策，之後是精確控制（就是我們的小腦），再到行動——形成一個循環過程。
基於此，我們提出了關於智能駕駛過程的流程圖。
這個流程中，傳感器充當了人類眼睛的角色。其中包括雷達傳感器（雷射雷達、毫米波雷達）；視覺傳感器（左、中、右攝像頭）；車姿傳感器（慣導IMU、OBD接口）；定位傳感器（GPS、北鬥、輪速計）。
傳感器感知到的數據會每隔一段時間形成駕駛態勢圖，每100毫秒形成一個駕駛圖簇，構成車輛的短期記憶；長期記憶則包含了駕駛地圖以及各類駕駛先驗知識；而動機就是智能駕駛的某個路徑要求，可以通過人機互動傳達給車輛。
通過短期記憶、長期記憶以及動機不斷相互作用，車輛形成了「二次規劃」——學習和思維，其實就是人類思考的過程。
這些規劃再輔以一些緊急幹預的操作，就形成了控制的策略（類似於人小腦實現的功能）。
最後到執行機構——智能駕駛車輛。
可以看到，按照腦認知結構研究智能駕駛，它有感知域、認知域、執行。這是一個以認知為中心的智能駕駛的全域過程，可以分層看一下：
而在以上四個層面上，現今也有很多需要車企、技術公司去解決的關鍵技術問題。
具體而言，這些關鍵性技術包含感知、認知、決策、控制和執行。
這塊的內容包括在複雜行駛環境下自主式與協同式的動靜態目標檢測與跟蹤技術，重點解決的是檢測的準確性、魯棒性和實時性。
傳感器主要以單目相機、雙目相機、毫米波雷達以及雷射雷達為主，同時把GPS組合慣導系統的信息融入進去。針對不同的傳感器，可以有不同的算法，進行深度學習與構建。
智能駕駛非常關鍵的一個點是「數據融合」。因為單一的傳感器的適應性不夠、精度不高，那我們就想辦法把多傳感器的數據融合到一起，進行目標的識別或者定位。
目前，清華猛獅團隊也在做一些工作，比如數據融合，我們將相機RGB圖像與雷達數據進行融合，對人、車輛不斷進行檢測，用卷積神經網絡做訓練。
從下圖可以看到，上部是攝像頭拍下的RGB圖像，下部是雷射雷達的點雲圖像，進行融合後可以得到灰度圖：
通過這種融合，可以提高目標檢測和識別的能力。
這一塊要實現擬人認知過程中場景理解、目標危險行為預判和軌跡生成預測問題。這其實是最難的，目前研究還不是很多。
我們首先通過車內外綜合狀態感知的傳感器，獲取數據後進入到瞬態記憶池，然後再到態勢記憶池，再到自適應定位學習，最後是長期記憶池。這樣就形成了駕駛態勢，最後輸出到下一層——決策。
這個過程中，清華猛獅團隊使用基於駕駛認知計算的分割、調度、映射和加速方法進行探索。這塊是其目前做的硬體方案，這裡需要使用一些工具，包括FPGA、GPU和GPU多核運算等，加快認知計算的速度，縮短認知輸出所需的時間。
整個認知過程中，還有一個很關鍵的問題是智能駕駛定位的問題。
現在智能駕駛定位麻煩的原因在於：
這塊清華猛獅團隊也做了些工作。
上圖是一個智能駕駛定位系統，首先有一個絕對定位的系統，包括GPS、雷射雷達；還有一個相對定位的系統，有慣導IMU、圖像編碼器以及車輪編碼器。我們可以融合二者的信息來做定位融合，這樣就可以大大降低成本，因為可以用低精度GPS、雷達和慣導IMU（便宜的幾千人民幣）。
當然，不同的傳感器，在不同的條件下利用其產生的數據進行定位，效果是不一樣的，組合形式則需要更多的嘗試。
感知、認知之後，我們需要做決策，要在動態場景中進行擬人行為的決策和路徑規劃及避障，需要解決決策的有效性和實時性。
通過認知過程中的結果，把車輛的速度、加速度還有障礙物的速度、加速度都預測好，同時把車輛位置、車輛航向以及車道線的序列、交通標誌等一切信息拿出來做決策算法的輸入。其中還包括車輛動學模型、還有障礙物的威脅模型。
我們同時要把以前的專家示教序列、獎勵學習以及更新的模型參數融入到決策算法中去，最後形成這種局部點坐標和期望速度值。
傳感器的輸入信息以及決策算法導出的信息共同作用於規划算法，再引入車輛模型，形成最後的軌跡坐標和速度曲線。
這是自主決策的一個過程。
張新鈺和他的團隊提出了「基於AI的自主決策」。
簡單來說，傳感器感知當前車輛內部與外部環境產生數據，數據輸入到數據模型，數據模型會輸出車輛的運動指令到控制器，運動指令包括加速度與方向盤轉向角，控制器會將運動指令轉化為控制指令輸入到執行器，執行器執行指令後，產生執行反饋到控制器。張新鈺團隊的目標是通過神經網絡學習出數據模型。
而在智能駕駛汽車的自主決策方面，協同控制也是一大難點。
協同控制指的是全場景工況下車輛運動狀態參數自適應估計方法和多目標協同控制問題，解決動力學控制的有效性和魯棒性。
這個控制其實挺麻煩的，因為這個是底層的控制，它的非線性很不好做。
現在比較流行的，主要是基於MPC（Model Predictive Control）的協同控制，大家了解比較多的。通過全場景工況下車輛運動狀態參數的反饋和隨時域滾動的MPC，解決無人駕駛車輛縱向與橫向的實時跟蹤性，體現在隨車而動的不同時域長度的預測能力上。
前面談了很多感知、認知、決策以及控制層面的問題，最後還是要車輛本身去執行控制操作，如果車輛的執行力不行，那智能駕駛的功能實現肯定好不了。
對於智能駕駛汽車來說，要想很好地執行控制操作，在電源控制器、轉向控制器、油門控制器以及制動控制器上都要進行一些改裝。目前，國內在這塊的技術都不是很成熟，這也是影響自動駕駛落地的重要因素。
網際網路科技公司主要做軟體，以工程機上層為主；而車廠其實以下層的組裝為主，也就是OEM，也不是那麼懂車。像制動、油門和轉向等這些領域，話語權依然集中在博世、大陸這樣的Tier 1身上。比如去年清華和長安合作進行的2000公裡的自動駕駛路測，車輛的制動就是博世做的，國內現在能做這塊的公司其實不多。
張新鈺表示他的團隊都是自己改裝東西，改裝一個閥去做制動，當然這都是手工做的，沒量產。現在很多公司想創業，其實這塊是很有意義的，但著實很難。
總的來說，像油門、線控轉向這些技術都直接關係到智能駕駛車輛的精準執行，這些在目前來說也是制約智能駕駛落地的重要問題。
以上闡述的關鍵技術，基本上是針對單車智能，而智能駕駛是系統工程，涉及車與車通信、人車交互、多車間的交互等等。目前，單車智能問題還未解決好，多車智能便不會成為重點。這可能作為未來五年到十年的研究方向，大家若有興趣，可以關注。
接下來闡述一下智能駕駛產業化方面的問題。
一輛智能駕駛汽車上，搭載了相機、雷射雷達、毫米波雷達、GPS設備、後視鏡、OBD、高精地圖、慣導系統等。僅僅針對雷射雷達，如今國內外的創業公司便不可勝數。
總結起來，智能汽車產業，集成幾乎所有工業和信息領域的中高端技術為一身，鏈條長、關聯度強、就業面廣、涉及經濟領域多、消費拉動大，是國民經濟的重要支柱產業。
再來看一看百年汽車產業核心競爭力的轉移趨勢。
從上圖可以清晰地看出，以後汽車行業的競爭將會聚焦在智能駕駛技術之上。
在張新鈺看來，信息技術和智能製造已然成為熱點，智能駕駛是集位置服務、車聯網和機器人等技術於一身存在，無論是實踐雲計算、物聯網，還是研發機器人，智能駕駛都被推到風口浪尖，佔據重要位置。
針對智能駕駛，目前國際上兩大機構NHTSA（美國國家公路交通安全管理局）和SAE（美國汽車工程師學會）都有自己的分級標準，前者為5級劃分，後者是6級劃分。二者的不同之處在NHTSA定義的L4級別包括了SAE定義的L4和L5級別。
此前，特斯拉的量產車已經實現了L2級別的自動駕駛；2017年7月11日，新一代奧迪A8發布，據稱已經達到L3級別的自動駕駛，這兩款車是已經量產的自動駕駛汽車。像很多高校，其實走的路線也是從L3開始，走向更高級別的自動駕駛。
針對L4和L5的自動駕駛，谷歌、百度以及一些車企正在進行研發，但是還未量產化。
張新鈺認為，L3級別可能在2020年會比較完善，量產化車型也會越來越多；而L4、L5級別，估計還需要10年左右的時間才能實現。到那時，自動駕駛車輛需要全場景運行，車本身的結構會有很大的變化，同時要保證絕對安全。
對於智能駕駛的發展階段，張新鈺和他的團隊也有自己的劃分標準。
最初級的是離線輔助駕駛；接著局部時段、局部區域的自動駕駛；然後是自駕駛/自主駕駛/無人駕駛；最高級別的是以人為本的人機協同。形象一點來說，前兩個階段是人趕著馬兒跑，第三個階段則是馬自己跑，最後一個階段就是騎士與馬的完美共舞。
全球智能駕駛的實踐近乎火爆，儘管形態多樣、方法各異，但也趨向形成共識，從認知試驗走向認知工程，正迅速為智能汽車的產業化和市場切入開闢道路，建立全新的智能車產業生態環境。
反觀此前百年汽車工業成功的關鍵，必須要保證以下三個方面的要求：
這些要求在智能駕駛汽車上同樣需要得到保證，甚至要求會更高。目前，智能駕駛汽車的發展路線大致有以下幾種：
以傳統的汽車廠商為代表，從ADAS切入，「漸進式「地從高級輔助駕駛實現到無人駕駛的過渡。
現在很多創業公司和車企都在做ADAS這方面的功能，主要有攝像頭方案、毫米波雷達方案。後期，隨著車輛自動駕駛水平越來越高，雷射雷達也將被引入。
從攝像頭方案切入到ADAS，目前有很多內容是可以去進行嘗試的。
而毫米波雷達則被認為是ADAS的核心傳感器。
雷射雷達雖然解析度高、精度高、抗有源幹擾能力強，但是目前的價格實在昂貴。
基於以上分析，未來要做自動駕駛方案，在傳感器的選擇上會有多種多樣的配置選項。攝像頭是不是可以多用一些？毫米波雷達用多少個？雷射雷達是否可以儘量少配一些？這涉及到自動駕駛汽車的成本控制，創業者們需要去思考。
以Google、百度、Uber等為代表的網際網路公司，通過價格高昂的傳感器（雷射雷達為主），「一步到位位」地實現完全無人駕駛。
谷歌和百度的自動駕駛汽車，包括各類傳感器以及車輛本身改裝的成本等，成本基本都在100萬人民幣以上。一般的公司基本上難以承受。
以Tesla等為代表的一邊自己造車，但不按傳統汽車廠的路線發展自動駕駛，另一邊利用網際網路思維發展自動駕駛技術，利用上路產品作為測試自動駕駛系統Bug的手段，同時又打著低成本的牌。
特斯拉的量產車還可以進行駕駛數據採集，數據對將來的無人駕駛很關鍵。所以，張新鈺覺得，特斯拉最有可能實現自動駕駛商業化落地。
從上面三條發展路線來看，智能駕駛產業需要考慮的問題就包括下面這些：
不得不說，智能駕駛產業是非常龐大的，產業鏈非常長。
傳感器產業自不必說，相機、雷射雷達、毫米波雷達、慣導、GPS……本身就是很長的產業鏈。
而切入ADAS產業的公司更是數不勝數，他們做系統監測、環境監測、顯示輔助以及主動安全等功能，這一塊進入比較快，門檻也沒那麼高。
控制產業則包含了決策系統、轉向、制動、電源控制器等細分領域。現在國內在制動系統方面幾乎是空白，所以這是很多創業公司的機會。
同時，智能駕駛行業絕對不只有乘用車，貨車、巡邏車、清掃車、礦山車等都可以應用智能駕駛技術。
當然，有了海量的智能駕駛傳感器數據，對於將來的交通、保險業、呼叫中心、汽車救援等工作都大有裨益，而這也是雲計算和大數據可以施展功夫的空間。
最後，分享一下清華猛獅團隊在智能駕駛方面的一些實踐工作。
從2009年開始，清華猛獅團隊投入到飛思卡爾的微縮車平臺的研發中；到2012年，團隊開始做自動駕駛的轎車和客車。
在智能駕駛小車方面，團隊主要是在硬體和軟體方面做了一些工作。
上圖是張新鈺團隊研發的智能駕駛小車的模型。它由GPS、接收機、慣導、雷射雷達、工控機、相機、電池組成，同時有它自己的控制系統。
針對轎車平臺，清華猛獅也有自己的一套方案。
在這輛自動駕駛汽車成型前，團隊對其進行了一番系統的改造，其中包括了對車輛制動、油門、轉向、電氣系統的「革命」。
張新鈺表示，這些改裝方案都是團隊自己在做，其實是個手工方案，不是很工業化的方案，只能臨時用。他透露，改造一套轉向系統大概需要二三十萬人民幣。
經過一番改造後，清華猛獅智能車的方案最終成型：
張新鈺表示，這套設備的價格大概為20-30萬人民幣，已經屬於很便宜的方案。
這輛自動駕駛汽車目前可以實現以下功能：
除去小車和轎車，清華猛獅團隊也在進行自動駕駛客車的研發，主要是和宇通客車進行合作。
2015年8月29日，這輛自動駕駛客車在鄭開大道上成功完成路測，測試裡程約32km，含27個路段、26個路口和26個紅綠燈，路段內均為直道，限速 80km/h。有意思的是，當時《連線》對這次測試進行了報導，宇通的股票還因此大漲。目前，團隊和宇通還在無人駕駛快速公交領域進行合作。
除此之外，張新鈺和他的團隊還和京東和百度展開了合作。
車輛改裝其實是張新鈺非常看重的領域，目前國內相關公司還不多，業內較為知名的是美國的 AutonomouStuff，曾幫助谷歌和百度改裝自動駕駛汽車。他覺得國內的創業公司、研究團隊可以在該領域施展身手。
如今，張新鈺和他的清華猛獅團隊依然在智能駕駛汽車的研發道路上行進，期待未來有更多成果能應用到工業界，為國內智能駕駛發展增添動力。
*文中PPT由張新鈺提供給雷鋒網(公眾號：雷鋒網)新智駕
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。