基於機器視覺的汽車智能駕駛系統

　　1、引言

本文引用地址：http://www.eepw.com.cn/article/201710/368474.htm

　　隨著社會的發展和人口的增長，汽車越來越多的進入我們的日常生活，交通也日益擁擠。駕駛汽車是一項複雜的活動，長時間的駕駛很容易使人感到疲勞，從而容易導致交通事故。此外一些工程車輛在作業時環境惡劣、勞動強度大，這些車輛的駕駛自動化是非常有必要的。為了使汽車駕駛操作簡單、安全、舒適，把人從繁重枯燥的汽車駕駛中解脫出來，當今世界各國都在積極研究開發自動駕駛技術。

　　德國、美國和日本等國在汽車自動駕駛領域開展了積極的研究並取得了很大的成績。我國國防科技大學機電工程學院一直在進行汽車自動駕駛技術的研究，其與第一汽車集團公司聯合研製的無人駕駛型「紅旗」CA7460於2003年6月在湖南長沙試車成功，穩定行駛時速達130KM/h（美國最高水平 100KM/h、德國120 KM/h），最高時速達170 KM/h，具備安全超車能力。但他們的系統主要是依靠車載雷達、紅外測距儀和圖像傳感器來識別測量路面環境狀況，所得到的路面環境信息不豐富，不能滿足汽車智能駕駛的要求，所以這些系統都還只能在路況良好的高速公路上應用，無法適應道路環境惡劣的低級公路和城市公路。

　　視覺是人類觀察世界、認識世界的重要功能手段，人類從外界獲得的信息約有75%來自視覺系統，特別是駕駛員駕駛需要的信息90%來自視覺。在目前汽車輔助駕駛所採用的環境感知手段中，視覺傳感器比超聲、雷射雷達等可獲得更高、更精確、更豐富的道路結構環境信息。隨著計算機技術的發展和圖像處理/識別技術的成熟，機器視覺技術獲得長足的發展，目前廣泛的應用在三維測量、三維重建、虛擬實境、運動目標檢測和目標識別等方面。在汽車的自動駕駛發麵，一個前提性的問題就是路況識別和車輛、障礙物的距離、速度檢測，解決了這個問題才可能去控制汽車的駕駛。而機器視覺技術融合三維測量和圖像識別技術於一身。

　　目前，機器視覺在智慧機器人領域的研究熱火朝天：Klaus Fleischer等人提出的基於機器視覺的城外公路基礎設施固定對象的檢測與跟蹤;D. Brzakovie等人提出道路邊緣檢測在移動機器人導航中應用 ; O.Djekoune等人提出基於神經網絡的視覺引導機器人導航。這些研究成果對機器視覺在智能駕駛中應用有著重要的啟迪。

　　本文把機器視覺技術為主要的路況感知手段應用到車輛自動駕駛中去，為實現車輛智能化駕駛提供一個不同的思考角度。

　　2、機器視覺技術

　　自從MARR視覺計算理論提出以來，機器視覺技術迅速發展，是目前智能駕駛領域發展最快的技術之一，也是智能駕駛領域研究的主要方向之一。

　　2.1機器視覺基本原理

　　獲取場景中各點相對於攝像機的距離是立體視覺系統的重要任務之一，場景中各點相對於攝像機的距離可以用深度圖（depth map）來表示。機器視覺系統主要是依靠雙（多）目CCD在不同的空間位置上上獲取兩（多）幅圖像，通過這兩（多）幅圖像的深度信息和成像幾何來生成深度圖（圖1所示）。

　　本文以比較簡單常用的雙目CCD視覺系統為例，它的幾何關係如圖所示。它由兩個完全相同的CCD攝像機（攝像頭）構成，兩個圖像平面位於同一個平面上，兩個攝像機（攝像頭）的坐標軸相互平行，且x軸重合，攝像機之間在下x方向上的間距為極限距離B。

　　

　　圖1 雙目立體視覺幾何模型

　　在圖中，場景點P在左右圖像平面中的投影點分別為P左和P右，假設坐標系原點與左透鏡中心重合，比較相似三角形PMCl和PlLCl得到：

　　 （1）

　　同理，從相似三角形PNCr和PlRCr，得到：

　　 （2）

　　合併上面兩式：

　　 （3）

　　其中F是焦距。

　　由上面推導可知各種場景中的深度信息可以通過計算視差來實現。在機器視覺系中統要能準確的計算視差，一個重要的前提就是能夠找到左右圖像對中投影點的共軛對（場景中同一點在不同的圖像中的投影點稱作共軛對），即立體匹配。匹配的方法主要有邊緣特徵匹配、區域特徵匹配和相位匹配三類。立體配對是機器視覺裡面研究的一個重要方向，在這方面有很多有用的研究成果，O.Djekoune等人在文中提出了應用神經網絡的方法提高立體像對的匹配速度和準確度的新算法。

　　2.2 機器視覺技術在智能駕駛中應用

　　在智能駕駛中應用機器視覺技術，機器視覺技術必須具備實時性、魯棒性、實用性這三個特點。實時性要求機器視覺系統的數據處理必須與車輛的高速行駛同步進行;魯棒性是要求智能車輛對不同的道路環境如高速公路、市內公路、普通公路等，複雜的路面環境如路面的寬度、顏色、紋理、彎道、坡度、坑窪、障礙與車流等，各種天氣晴、陰、雨、雪、霧等均具有良好的適應性;實用性指智能車輛能夠為普通用戶所接受。

　　目前，機器視覺主要用於路徑的識別與跟蹤。與其它傳感器相比，機器視覺具有檢測信息量豐富、無接觸測量和能實現道路環境三維建模等優點，但數據處理量極大，存在系統實時性和穩定性問題，要靠開發高性能的計算機硬體，研究新算法來解決。隨著計算機技術和圖像處理技術的飛速發展，三維重建道路環境為車輛高速智能駕駛提供強大的信息，在不遠的將來具有現實可行性。

　　機器視覺的道路識別基本原理為，公路路面的環境（白色路標、邊緣、路面顏色、坑窪、障礙物等）的CCD圖像灰度值和圖像紋理、光流有差異。根據這種差異，經圖像處理後可以獲得需要的路徑圖像信息，如方位偏差、側向偏差、車輛在道路中的位置等信息。將這些信息與車輛的動力學方程相結合，可構成車輛控制系統數學模型。

　　3、智能駕駛系統的結構設計

　　（1） 機器視覺系統

　　機器視覺系統的硬體構成：主要由參數、型號、性能一樣的兩個CCD攝像頭、兩片同樣的視頻採集卡和計算機上的視頻處理軟體構成。我們利用左右兩路CCD攝像頭攝取的照片對進行圖像處理而得到相關的深度信息，必須保證左右兩路CCD攝像頭信號是同步的，否則攝取的圖片不對應，就無法正確的提取相關深度信息。因此我們左右兩路CCD攝像頭是經過同步處理的攝像頭，就是從左路攝像頭的幀同步電路裡引出幀同步信號到右路CCD攝像頭的幀同步電路裡，從而保證左右兩路的圖像總是同步的。

　　機器視覺處理軟體系統主要是擔負著障礙物檢測識別、交通信號檢測識別、交通圖案識別檢測、公路邊緣識別檢測、彎道弧度識別檢測和前方車輛距離速度檢測和路面坑窪坡度識別檢測這些主要信息的提取，在這些信息數據的基礎上進行道路環境的三維重建。機器視覺處理軟體系統處理得到的道路環境信息和輔助系統的多傳感器的信息進行融合，結合車輛動力學模型（已經有很多科學家在研究模糊控制技術和神經網絡技術在車輛動力學模型上的應用）和車輛行駛狀態參數，由車輛行為決策調度系統做出合理的決策調度，然後由路徑規劃系統生成合理的路徑規劃和車輛控制命令，對汽車進行控制。

　　公路邊緣識別檢測關係著汽車能否正確識別公路，尤其是缺乏交通圖案的低等級公路。我們機器視覺檢測公路的邊緣信息和公路的寬度信息。公路的邊緣檢測，對CCD攝取的圖像進行二值化處理，就可以提取出公路邊緣;公路寬度信息檢測，利用左右兩路CCD攝取的公路圖像進行立體匹配，提取裡面的深度信息，依據機器視覺理論計算出公路的寬度。依據其他傳感器的數據確定汽車在公路中的位置和汽車的行駛狀態參數，做出合理的路徑規劃，優化控制汽車在公路中的位置，做好路徑跟蹤，不至於行駛中偏離公路路面。

　　交通圖案、道路標識、交通信號的識別檢測。交通圖案包括常見的斑馬線、車道線、箭頭等。這些交通圖案都是有固定的顏色（比如斑馬線都是白色的）和固定的形狀，因此對他們的識別只要使用簡單的圖像處理，然後對照我們預先建立的交通圖案模型就可以快速的識別。交通標識識別就要相對麻煩一些。有些交通標識上面有文字，我們不僅需要利用圖像處理技術提取這些文字信息，而且需要分析這些文字蘊含的交通信息。交通信號包括交通信號燈和交警旗語，他們都有固定的運行模式，可以預先建模，然後根據圖像處理結合其他傳感器的信息，進行檢測識別。

　　前方汽車、障礙物的距離、速度的檢測和識別。能否安全準確的識別檢測出前方汽車、障礙物對汽車智能駕駛是十分關鍵的。不僅要識別出前方汽車、障礙物，而且要檢測出它們的運動速度、運動方向和離本車的距離，要能依據連續幾次測定的它們離本車的距離和運動速度、運動方向預測出它們的可能運動軌跡，為本車超車、減速、規避障礙物、降低危險風險提供可靠的數據。利用機器視覺技術，可以使用基於成像模型的對應點估計三維運動檢測方法和基於光流的估計的三維運動檢測方法。模型法、光流法有很多成熟的算法可以選擇，有利於系統程序的實現。

　　機器視覺系統中攝像機標定：攝像機標定的目的是確定攝像機的內外部屬性參數並建立空間成像模型，以便確定空間坐標系中物體點與它在圖像平上像點之間的相應關係。攝像機的標定分為攝像機內部參數標定和外部參數標定。內部參數確定了攝像機內部的幾何和光學特徵，不隨攝像機的移動而改變;外部參數是確定攝像機像平面相對於客觀世界坐標系統的三維位置和朝向，攝像機移動後，需重新校正。本文中攝像機隨車運動，但我們所需要的參數都是內部參數，只需預先標定攝像機的內部參數就可以。

　　

　　圖2 智能駕駛系統結構框圖

　　（2） 主控制系統

　　整個智能駕駛系統的核心是主控制系統，它負責各種傳感器的信息採集、識別，然後進行處理，最後依據處理後的信息進行車輛行為決策調度，規劃路徑並生成汽車控制命令。本文整個智能駕駛系統的設計思想也是基於模擬人工駕駛來進行的，主控制系統是汽車的大腦，機器視覺系統好比人的雙眼。主控制系統一旦出現系統死機或者控制軟體運行不穩定，則會帶來車毀人亡的重大交通事故。而主控制系統計算機工作環境惡劣，汽車在高速行駛的時候震動很大，靠近汽車引擎的部位溫度較高，為了保證主控制系統的安全穩定的運行，主控制系統計算機應該選用高性能高穩定的工控機。

　　（3） 輔助測距定位系統

　　主要包括車載GPS定位系統、測距雷達、電子地圖等。隨著交通信息化的發展，基於GIS的電子地圖已經開始應用在日常汽車駕駛中。基於GIS的電子地圖它包括了大範圍層次的地理位置信息，可以利用它來設定大的方向上的汽車駕駛的宏觀路徑。然後通過車載GPS全球定位系統來確定汽車當時位置點的地理位置信息，把它跟電子地圖上該點的地理位置信息比較，就可以知道汽車現在處於我們設定的宏觀路徑中的什麼位置，可以防止汽車在自動駕駛的時候走錯路口，走錯方向，偏離預先設定的宏觀路徑。基於GIS的電子地圖和車載GPS全球定位系統的綜合運用，保證了汽車能在宏觀上按照我們預先設定的宏觀路徑進行自動駕駛而不偏離我們預先設定的路徑。

　　車載測距雷達主要是輔助機器視覺系統在一些特殊的環境下測定前方車輛的速度和距離，以及路面障礙物的距離。因為跟人一樣，由雙CCD構成的立體視覺系統在天陰、大霧、暴雨等能見度不好的條件下，對前方車輛障礙物的識別效果會有很大的降低，測定車輛（障礙物）速度和距離更存在精度上的誤差，不能測定能見度外的前方車輛和障礙物。而車載測距雷達可以在天氣晴好的時候輔助立體視覺系統提高測量車輛（障礙物）的距離精度和測量車輛（障礙物）速度的精度，在惡劣天氣可以彌補立體視覺測量效果不好的缺點，提高系統的可靠性。

　　（4） 車輛行駛參數檢測系統

　　車輛行駛參數檢測系統的主要作用是檢測汽車的前輪轉角、後輪速度、油門大小等車輛行駛狀態的關鍵參數，為主控制系統進行車輛決策調度和路徑規劃提供參數。這個系統相對簡單，車輛行駛狀態參數都被車輛儀表檢測出，只要想把這些參數讀取到主控制系統就可以。

　　（5） 執行機構

　　整個車輛的自動駕駛執行機構主要是電液壓伺服系統，由多個伺服油缸來完成各種駕駛汽車的動作，它模仿人類駕駛汽車的動作，推拉各操縱杆，完成汽車換檔、加速、減速、轉向、停車、熄火等一系列工作。控制電液壓伺服系統的核心部件是離合器ECU（electronic control unit），檔位ECU，轉向ECU，油門ECU，剎車ECU這五個各司其職的電子控制器（ECU）來接收並執行主控制計算機經過決策調度計算後發出的控制命令，命令的執行主要是靠ECU把命令信號放大然後送達電液壓伺服系統進行機械執行。

　　4、結語

　　智能駕駛中的機器視覺技術是一項很複雜的技術，它需要進行更多更細緻的研究。目前的難點和重點主要集中在快速有效的立體配對、道路環境的快速三維重建和機器視覺處理的實時性上，有很多科學家已經在這方面進行了深入的研究，新的研究成果無疑講推動機器視覺技術在智能駕駛中引用。