業界| 從集成方法到神經網絡:自動駕駛技術中的機器學習算法有哪些?

2020-12-03 機器之心Pro

作者:Savaram Ravindra等參與:Lj Linjing、蔣思源

機器學習算法可以融合來自車體內外不同傳感器的數據,從而評估駕駛員狀況或者對駕駛場景進行分類。本文將粗略講解一下各類用於自動駕駛技術的算法。

如今,機器學習算法正大規模地用於解決自動駕駛汽車產業日益增多的問題。結合 ECU (電子控制單元)傳感器數據,我們須加強對機器學習方法的利用以迎接新的挑戰。潛在的應用包括利用分布在車體內外的傳感器,比如雷射探測、雷達、攝像頭或者物聯網(IoT),融合各類數據進行駕駛員狀況評估或者駕駛場景分類。

運行車載輔助系統的相關程序可從數據融合傳感系統接收相關信息進行判斷。比如,如果系統注意到駕駛員有不適的情況出現,其可以令汽車改道去往醫院。這項技術基於機器學習,且能對駕駛員的語音及動作進行識別,同時還有語言翻譯。算法總的來說可以分為監督式學習和非監督式學習兩大類。二者的區別在於學習方式不同

監督式學習通過給定的訓練集來學習,該學習過程一直持續到模型達到預設的期望值(即錯誤率達到最小)。監督式學習算法可以分為回歸、分類以及異常數據檢測或降維算法等幾大類。

非監督式學習試圖從可用數據集中學習到其內部結構與模式。這意味著,基於提供的數據,算法旨在推導出一種關係,以便根據各個數據之間的相似度來檢測模式或者將數據集內部數據自動分類。無監督算法很大一部分可以進一步分類為關聯規則學習和聚類算法等。

強化學習算法是介於非監督式學習和監督式學習的另外一類機器學習算法。對於每個訓練樣本來說,監督式學習有對應的類別標籤而非監督式學習沒有。強化學習則是將時間延遲和稀疏標籤作為獎勵機制的一部分。在環境中學習的行為方式取決於獎勵機制的設置。強化學習的目的在於了解算法的優劣勢並對算法進行改進。該算法有望用於解決實際應用當中產生的大量問題,涵蓋從人工智慧到工程控制或操作研究的方方面面,而這些都關乎自動駕駛汽車的發展走向。強化學習可分為間接學習和直接學習兩大類。

在自動駕駛技術中,機器學習算法的主要任務之一就是持續渲染周圍環境並預測周圍環境可能產生的變化。這些可以分解為以下三個子類:

目標檢測目標辨認或者目標識別分類目標定位和運動預判

機器學習算法可大致分為四種:決策矩陣、聚類算法、模式識別和回歸算法。每種可以用於兩個或多個子任務。比如,回歸算法可以用於目標定位以及目標預測或者行為預判。

決策矩陣算法

決策矩陣算法系統地分析、識別及評估信息本身和值之間的關係,這類算法主要用於作出決策。汽車是否需要制動或左轉是基於算法對物體的下一次運動的識別、分類和預測給定的置信度。決策矩陣算法是由從各種角度獨立訓練,並由各決策模型組成的模型矩陣。其優點是將這些預測結合起來進行總體預測,同時降低決策中錯誤的可能性。AdaBoosting 是其中最常用的一種算法。

AdaBoosting(Adaptive Boosting 的簡稱)

AdaBoosting 是將多種學習算法組合起來,可用於回歸或者分類。與其他機器學習算法相比,該算法克服了過擬合問題,但對異常值和噪音數據通常比較敏感。為了構建出強學習方法,AdaBoost 通常會進行多次迭代,這也是其被稱為『適應性』增強算法的原因。AdaBoosting 如同其他提升方法一樣通過集成一些弱學習器的學習能力從而進階成一個強學習器。具體到算法,AdaBoost 在之前學習器的基礎上改變樣本的權重,增加那些之前被分類錯誤的樣本的比重,降低分類正確樣本的比重。之後,學習器將重點關注那些被分類錯誤的樣本。這樣的結果就是我們將得到一個比弱學習器的分類器精度更高的分類器。

AdaBoost 有助於將弱閾值分類器提升為強分類器。上圖具體展示了 AdaBoost 的實現的場景。弱分類器嘗試在數據維度中取得一個理想閾值,使得數據能分為兩類。分類器在迭代以及每個分類步驟之後得到調用,改變錯誤分類樣本的權重,從而創建了一個類似強分類器的級聯弱分類器。

聚類算法

遇到某些情況(比如系統採集的圖像不清晰,難以用於定位和檢測;或者使用分類算法有可能跟丟檢測對象),系統無法對目標進行分類並匯總報告。其原因也許包括數據不連貫,數據樣本太少或圖像解析度低等。聚類算法能夠專門從數據中發現結構,通過分層和設置質心點的方法來建模。所有方法都旨在利用數據的內在結構將數據分門別類,且保證每類的數據擁有最高的相似性。K-均值聚類、層次聚類和多類神經網絡是其中最具代表性的算法。

K-均值聚類

K-均值聚類是一種十分出名的聚類算法。該算法將樣本聚類成 k 個集群(cluster),k 用於定義各集群的 k 個質心點。如果一個點比其他任何質心點更接近該簇初始的質心點,那麼這個點就存在於該簇類中。質心點的更新則根據計算當前分配的數據點到簇類的歐氏距離來進行。將數據點歸於某個集群則取決於當前的質心點是哪些。

K-means 算法示意圖。叉表示各集群質心點,點表示訓練數據(a)原始數據集(b) 隨機設定的初始質心點(c-f) 兩輪迭代之後的數據分布。每個訓練數據在每次迭代中分配給最接近的聚類質心點,將該類數據的均值作為聚類質心,更新聚類質心點。

模式識別算法(分類)

高級駕駛輔助系統(ADAS)的傳感器獲得的圖像由各種環境數據組成,但確定對象類別須濾掉圖像。所以我們需要濾除無關數據來實現。在分類對象之前,模式識別在數據集中是很重要的一步。這種算法被稱為數據簡化算法

數據簡化算法有助於減少對象的邊和聚合線(擬合為線段和圓弧)。直到在某個結點,聚合線與邊連成一條直線,此後出現一條新的聚合線。圓弧和形似圓弧的線也類似。各種圖像的特徵(圓弧和線段)組合起來,用於確定某一物體的特徵。

相較於 PCA(主成分分析法)和 HOG(定向梯度直方圖),支持向量機(Support Vector Machines)是高級駕駛輔助系統(ADAS)中常用的識別算法。與此同時,K 近鄰(KNN)和貝葉斯決策法則也同樣經常用到。

支持向量機(SVM)

支持向量機(SVM)主要在於如何定義決策邊界或分離超平面。SVM 的超平面會在保留最大間隔的情況下把不同類別的數據分隔開。在如下示意圖中,數據分屬紅綠兩類。一個超平面將紅綠數據分開。任何落在左側的新對象都將標記為紅色,落在右側的都將標記為綠色。

回歸算法

該算法非常適用於對事件的預測。回歸分析對兩個或者兩個以上變量之間的關係進行評估,並核對出變量在不同程度上產生的影響。通常有以下三種指標:

回歸曲線的樣式因變量的類型自變量的數量

圖像信號(攝像機或雷達)的啟動和定位在高級輔助駕駛系統中起著重要的作用。對於任何算法而言,最大的挑戰在於開發基於圖像特徵選擇及預測的模型。

給定物體在圖像中的位置與該圖像,回歸算法可以利用環境的重複性創建出一個關系統計模型。該模型允許圖像採樣,並提供快速在線檢測和離線學習模式。它還可以進一步擴展到其他物體而無需大量人工建模。作為在線實時輸出以及對物體存在的反饋,算法將自動返回該物體的位置。

回歸算法亦可用於短期預測和長期學習。可以用於自動駕駛的回歸算法包括決策森林回歸,神經網絡回歸和貝葉斯回歸等

神經網絡回歸

神經網絡可以用於回歸、分類或者非監督式學習。這類算法可以基於無監督將未經標註的數據進行分類,或者在監督訓練之後用來預測後續的數值。神經網絡通常使用 logistic 回歸作為網絡的最後一層將連續性的據轉換成 1 或 0 這樣的離散型變量。

上圖中可以看到,『x』 是輸入數據,特徵從網絡結構的輸入層開始傳遞。在向後傳遞沒經過一條邊時,每一個特徵值『x』會被乘以一個相應的權重『w』。所有乘積之和將通過一個激活函數 ReLU 使結果可用於非線性分類。ReLU 十分常用,它不像 sigmoid 函數那樣在淺層梯度情況下易趨於飽和(當輸入非常大或者非常小的時候,神經元的梯度是接近於 0 的。如果這樣,大部分神經元可能都會處在飽和狀態而令梯度消失,這會導致網絡變的很難學習)。ReLU 為每個隱藏神經元提供一個激活輸出並傳遞到下一個輸出神經元中。這意味著執行回歸的神經網絡包含單個輸出節點,且該節點將先前層的激活數值總和乘以 1。圖中的神經網絡預測『y_hat』便是結果。『y_hat』是所有 x 映射的因變量。我們以這種方式使用神經網絡,從而通過與 y(單個因變量)相關的 x(多個自變量)而預測連續值結果。

原文地址:http://www.kdnuggets.com/2017/06/machine-learning-algorithms-used-self-driving-cars.html

相關焦點

  • 機器學習算法盤點:人工神經網絡、深度學習
    機器學習算法盤點:人工神經網絡、深度學習 佚名 發表於 2016-08-01 16:26:33   機器學習無疑是當前數據分析領域的一個熱點內容。很多人在平時的工作中都或多或少會用到機器學習的算法。
  • 機器學習算法匯總:人工神經網絡、深度學習及其它
    以下為原文: 學習方式根據數據類型的不同,對一個問題的建模有不同的方式。在機器學習或者人工智慧領域,人們首先會考慮算法的學習方式。在機器學習領域,有幾種主要的學習方式。常見算法有邏輯回歸(Logistic Regression)和反向傳遞神經網絡(Back Propagation Neural Network) 非監督式學習: 在非監督式學習中,數據並不被特別標識,學習模型是為了推斷出數據的一些內在結構
  • 盤點| 機器學習入門算法:從線性模型到神經網絡
    原標題:盤點 | 機器學習入門算法:從線性模型到神經網絡 選自Dataconomy 機器之心編譯 參與:王宇欣、吳攀、蔣思源為了實現機器學習,算法是必需的。算法被寫入計算機並在其剖析數據時給與其需要遵循的規則。 機器學習算法經常被用於預測分析。在商業中,預測分析可以用於告訴企業未來最有可能發生什麼。例如,使用預測分析算法,在線 T 恤零售商可以使用當前的數據來預測下個月他們將會售出多少 T 恤。
  • 美團技術解析:自動駕駛中的決策規划算法概述
    另外,該類模型同樣無法考慮交通環境中存在的不確定性因素。 3. 基於知識的推理決策模型 基於知識的推理決策模型由「場景特徵-駕駛動作」的映射關係來模仿人類駕駛員的行為決策過程,該類模型將駕駛知識存儲在知識庫或者神經網絡中,這裡的駕駛知識主要表現為規則、案例或場景特徵到駕駛動作的映射關係。
  • 自動駕駛相關的三大重要傳感器介紹
    1攝 像 頭 博世:第三代前置攝像頭 ● 攝像頭功能安全等級提高到ASIL-B ● 運用人工智慧算法:卷積神經網絡算法 ● 將密集光流檢測和紋理檢測結合,為未來L4以上的自動駕駛做好準備 博世目前生產的攝像頭傳感器是按照ADAS等級的需求而設計,面向未來的自動駕駛,博世正在開發第三代前置攝像頭
  • 2020,全球自動駕駛汽車硬體和軟體最新技術總結
    本報告覆蓋了自動駕駛汽車所需要的感知、定圖與定位、傳感器融合、機器學習方法、數據收集與處理、路徑規劃、自動駕駛架構、乘客體驗、自動駕駛車輛與外界交互、自動駕駛對汽車部件的挑戰(如功耗、尺寸、重量等)、通訊與連接(車路協同、雲端管理平臺)等技術領域的討論,並且提供相應的各自動駕駛公司的實施案例。
  • 【深度】機器學習進化史:從線性模型到神經網絡
    神經網絡其實算是上世紀80年代的技術,一些人甚至認為它起源於上世紀60年代,得益於計算機視覺的技術的最新進展,讓(卷積)神經網絡的使用顯得卓有成效。事實上,神經網絡已經開始在其他應用上「大展宏圖」,包括自然語言處理和機器翻譯等領域。但是有一個問題:在所有提及的機器學習分布式模型中,神經網絡可能是最具挑戰性的。那些早期模型都已經訓練成功被分布。
  • 深度學習:神經網絡算法的昨天、今天和明天
    除了前文提到的圍棋軟體,還有自動駕駛系統、智能管家,甚至蘋果手機上的語音助手Siri都是一種人工智慧。而這些應用背後的核心算法就是深度學習(Deep Learning),也是機器學習(Machine Learning)領域最火熱的一個分支。和其他機器學習算法有很大不同,深度學習依賴大量數據的迭代訓練,進而發現數據中內在的特徵(Feature),然後給出結果。
  • 【技術必備】解讀 2016 年十大機器學習算法及其應用
    加盟新智元,與人工智慧業界領袖攜手改變世界。 【新智元導讀】 機器學習領域都有哪些常用算法?本文帶來盤點。最近我在繼續學習這些,包括在舊金山聽了幾個關於深度學習的技術演講,參加機器學習大會上。六月份,我註冊了Udacity的Intro to Machine Learning的在線課程,近期已經完成了。這篇文章,我想分享一些我所學到的、最常見的機器學習算法。 我從這個課程中學到了很多,並決定繼續學習這一專業內容。
  • 全新AI 攝像頭、360 度環境感知陣列,博世要做自動駕駛系統集成商
    你有再好的雷射雷達、AI 技術,如果不能把它們集成在一起,也是白搭;同時在計算能力、失效保護、安全驗證方面不能按照車規的要求將其落地到市場上,也算不上真正實現自動駕駛。但隨著自動駕駛場景變得越來越複雜,傳統的 Rule-based 方法就碰到了天花板,特別是當我們把駕駛權交給車、系統時,情況就有質的區別,起碼我們對周邊環境的感知要求更高了。這個時候我們需要更新算法、打造模型去模擬環境,AI 便提供了很好的解決方案。
  • 金融領域裡的機器學習算法介紹:人工神經網絡
    人工智慧的發展在很大程度上是由神經網絡、深度學習和強化學習推動的。這些複雜的算法可以解決高度複雜的機器學習任務,如圖像分類、人臉識別、語音識別和自然語言處理等。這些複雜任務一般是非線性的,同時包含著大量的特徵輸入。我們下面我們將分幾天的時間對這些算法及其在金融領域的應用進行闡述。
  • 自動駕駛四大核心技術的環境感知的詳細概述
    無人駕駛汽車同樣要能做到。要注意這是多個移動物體的軌跡的追蹤與預測,難度比單一物體要高得多。這就是環境感知,也是無人駕駛汽車最具難度的技術。 今天介紹一下環境感知的內容。環境感知也被稱為MODAT(Moving Object Detection andTracking)。 自動駕駛四大核心技術,分別是環境感知、精確定位、路徑規劃、線控執行。
  • 機器學習新突破:谷歌研究人員利用AI自動重構大腦神經元
    ,在《Nature Methods》上發表了一篇重磅論文,使用一種循環神經網絡算法對神經元連接組進行自動重構,不僅可以對連接組進行高解析度的可視化成像,而且準確度提高了一個數量級,為連接組學的研究帶來了新的突破。
  • 【關注】自動駕駛技術與實例最全解析
    (2)高精度地圖,提供的環境信息中相對固定、更新周期較長的信息,比如車道標記、路緣、交通信號燈等; (3)信息識別單元,對傳感器接收到信息,利用深度學習等手段,對信息進行識別,目前對外界事物進行準確識別基本算法和技術有:誤差反向傳播算法和先進的數字攝像技術。
  • 神經網絡技術解析:手寫數字識別項目解讀
    雖然在二十世紀八十年代,研究者就開始試用人工神經網絡幫助計算機識別模式、模擬人類智能,但直到二十一世紀的前幾年,這種方式仍未獲得廣泛認同,LeCun 等研究者試圖重燃 AI 社區對神經網絡興趣的努力曾經一直被人們質疑,但如今他們的想法帶來了重大的技術進步,他們的方法也已成為該領域的主導範式。
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    深度神經網絡又是最為複雜的機器學習模型,其可解釋性與可視化性更加具有挑戰性。網絡模型為什麼起作用,它是否足夠好,圖像識別是如何抽象出「貓」這個概念的?本段分析了幾種典型深度神經網絡可視化技術,詳盡展示了前沿的可視化原理以及解釋性效果。
  • 歐司朗:憑藉可見光和不可見光技術推動5G時代的自動駕駛技術一路向前
    Gartner預測,到2020年全球將有6000萬輛聯網汽車,在接下來的四年內則將達到2.2億輛。汽車聯網讓大眾離自動駕駛又近了一步,然而,用戶對汽車可靠性和安全性的擔憂一直是自動駕駛技術普及的一大瓶頸。
  • 數據科學家應該知道的頂級機器學習算法
    示例算法是對其他靈活方法的擴展。這就假設了如何對未標記的數據建模。按相似度分組的算法ML算法通常在功能方面按相似性分組。例如,基於樹的方法和受神經網絡啟發的方法。我認為這是對機器學習算法進行分組的最有用的方法,也是我們將在此處使用的方法。這是一種有用的分組方法,但並不完美。仍然有一些算法可以輕鬆地適用於多個類別。例如學習向量量化。那都是神經網絡方法和基於實例的方法。
  • 一文看懂各種神經網絡優化算法:從梯度下降到Adam方法
    二階優化算法 二階優化算法使用了二階導數(也叫做Hessian方法)來最小化或最大化損失函數。由於二階導數的計算成本很高,所以這種方法並沒有廣泛使用。 詳解各種神經網絡優化算法 梯度下降 在訓練和優化智能系統時,梯度下降是一種最重要的技術和基礎。
  • Uber、Waymo紛紛收購仿真技術公司,仿真模擬為何對自動駕駛如此重要?
    而收購Latent Logic則可以幫助Waymo實現更加貼近現實的仿真技術,Latent擁有一種叫模仿學習的機器學習算法,可以仿真人類的行為,如把開車的人、騎摩託車的人和路人的行為通過將人類不完美的駕駛行為和駕駛錯誤建模出來。該方針技術可以把這些行為模擬得更加真實,進而更好地幫助Waymo做自動駕駛的預測和規劃。