自動駕駛視覺系統:不僅可以」看「,還能預測「未來」

2021-01-08 第一電動網

對於自動駕駛的視覺系統而言，「看」到路人是一個基礎工作，更重要的是，能否能像人類一樣，判斷出路人下一個動作將是什麼。來自密西根大學的團隊，便研究了一種改進算法，讓自動駕駛視覺系統能夠對路人的行為進行預測。

視覺系統，不僅是用來看的，還能預測「未來」！

密西根大學(University of Michigan)向來以自動駕駛汽車技術聞名，最近，他們又有了大動作——研究一種改進的算法，來預測路上行人的動作。

這種算法不僅考慮了行人在做什麼，還考慮了他們是如何做的。這種肢體語言對於預測一個人接下來要做什麼是至關重要的。

密西根大學團隊將研究成果發布在了Arxiv及IEEE中，有興趣的讀者可以訪問上方或者文末連結進行詳讀。

本文提出了一種基於生物力學的遞歸神經網絡(Bio-LSTM)，該網絡可以在全局坐標系下預測行人的位置和三維關節體位姿，該網絡能夠同時預測多個行人的姿態和全局位置，以及距離攝像機45米以內的行人(城市交叉口規模)。

「看」到更細節的動作，預測路人行動

關注路上行人並預測他們將要做什麼是任何自動駕駛視覺系統的重要組成部分。

讓自動駕駛車輛理解路上行人的存在，並分析一些細節信息，會對車輛一下步如何操作產生巨大的影響。

有些公司宣稱其自動駕駛車輛的視覺系統，在這樣或那樣的範圍/條件下可以看到並標記「人」，但目前很少人提出，可以看到並標記像「手勢」或「姿勢」這樣更為細節的部分。

這種視覺算法可以(儘管現在不太可能)像識別一個人並觀察他在幾幀內移動了多少像素那樣簡單，然後從那個節點進行推斷。但人類的運動自然要比這複雜得多。

UM的新系統使用雷射雷達和立體攝像機系統，不僅可以估計一個人的軌跡，還可以估計他們的姿勢和步態：

例如，路人將頭轉向他們肩膀方向時，他們可能接下來會轉身，或者只是看了一眼肩膀然後繼續向前走；路人伸出手臂，他們可能在向某人(或車輛)發出停車信號。

這些額外的數據將有助於視覺系統對動作的預測，使得導航規劃和防止意外事件更加完備。

更重要的是，它只需要幾個框架就可以很好地完成工作——可能只需要包括單步和手臂的擺動。

這就足以做出一個輕鬆擊敗簡單模型的預測，這是一種關鍵的性能衡量指標。

來源：新智元

本文地址：https://www.d1ev.com/news/jishu/87147

返回第一電動網首頁 >

以上內容轉載自新智元，目的在於傳播更多信息，如有侵僅請聯繫admin#d1ev.com(#替換成@)刪除，轉載內容並不代表第一電動網（www.d1ev.com）立場。

文中圖片源自網際網路，如有侵權請聯繫admin#d1ev.com（#替換成@）刪除。

相關焦點

  • 自動駕駛的未來,是雷射雷達還是視覺識別?
    昨天，局長開著一臺Model 3去喝茶，朋友見到我的車，第一時間就問：「敢不敢在高速路上用自動駕駛啊」，局長毫不猶豫的說：「不敢」，然後發了以下這幅圖給他看。
  • 美國科學家讓自動駕駛汽車學習人類的「預測未來動作」能力
    圖片來源：馬裡蘭大學據外媒報導，美國馬裡蘭大學（University of Maryland）一組計算機科學家採用了一種新型的計算機「記憶」，有望推動自動駕駛機器人和自動駕駛汽車技術發展，甚至推動整個人工智慧的發展。
  • 自動駕駛的視覺密碼丨科技說
    其中，前視攝像頭作為ADAS （Advanced Driver Assistance Systems，意為高級駕駛輔助系統）的核心，用於感知車道線、障礙物、交通標誌牌和地面標誌、可通行空間、交通信號燈等要素，並衍生出整車FCW（前方碰撞預警系統）、LDW（車道偏離預警）以及AEB（自動緊急制動）等功能。從結構上看，攝像頭主要由鏡頭和後方傳感器組成。
  • 直播課報名|眼擎科技CEO朱繼志:自動駕駛視覺成像系統解析
    在自動駕駛與輔助駕駛中，目標識別是核心任務之一，而現實中複雜的光線、路況等對自動駕駛的成像系統提出了很大的挑戰。這些視覺複雜光線產生的原因是什麼？會對成像系統產生怎樣的幹擾？該如何解決AI視覺在複雜光線下成像準確率低的問題？
  • 將視覺與運動聯繫起來，研究人員可以幫助自動駕駛汽車「看到」
    研究人員發現，初級視覺皮層中的圖像處理電路不僅在動物自由移動時更活躍，而且它們從大腦的運動控制區域接收信號，該區域獨立於處理動物所看物體的區域。為了更好地了解周圍的世界，動物不斷運動。靈長類動物和人們使用複雜的眼球運動來聚焦視力（例如，人類在閱讀時會這樣做）；鳥類，昆蟲和齧齒動物可以通過移動頭部來做同樣的事情，甚至可以通過這種方式估計距離。
  • 小鵬汽車吳新宙:P7視角下的高級別自動駕駛背後的視覺感知技術
    隨著 P7 的推出，我們的主要自動駕駛功能會在下半年通過 OTA 逐步向用戶釋放。作為小鵬自動駕駛的 「掌門人」，我也想在接下來的幾個月中逐步的向大家深度解析一下我們自動駕駛的核心能力，讓鵬友們在使用小鵬自動駕駛功能的同時，能夠了解一些 under the hood 的核心算法，同時也能對我們未來功能的演進和規劃有一個了解和期待。
  • 基於雙目視覺的自動駕駛技術
    雙目當然可以算視差和深度了，即使沒有檢測出障礙物（因為有附加的深度信息，檢測器會比單目好），也會報警。問題是，雙目視覺系統估計視差沒那麼容易，立體匹配是計算機視覺典型的難題，基線寬得到遠目標測距準，而基線短得到近目標測距結果好，這裡是存在折衷的。
  • 基於機器視覺的汽車智能駕駛系統
    駕駛汽車是一項複雜的活動，長時間的駕駛很容易使人感到疲勞，從而容易導致交通事故。此外一些工程車輛在作業時環境惡劣、勞動強度大，這些車輛的駕駛自動化是非常有必要的。為了使汽車駕駛操作簡單、安全、舒適，把人從繁重枯燥的汽車駕駛中解脫出來，當今世界各國都在積極研究開發自動駕駛技術。　　德國、美國和日本等國在汽車自動駕駛領域開展了積極的研究並取得了很大的成績。
  • 運用Intel OpenVINO 自製自動駕駛車視覺系統
    這兩年人工智慧當道，無人自動駕駛汽車技術也隨之興起，我想超過四十歲的大叔們心中最完美的自駕車莫過於 1980 年代電視影集「霹靂遊俠」中李麥克開的那臺「夥計」了。本文引用地址：http://www.eepw.com.cn/article/202007/416512.htm「夥計」擁有高度人工智慧，不但可以自動駕駛，遇到狀況也會自動閃避，還可以輕鬆和人對話解決各種問題，李麥克拿起手錶還可呼叫「夥計」開到指定地方，簡直就是現代人工智慧自駕車及語音助理的最佳範本！
  • 一文解讀全球頂級計算機視覺會議:CVPR 2019自動駕駛內容
    為期五天的全球頂級的年度計算機視覺會議，CVPR（計算機視覺與模式識別）已經在加利福尼亞州的長灘市落下帷幕。計算機視覺在自動駕駛擁有著一席之地，甚至有從業者認為純視覺可以實現自動駕駛，所以在CVPR2019舞臺，自動駕駛也成為了其中重要的內容。
  • 安霸立體視覺處理SoC會給自動駕駛市場帶來什麼?
    自動駕駛產業不乏想要超越Mobileye計算機視覺SoC的視覺晶片供應商，安霸(Ambarella)就是其中之一。該公司正致力於縮短與Mobileye的距離，特別是因為Mobileye不僅是業界先驅且仍持續主導基於視覺的先進駕駛輔助(ADAS)和高度自動駕駛車市場。
  • 可用於自動駕駛 史丹福大學研究人員開發出超級視覺系統
    研究人員希望，有朝一日，該超級視覺系統可以幫助自動駕駛汽車和機器人，讓它們比人類運行時更安全。在研究過程中，研究人員穿上了一件顯眼的運動服，在空蕩蕩的房間內伸展身體、踱步、跳躍，而其他研究人員能夠通過一個對準著一堵牆的攝像頭觀看到該研究員的一舉一動。
  • ...Fellow Alberto Broggi 教授:雙目立體視覺路線與自動駕駛廣闊...
    晶片還可應用於盲點檢測（BSD）的電子後視鏡、駕駛員及艙內監控攝像機以及智能輔助停車全景泊車影像系統（APA）等產品中。和大多數的自動駕駛晶片公司不一樣， 安霸在技術路線上選擇兩條腿走路，既開發了高性能的CVflow以運行高效率的神經網絡，又支持高性能的雙目立體視覺，兩種來源不同的視覺技術可以互為補充。
  • 美國研發快速法評估神經網絡的不確定性 改進自動駕駛車決策能力
    蓋世汽車訊 現在，深度學習神經網絡等人工智慧系統越來越多地用於為對人類健康和安全至關重要的決策提供信息，如自動駕駛或醫療診斷等。此類網絡善於識別大型複雜數據集，以幫助做決策。但是，怎麼才知道此類網絡是正確的呢？據外媒報導，美國麻省理工學院（MIT）和哈佛大學（Harvard University）的研究人員決心找出答案。
  • 雷射雷達vs純計算機視覺 自動駕駛的兩大流派
    雷射雷達流派和純計算機視覺流派一直在自動駕駛技術中的感知層解決方案上喋喋不休。雷射雷達派認為純視覺算法在數據形式和精度上的不足；純視覺流派則認為雷射雷達不必要且過於昂貴。本文將對雷射雷達、攝像頭以及毫米波雷達等主流傳感器、各自動駕駛公司的解決方案以及傳感器市場格局作介紹。
  • 未來自動駕駛的「眼睛」——InGaAs單光子探測陣列
    自動駕駛發展如火如荼，被認為是改變未來人類生活方式的重要技術之一。自動駕駛存在純計算機視覺和雷射雷達兩種不同方案。視覺方案以攝像頭為主導感知外界，以智能圖形識別作為控制的基礎；雷射雷達方案則以雷射發射和回波光探測為主導，以外界物體的距離和速度圖像作為判斷和控制的依據。
  • 最全自動駕駛技術匯總 全面解析Waymo自動駕駛安全報告
    Waymo的軟體可基於道路上各動態目標的當前速度及行動軌跡，預測到其未來的動向，甚至能分清車輛與騎行者或行人間的差別。該軟體利用從其他道路使用者處獲得的信息，預計可能存在的多種行駛路徑。該軟體還將道路的變化情況也納入其考量範圍（如車道發生交通擁堵），並預測路面情況將對測試車輛周邊的其他目標產生何種影響。4.
  • 雷射雷達加速自動駕駛汽車發展
    本文引用地址：http://www.eepw.com.cn/article/201804/378226.htm　　深度相機實現物物關係理解 雷射雷達在自動駕駛中必不可少　　人工智慧從「弱」到「強」，最基本的是要理解三維空間關係，利用基於深度相機的視覺系統進行視覺導航、識別外界的環境、規劃路徑、實現避障等工作，已經成為包括
  • 自動駕駛衝出亞馬遜
    這裡出現了一個很明顯的問題：亞馬遜為什麼要捲入自動駕駛領域的競爭。這其中的原因涉及一個數萬億美元的市場，聰明的技術投資者應該密切關注這個領域。那麼亞馬遜真正關注的東西是什麼呢？亞馬遜收購Zoox是看中了後者最重要的資產：最新的計算機視覺技術。計算機視覺是現在一個非常吸引人的技術風口。
  • 特斯拉不贊成傳感器融合,自動駕駛汽車怎麼辦?
    傳感器的發展速度和水平決定了未來自動駕駛（AD）的進展快慢，這話並不過分。沒有傳感器，自動駕駛汽車就不可能實現。傳感器可以使汽車看到和感知道路上的一切，並收集安全駕駛所需的信息，通過中央處理器為汽車控制裝置發送適當的指令，如轉向、加速和制動；聯網傳感器收集的實際路徑、交通堵塞和道路障礙物信息，可以在聯網汽車之間共享；地圖信息的處理和分析可以構建從A點到B點的路線。