地平線感知算法——比Mobileye更開放的視覺感知解決方案

2020-12-23 手機鳳凰網

Mobileye作為ADAS行業的龍頭企業,目前佔有全球超過60%的視覺感知晶片市場份額。與此同時,Mobileye一手建立的封閉式視覺感知生態也成為了行業主流形式。有條件的開放和相對收斂的感知API需求,曾幫助Mobileye建立標準化的感知接口方案,並快速將產品推向全球,攻城略地。

但是,時過境遷。隨著當前視覺ADAS功能的持續升級迭代,行業期待出現更加開放的方案,幫助OEM和Tier1打造差異化且更具適應性的ADAS功能。

駕駛場景的複雜性和地域性呼喚開放的解決方案

曾經有一家國內主機廠嘗試基於Mobileye的視覺感知解決方案開發自主泊車方案。項目實施過程中,需要識別停車場入口處的欄杆。但Mobileye的封閉性方案不支持客戶對感知算法進行自主更新,導致開發遇阻。

這反映了主機廠面臨的困境。一方面,Mobileye的視覺感知解決方案依然是目前最成熟的方案,從產品成熟度、項目風險管控和質量管理角度,都有很多優勢,主機廠無法拒絕。整體來講,屬於保守有餘,進取不足的態勢。但另一方面,這種封閉方案又像一個黑匣子。因為無法進行差異化和定製化開發,導致性能同質化;況且在本土化的駕駛場景下,無法完全滿足要求。這就限制了主機廠做出更加進取的產品方案,長期以往會降低產品競爭力。

而中國駕駛場景的特殊性,決定了必須有本土化的感知解決方案,才能滿足ADAS/自動駕駛的功能要求。

同時,為了滿足ADAS/自動駕駛對感知的高可靠性要求,也需要更加開放的感知解決方案,例如,如果我們能夠識別更為豐富的目標,更多的語義分割種類,那麼我們就可以獲得更為豐富的語義信息,使得各個不同的類別可以做到交叉驗證,例如,路肩、人行道對於可行駛區域的判斷有明確的輔助驗證作用,路側的固定目標,如交通標識牌、路燈等對於定位有很大的幫助。

假設在下雪天,道路被積雪覆蓋,如何判斷路肩在哪裡呢?電影《非誠勿擾》裡描述了一個對白情節:

「嗨,你來過(北海道),你一定知道公路那兩邊箭頭有什麼用?」答:「哦,冬天,北海道的雪很厚,箭頭指示人們不要開出路肩。」

假如我們可以識別公路兩邊的箭頭,就可以推理出來可行駛區域的邊界。感知技術的發展趨勢需要更為開放的解決方案

感知技術的發展,關鍵趨勢可以總結為以下四點:

• 從簡單場景到複雜場景

• 從高頻目標到一般目標

• 從2D感知到3D感知

• 從面向實況的感知到面向預測的感知

所有這些趨勢都使得感知的豐富度和複雜度進一步提升,供應商無法使用一個標準的感知解決方案來滿足需要,開放成為必由之路。

軟體定義汽車時代,車企需要更為開放的解決方法

智能化是未來品牌差異化的核心要素,主要是通過增加軟體功能來實現。軟體的後部署將是大勢所趨,這意味著,多數軟體功能將是在汽車出廠之後交付的,軟體迭代OTA將是新常態。這一趨勢對於出行服務運營商來說尤其重要,各種不同的場景服務需求都需要基於現有車隊的功能,通過不停升級迭代來滿足。

在未來,OEM交付的汽車將不是一個功能固化的產品,而是一個持續進化的機器人,在汽車整個生命周期內,硬體平臺能夠持續支持軟體迭代升級。軟體開發的效率和差異化的功能,將決定這場智能化競爭的成敗。

為了提升軟體開發效率,從系統構架的角度看,服務導向的系統構架(SOA)將成為主流,這需要打造一個全新的感知解決方案,滿足四個方面的要求:高度開放、一致並且完善的工具鏈、擁有強大算力儲備、極強的可擴展性,以滿足不同等級車型平臺的要求。

開放的感知中間結果助力國內的ADAS功能不斷進化

目前,對於感知算法API,行業內還是較為封閉的。很多功能較難落地(比如信息娛樂域關於ADAS功能的增強現實顯示功能),部分原因是由於感知算法只提供給智能前視攝像頭模塊內部使用,不願提供給其他子系統使用導致的。而地平線感知中間結果可以做到全開放。且由於地平線算法的低級語義非常豐富,全開放的感知中間結果能夠支持客戶在應用層開發更加複雜的功能。

截止目前,地平線算法可以支持10類動態目標和53類靜態目標。其中動態目標包括:成年人、兒童、騎行者等3類行人,以及轎車、SUV、麵包車、卡車、客車、摩託車以及老年代步車7類;而靜態目標則包括8類車道線、2類紅綠燈以及43類交通標識。比Mobileye更豐富的感知信息,給客戶實現差異化功能提供了堅實的感知基礎。

圖1 地平線算法所提供的豐富感知信息

開放而全面的工具鏈,踐行「深度賦能」理念

為了增加視覺算法迭代的敏捷性,能夠更好地支持國內各種極端的感知場景,地平線推出了AI晶片工具鏈Horizon OpenExplorer(地平線「天工開物」),包括數據、訓練和設備部署工具,例如模型訓練工具、檢查驗證工具、編譯器、模擬器、嵌入式開發包等(圖9),形成閉環。數據產生模型,模型可以被部署到設備上運行,運行過程中又可以指導模型的調優,甚至收集新的數據。這樣的一種自我進化的開發模式,可以提升開發速度,降低開發門檻,保證開發質量。基於這種模式可以減少約30%的開發人力,節省50%的開發時間,更重要的是,因為開發門檻被降低了,開發者的規模甚至可以擴大一個數量級。

地平線會持續對開發工具進行升級,為客戶提供半自動化的處理流程。主要包括:數據工具與模型,模型與端上設備之間的閉環迭代;豐富的模型/系統參考原型,簡潔易用直觀方便的交互手段;標準化開發流程,加上持續的測試,集成,部署機制。

圖9 地平線「天工開物」晶片工具鏈

更具體地將,地平線的模型訓練工具能夠支持TensorFlow等主流的深度學習框架,幫助用戶自己訓練模型;編譯器支持將開源訓練框架模型格式轉換為晶片上的二進位格式;嵌入式開發包則能夠支持客戶調用算法庫開發自己的應用,讓客戶自己在晶片商快速部署應用。整個工具鏈包能夠覆蓋完整的開發鏈路(圖10)。而經過地平線編譯器的優化,能夠極大緩解算法的訪存瓶頸,提高晶片的計算效率(圖11)。

圖10 經過地平線編譯器自動優化的算法,性能提升巨大

近來,地平線與韓國SK電訊公司合作開發了動態眾包高精地圖解決方案。SK利用地平線的工具鏈,開發了韓國道路的視覺感知算法,,證明了工具鏈的易用性和可靠性。

簡言之,地平線的開放是從提供系統參考解決方案,到全面開放感知結果,再到工具鏈的全棧解決方案的深層次、多維度的全面開放,充分賦能汽車行業的智能化發展。如果客戶主張效率最大化的分工合作理念,地平線就提供軟硬體一體晶片方案;如果客戶青睞能力最大化,希望使用自己的算法,地平線就為客戶提供純晶片和整套工具鏈,幫助客戶實現足夠深入的開發自由度,踐行「深度賦能」的長期承諾。

相關焦點

  • 地平線將聯合英特爾 推人工智慧ADAS系統
    分工上英特爾提供FPGA硬體平臺,地平線提供實現在FPGA上的深度神經處理器架構,深度神經網絡算法,以及整套嵌入式人工智慧解決方案。該系統可實現高速公路和市區道路場景下的ADAS功能,可對車輛、車道線,行人,以及可行駛區域等同時實時檢測和識別。由於商業條款原因這套模型暫時不能拍照,工場菌在現場的大尺寸屏幕上看到了這套系統在真實路況下的識檢測和別能力。
  • 如何打造基於攝像頭的感知定位解決方案?DeepMotion給出了答案
    一起了解下課程的提綱:1、自動駕駛中的感知定位與高精地圖2、如何構建高精地圖眾包解決方案3、DeepMotion感知定位解決方案解析4、落地案例在瀏覽正文之前,可以先思考以下幾個問題:-環境感知、高精定位與高精地圖三者之間的關係是什麼
  • 地平線:發布線NavNet眾包高精地圖採集與定位方案,牽手韓國最大...
    在本屆的CES上,定位為Tier 2 的地平線機器人也帶來了自己對於自動駕駛的思考和成果。地平線創始人兼CEO餘凱認為:在 AI 領域裡,中國的算法已經是走得比較前列,但問題的核心還是處理器問題。 地平線從就是為了解決這部分的問題而來。
  • 小鵬汽車吳新宙:P7視角下的高級別自動駕駛背後的視覺感知技術
    高級別自動駕駛( L2+)的核心是視覺感知能力視覺感知是自動駕駛的上遊模塊之一(小鵬自動駕駛算法架構見上圖),也是高級別自動駕駛中的最核心能力。每一家注重自動駕駛的量產車企,都會把視覺感知作為一個重中之重來布局,不管是通過自研還是走供應商的方案。
  • 地平線推二代邊緣晶片,詳解AIoT落地綜合打法
    2、完整的方案能力  地平線擁有豐富的算法樣例模型,能夠為客戶提供以晶片+算法+工具鏈為核心的完整方案,滿足多樣化場景需求。  地平線提供完整開放的旭日晶片解決方案及「天工開物」晶片工具鏈,包括豐富的模型和應用示例、可視化性能分析工具、可快速上手的BPU API、高度靈活的HR Runtime API和Platform API,供客戶根據需求選擇。
  • 地平線副總裁張玉峰:車規級AI晶片加速自動駕駛量產落地|2019全球...
    從算法角度來看,自動駕駛在量產過程中面臨著三個挑戰:有無足夠高性能的硬體支撐、海量數據下的時延夠不夠低、功耗夠不夠低。 自動駕駛對於算力的提升要求是以萬億次來計算的。針對人工智慧在邊緣側應用的高效推理設計,地平線致力於從算法角度來進行設計和優化。張玉峰表示,同樣的晶片,地平線可以用於ADAS視覺更新,也可以用於基於視覺的高精地圖建圖與更新。
  • PerceptIn研發立體視覺感知模塊 可探測千米遠物體
    蓋世汽車訊 據外媒報導,當地時間1月17日,普思英察(PerceptIn)宣布推出一個可探測遠處1000米處物體的視覺感知模塊,該模塊專為半自動駕駛高速列車研發,而且可以調整以探測300米範圍內的物體,實現物流卡車等工業和商業自動駕駛車輛的部署。
  • 為什麼AI感知與人類感知無法直接比較?
    最近一項來自德國各組織及高校的研究,強調了對深度技術在視覺數據處理領域進行性能評估時所面臨的實際挑戰。研究人員們在這篇題為《人與機器的感知比較:眾所周知的難題》的論文中,著重指出了當前深度神經網絡與人類視覺系統的識別能力比較方法存在的幾個重要問題。在這項研究中,科學家們進行了一系列實驗,包括深入挖掘深度學習結果的深層內容,並將其與人類視覺系統的功能做出比較。
  • 「雙創」3D感知新浪潮:ToF技術
    而未來,ToF傳感器將超越3D感知範疇,對人體生理指標、物體速度等信息進行測量,走向4D感知。」作為3D視覺產業鏈上的一員,炬佑智能的成長與壯大離不開產業發展的帶動,即劉洋口中的「天時」。舉個例子,拍照會出現過曝或者欠曝情況,為了解決它們,傳統相機提供的選擇就是調快門和光圈。但是如果採用炬佑的ToF技術,我們就可以有第三種解決辦法--調發光,那這樣就更為靈活,整體解決方案也會有更多的可能,比如我可以把pattern做到發光模塊裡面,採取發光編碼調製等方案,我可以不僅在空間域,也可從時間域處理。」
  • 一種基於深度學習的視覺觸覺感知方法
    圖為研究人員介紹的基於視覺的觸覺感知策略為了有效地與周圍環境互動,機器人應該能夠像人類一樣,通過觸摸來識別不同物體的特徵。因為我們採用數據驅動的方法來解決這項任務,我們可以克服與軟材料接觸建模的複雜性,並以高準確度估計這些力的分布。」本質上,研究人員使用最先進的計算方法創建了傳感器的軟材料和攝像機投影的模型。然後他們在模擬中使用這些模型,創建了一個包含13,448張合成圖像的數據集,這是訓練觸覺感知算法的理想數據集。
  • 紐勱科技詳解視覺感知:視覺模型上線是一個閉環迭代過程
    雷鋒網旗下會員組織「AI投研邦」「大咖Live」第50講,紐勱科技計算機視覺研發總監成二康帶來關於《自動駕駛系統研發:詳解視覺感知模塊》的主題分享,圍繞自動駕駛的視覺感知、基於深度學習的目標檢測和圖像分割任務、紐勱科技如何以數據助力自動駕駛感知模塊研發三方面進行了介紹。
  • 有效距離1600米,發布多目視覺立體感知技術,智加科技是如何做到的?
    近日,智加科技發布了最新的多目視覺立體感知方案——有效距離達到1英裡(1600米)的立體視覺感知技術,可以精準判斷物體的位置和速度,結合多傳感器融合方案將大幅提升系統安全性。 值得注意的是,有效距離1600米在自動駕駛領域內是個什麼樣的概念?
  • 科技:我們的空間感知的簡單介紹
    【科技:我們的空間感知的簡單介紹】導語:人通過眼睛在很大程度上感知他的環境。他可以估計事物的距離,位置等等。人類大腦依賴於視角和自身經驗的屬性。空間感知通過對眼睛捕獲並在大腦中處理的圖像信息的解釋而產生。
  • 預告| 大咖Live X 地平線李星宇:汽車晶片巔峰之戰——自動駕駛...
    本場Live,地平線市場拓展兼戰略規劃副總裁李星宇將分享當前自動駕駛處理器的行業格局,如何打造具有國際競爭力的自動駕駛處理器,以及地平線的理念和實踐。3、地平線在自動駕駛處理器方面的理念和實踐嘉賓介紹李星宇,地平線市場拓展與戰略規劃副總裁;前飛思卡爾應用處理器汽車業務高級市場經理;原士蘭微電子安全技術專家;15年半導體行業經驗。地平線為機構提供高性能、低功耗、低成本、完整開放的嵌入式人工智慧解決方案。
  • 自動泊車環境全景感知技術瓶頸已突破——專訪追勢科技CTO蔣如意博士
    2012年我在上海交通大學完成博士學位,課題研究方向是計算機視覺與自動駕駛。畢業後加入哈曼,負責開發輔助駕駛系統的核心算法模塊, 重點研究視覺超聲融合算法,解決倒車過程中對障礙物安全的問題,是國內最早從事這方面產品研發的技術人員。2013年進入德爾福中國研發中心的智能駕駛研發團隊,期間被派到德國參與歐洲團隊Volvo智能前視項目開發。
  • 地平線車規級AI晶片量產發布,路線圖全公開
    基於徵程2.0,地平線推出了面向ADAS市場的徵程二代視覺感知方案,同時發布了將於明年正式上市的全新Matrix自動駕駛計算平臺。此外,地平線還在現場揭示了其車規級AI處理器的Roadmap發展路線圖。
  • 千米感知誤差低於5%,嬴徹發布全球領先的超長距精準3D感知技術
    這樣的情況下,要保證行車安全,感知距離起碼要達到 300 米以上。車輛「看」得越遠、測得越準,就越能精確地判斷前車動向,做出合理的預判,保障行車安全。這就是嬴徹科技最新發布的超長距精準3D感知技術要解決的問題。
  • 喚醒萬物智能感知,智能攝像機正在佔領主場
    機器視覺,點亮攝像機的智慧之眼實驗心理學家赤瑞特拉的著名心理實驗得出:人類感官獲取信息有83%來自視覺,所以在當前人工智慧應用中,50%以上與機器視覺有關。人類進入智能社會的基礎是數位化,萬物感知是將物理世界數位化的前提,65%的行業數位化信息來自於機器視覺,而前端視覺感知的種類、數量和質量決定了智能化程度的高低。
  • Mobileye大中華總經理童立豐:Mobileye如何做RSS、地圖與REM | 附...
    除了完整的產品矩陣,Mobileye和國內眾多主機廠也達成了很多的合作,以長城為例,mobileye向其提供從0到L4的相應的方案;在高端車型上,Mobileye的EyeQ4已經搭載在寶馬的X5,和寶馬的合作對於mobileye而言,有非常重要的意義——寶馬獲得許可,可以在中國境內進行實測,通過和寶馬的合作,mobileye可以獲得在路上實驗的經驗,從而驗證了mobileye技術在中國市場的可行性
  • 感知器算法詳解及Spark應用
    ,最近正好用到了這個模型就索性拿出來溫習一下,這裡我將感知器構建和計算的幾個關鍵步驟整體出來,具體的算法原理如下所示::由於現實生活中的大多數計算都是非線性的表述關係,感知器模型想要準確捕捉到數據的特點還是比較困難的,神經網絡的出現很好了解決了這個問題,這裡就不多展開了。