有效距離1600米,發布多目視覺立體感知技術,智加科技是如何做到的?

2020-12-03 雷鋒網

智加科技又交出了新的答卷:技術上推出了有效距離達到1600米的立體視覺感知技術,加速無人卡車落地。

近日,智加科技發布了最新的多目視覺立體感知方案——有效距離達到1英裡(1600米)的立體視覺感知技術,可以精準判斷物體的位置和速度,結合多傳感器融合方案將大幅提升系統安全性。

值得注意的是,有效距離1600米在自動駕駛領域內是個什麼樣的概念?

從數據方面看,在感知環節中,雷射雷達、攝像頭和毫米波雷達三項主要傳感器的感知距離都在300米以內,而Waymo作為自動駕駛界的技術領頭羊,其所能實現的感知距離也僅為300米左右。

據雷鋒網了解,感知是自動駕駛技術中的關鍵環節,就像人體的眼睛、耳朵和鼻子,從外界獲取信息從而決定人體或者自動駕駛車輛的決策和行為。

感知能力越強,決策和行為的結果無疑會越精確,而投射在高速運行中的自動駕駛汽車中,其帶來的無疑是更安全和更高效。

那麼問題來了,此次智加科技的1600米有效感知距離是如何實現的?

多目立體視覺和算法突破

智加方面表示,此次公布的有效感知距離為1600米的立體視覺感知系統,是利用基於深度學習的多目視覺解決模塊及算法,構建高精度的物體檢測認知模型。

這一系統成功突破了立體視覺在自動駕駛遠距離上感知精度的限制,實現了1600米距離上對物體和車道的識別和更進一步的追蹤。

其實在自動駕駛中,感知不只是『看到』就夠了,還需要對行車環境中的物體進行測距、速度測量、分類、跟蹤。

智加科技方面告訴雷鋒網,此次來突破1600米的感知距離,主要歸因於在過去一年內,公司研發團隊利用邊緣深度學習、深度立體視覺、動態智能物體跟蹤等最前沿的技術,最終實現了這一突破。

*智加科技多目視覺立體感知系統長距感知圖像

如何精準判斷位置和速度?

從事自動駕駛物流貨運的都知道,200米和1600米的遠距離感知的不同的意義是什麼。

也就是說,感知能力200米,意味著有200米的剎車制動距離,其中還未將無人貨車載重計算在內。

意思是說,感知距離越長,剎車制動距離也就相應更長。

如今,從300米到1600米有效距離的跨越,智加科技提出了「看得清」、「看得懂」的技術指標。這份「底氣」來源於其核心技術點多目立體視覺系統。

與單目攝像頭帶來的視覺感知能力相比,智加科技的多目立體視覺系統實現了三維世界內的距離量測,並且在車輛的自我位置識別、移動車輛的類型、位置、速度以及車道線等要素的有效識別表現出了強悍的性能。

說得形象一點,通過這一系統,智加科技的車載感知設備可以同時識別1600米外的車輛的各種狀態:是小轎車還是重卡,是行駛中還是停靠路邊,是在當前車道還是相鄰車道等。

智加科技首席架構師Tim Daly表示:「1600米不只是數字意義上的突破,更應該包含著兩個標準:

一個是『看得清』,這就需要更清晰的攝像頭帶來的物理感知能力和更強大的系統算法;還要『看得懂』,也就是說依靠基於深度學習的人工智慧前沿技術帶來對1600米遠的環境精確理解,能夠幫助系統得出結論,為安全駕駛帶來重要的判斷依據。」立體視覺在有效距離上的突破,將從安全和降本節能層面對自動駕駛的場景落地有直接推動作用。

調查顯示,由駕駛員因素導致的車禍中,20%是由於駕駛員立體視覺感知不足造成的。

自動駕駛系統立體視覺有效距離從300米到1600米的突破,無疑將顯著推升系統的整體感知能力,進而保證駕駛過程中更強的安全性。

同時,有效的安全距離帶來足夠的預判時間,讓自動駕駛可以合理操作,減少急剎等燃油高消耗情況,降低運營成本。

長距離感知比拼有必要嗎?

據雷鋒網了解,美國卡車每秒鐘運行的速度約為30米,而卡車完成一次換道大概需要10秒,因此300米的距離也僅夠一次卡車變道,再加上司機的提前觀察,花費的時間將超過10秒。也就是說,較短的感知距離是不夠的。

但是,感知距離的提升需要更多研發投入和硬體成本,那麼從感知水平提升至1600米是否有必要?

首先,多傳感器融合將大幅提升系統安全性。

具體來說,目前自動駕駛行業正在向以高速公路貨運為代表的垂直應用場景率先落地而努力,而重型卡車的車輛特性也對系統的感知、規劃和控制能力帶來更加苛刻的安全要求。

在實際行駛中各種突發或小概率因素都會影響高速重卡駕駛預判,同時良好駕駛習慣帶來的燃油節省也依賴更好的視距條件,因此技術上對有效感知距離極限的追求逐漸成為眾多高速場景自動駕駛技術公司的共識。

值得一提的是,智加科技強調有效感知距離突破1600米是其多傳感器融合方案的重要部分。

此外,這一技術突破,與智加科技已有的近距離、中距離攝像頭以及雷射雷達、毫米波雷達等傳感器相結合,將大幅度提升環境感知信息冗餘度,進而提高安全性。

智加科技創始人兼CTO鄭皓表示:「感知和定位是一個異常複雜的技術集合,1600米的有效感知的距離是自動駕駛系統做出預測和規劃的重要參數,但仍然不夠。自動駕駛的安全應該是第一位的,這個數字能夠幫助系統得到更全面的冗餘數據,但基於安全目的對環境感知的極致追求永無止境。我們認為,基於雷射雷達、毫米波雷達和視覺的多傳感器融合是必要的。」

去年,智加科技和一汽、滿幫組建了一個自動駕駛卡車「軟體技術-車輛平臺-運營管理」商業化鐵三角。該戰略同盟,要在2021年讓無人物流卡車上路。此次智加科技發布的多目視覺立體感知技術,有效距離達1600米,說明他們正在朝著逐漸實現其自動駕駛商業化運營的目標穩步邁進。

相關焦點

  • 智加科技發布多目視覺立體感知技術,有效距離可達1600米
    近日,無人重卡科技公司智加科技發布了最新的多目視覺立體感知方案——有效距離達到 1 英裡(1600 米)的立體視覺感知技術,可以精準判斷物體的位置和速度,結合多傳感器融合方案將大幅提升系統安全性。依據自動駕駛技術領軍者 Waymo 公布的方案,其感知距離為 300 米,而現在智加科技將這一行業標準的有效感知距離提升了五倍多。
  • 人加智能CEO李嘉俊:雙目立體視覺感知技術及應用創新|公開課預告
    雙目立體視覺是通過兩臺位置相對固定的相機同時對場景進行成像,利用三角測距原理,根據成像視差來計算深度信息,是3D成像重要實現技術路徑之一,原理簡單、成本低、適用範圍廣不過在實際應用過程中,雙目立體視覺也面臨著諸多難點與挑戰,比如算法複雜度高、算力需求大、測量精度會隨著距離的增加而下降,另外容易受環境光線的影響,增大特徵匹配的難度。要打造一個高精度、高魯棒性、低計算需求的雙目立體視覺成像系統並非易事,需要軟硬體協同優化,比如相機的選型與標定、算法的設計、晶片的選型及適配調優等。
  • 人加正式發布雙目立體視覺模塊 — 司眸TM
    人加HUMAN+正式發布司眸TM 雙目感知系統,提供一站式機器人深度視覺(Depth Perception)解決方案。深度計算解析度為320x240,15米有效測量範圍,近距離處(3m內)可達釐米級測量精度,高達100fps的實時感知速率,滿足高速運動場景需求。
  • 智米科技蘇峻:我們不止是做技術,而是要增加人們的感知和保護能力
    新海澱生活提案2020年11月15日,在華潤海澱|幸福裡與36氪共同舉辦的「超級幸福+」進階生活公開課上,智米科技創始人兼CEO蘇峻給出的答案是,智能家居其實是「生活和技術的連接體」,「我們不是只做技術,而是要在設計美學和技術創新層面增加人們對環境健康因素的感知能力和保護能力。」
  • 千米感知誤差低於5%,嬴徹發布全球領先的超長距精準3D感知技術
    這就是嬴徹科技最新發布的超長距精準3D感知技術要解決的問題。不僅感知距離可以達到 1000 米,嬴徹還在行業內首次提到了測距精度——1000米感知距離下,測距誤差能達到5%以下。兼顧超長距和精準的識別效果,並且不需要額外的傳感器,嬴徹的技術團隊是如何做到?其中訣竅,嬴徹CTO楊睿剛博士同量子位進行了分享。
  • 無人駕駛:如何使用立體視覺實現距離估計?
    為了獲取每個障礙物的距離,工程師將相機與雷射雷達(光探測和測距)傳感器融合,使用雷射返回深度信息。利用傳感器融合技術將計算機視覺和雷射雷達的輸出融合在一起。使用雷射雷達這種方式存在價格昂貴的問題。而對此,工程師使用的一個有用的技巧是:對齊兩個像機,並使用幾何原理來計算每個障礙物的距離。我們稱這種新設置為 偽雷射雷達。
  • 光電3D傳感合輯重磅上線,4節課帶你搞懂ToF、立體視覺、結構光及DOE
    雙目立體視覺成本低、效率高、抗強光能力好,但在弱光條件下完全無法工作;3D結構光對於不同光線的兼容能力較好,能達到較高的解析度,但識別距離短、運行組件成本高,在強光尤其是逆光環境下會淹沒投射編碼光,導致識別不準確;ToF利用紅外光反射時間差來測量距離,具有識別距離遠,相應時間快的特點,但是容易受到強光環境的制約,解析度差。
  • 自動駕駛商用車落地應用的「智加路徑」
    智加科技採用的L4級技術棧,包括將雷射雷達應用於有人的車上,前裝車規量產上路,採集數據,形成數據閉環,最終讓L4級的算法更為成熟,一方面解決算法長尾問題,另一方面為社會帶來正向收益。其助力一汽解放發布的前裝量產超級重卡在投入市場後,就擁有了收集更多數據的能力。
  • 元橡科技雙目立體視覺 全視全知全行業賦能
    技術走「芯」:軟硬體一體元橡科技專注雙目立體視覺,其研發的雙目視覺晶片,擁有自主智慧財產權,打破國際壟斷,鍛造出一顆「中國芯」。元橡科技雙目視覺囊括單目視覺全部功能。在車載領域,元橡科技前視ADAS智能立體視覺產品,不疊加其他技術通過國內JT/T 883測試,883測試是車載領域最重要的門檻,已成為商用客車準入的標配。元橡科技產品以純視覺方案通過測試,開業界先河。
  • 與結構光及雙目立體視覺相比,ToF技術有何優勢?
    目前能夠接觸到的實現3D方案的一種技術手段,是模仿人的雙目,因此手機的發展趨勢是從單目到攝像頭越來越多。「我們為什麼有這樣的發展呢?」在ADI中國25周年媒體技術日上,ADI系統應用工程經理李佳女士說,「手機單目無法滿足我們一些應用的開發,因此手機開發者會使用更多的攝像頭來模擬深度場景,我們看到最大的轉變就是由單攝變成雙攝,即模擬人的雙眼,實現深度信息的提取。」
  • PerceptIn研發立體視覺感知模塊 可探測千米遠物體
    蓋世汽車訊 據外媒報導,當地時間1月17日,普思英察(PerceptIn)宣布推出一個可探測遠處1000米處物體的視覺感知模塊,該模塊專為半自動駕駛高速列車研發,而且可以調整以探測300米範圍內的物體,實現物流卡車等工業和商業自動駕駛車輛的部署。
  • 雙目立體視覺不止車載 元橡科技賦能無限可能
    成立於2017年的元橡科技(北京)有限公司(以下簡稱「元橡科技」),作為國內少數專注於雙目立體視覺軟硬體一體化解決方案的提供商,在群雄逐鹿的國內外市場競爭中,是如何站穩腳跟,乃至於後來者居上,贏得業界廣泛讚譽的?  在近期舉辦的「2020第二屆汽車後視鏡系統創新技術論壇」上,元橡科技聯合創始人、CTO任傑講述了元橡科技背後的故事。
  • 元橡科技:雙目立體視覺走「芯」 賦能行業萬「橡」更新
    元橡科技(北京)有限公司(簡稱「元橡科技」)作為本屆論壇上唯一一家雙目立體視覺的企業應邀參會,元橡科技副總裁陳超先生在大會上帶來了《雙目視覺——全視全知的別樣體驗》的主題演講,並作為嘉賓參與了關於5G的圓桌探討。元橡科技專注雙目立體視覺,為全行業賦能,展現全視全知的全新體驗,備受追捧,成為論壇上閃耀的新星。
  • 立體視覺技術讓無人機有了動態智慧眼
    【深圳商報訊】(記者 王海榮)立體視覺是計算機視覺領域的一個重要課題,其目的在於重構場景的三維幾何信息。目前火遍全球的虛擬實境技術,也屬於立體視覺領域的研究範疇。在16日揭曉的2015年度廣東省科學技術獎中,清華大學深圳研究生院、中源智人科技(深圳)股份有限公司、深圳市環球數碼科技有限公司參與的動態立體視覺系統關鍵技術及應用項目,獲得科技進步類一等獎。
  • ...Fellow Alberto Broggi 教授:雙目立體視覺路線與自動駕駛廣闊...
    和大多數的自動駕駛晶片公司不一樣, 安霸在技術路線上選擇兩條腿走路,既開發了高性能的CVflow以運行高效率的神經網絡,又支持高性能的雙目立體視覺,兩種來源不同的視覺技術可以互為補充。業內普遍認為雙目立體攝像頭頗是一條充滿著爭議且艱難的路線,安霸如何要用產品充分證明雙目的可行性呢?
  • 自動駕駛的視覺密碼丨科技說
    與此同時,車載攝像頭的搭載形態也正向多元化轉變,在主流的單目攝像頭之外,雙目量產數量增加,特斯拉Model 3也首次實現了三目落地。與之對應的,視覺晶片的圖像數據計算能力也正以每年十幾甚至幾十倍的速度快速迭代。在當下主流的多傳感器融合路線中,視覺感知技術本身玩法固然稱不上激進顛覆,卻始終被認為是自動駕駛落地整體方案的基石。
  • 「群智感知」探索未來城市新生活
    趙珍 中國青年報·中國青年網記者 孫海華城市路網是暢通還是擁堵,如何第一時間獲悉,並快速對人流、車流進行引導分流?遍布城市的公共設施,怎樣才能以最低成本、最高效率獲知它們出現了損壞?一旦有突發事件,或是安全事故,又該如何有效取證?甚至是要了解某一城區的消費者,是否更加偏愛某些特定的類型產品?
  • 3D視覺成像的下一站 淺析TOF 3D立體攝像頭技術
    下面,就讓我們依次了解一下這三種技術的差異吧。雙目立體成像:無解的光線我們去電影院通過立體眼鏡觀看3D電影,就是雙目成像技術的一種表現形式:由於雙眼會有視覺差距,從而呈現出立體的畫面。在手機領域,配備兩顆攝像頭陣列,就滿足了雙目成像技術的最基本要求。
  • 致力視覺感知智能駕駛,智駕科技MAXIEYE獲瑞立集團戰略投資
    【獵雲網北京】3月24日報導獵雲網獲悉,近日,視覺感知智能駕駛系統產品供應商智駕科技MAXIEYE宣布獲得新一輪產業投資,由中國商用車氣制動系統領軍企業瑞立集團戰略投資。本輪資金將用於進一步提升智駕科技的技術產品研發動能,並為前裝項目的規模化量產交付提供資金儲備。據悉,智駕科技MAXIEYE與瑞立集團此前一直保持著密切的業務往來合作和產品供貨關係。2020年,隨著中國商用重卡ADAS法規的落地實施,重卡智能駕駛市場將迎來規模化爆發。
  • 立體視覺的重要性與如何恢復?
    立體視覺是雙眼觀察景物能分辨物體遠近形態的感覺,是較為獨立的一種具有三維空間的視覺功能。也是我們三維世界中一個重要的過程,它是基於投射到雙眼視網膜上的圖像的視差而產生的深度感知。立體盲和立體視異常,常常是因兒童斜視或弱視引起的,如果不儘早發現,斜視和弱視可能會導致立體視恢復困難或無法恢復。