如何提高雙目立體視覺系統的精度？

2020-08-29 旺材自動駕駛

來源：3D視覺工坊


雙目立體視覺（Binocular Stereo Vision）是機器視覺的一種重要形式，它是基於視差原理並利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法1。

精度，是雙目立體視覺至關重要的指標。

雙目立體視覺系統，不談精度幾許，未免顯得業餘！

精度不行？

「來，小同志往邊上讓一讓，下一個！」

精度很高？

「小夥子你們設備多少錢！能打個折不！」

做過雙目研究的夥伴們，肯定是經常和精度打交道的，大部分人也肯定知道，雙目立體視覺的精度主要看的是深度方向的精度！深度圖是很多雙目設備的輸出數據，通過深度圖以及相機參數，可以算出三維點雲的空間坐標，公式如下：

可知深度DDD的角色感很強，把深度估計準了，那三維點也就準了。（什麼，相機標定也不準？當我沒說！）

所以，如何讓深度精度更高？

我們再來看一個經典公式：

這可再熟悉不過了，DDD是深度，BBB是基線，fff是焦距（像素單位），ddd是視差。咱們一分為二看這個公式，右邊分母部分是像素視差值，和算法相關；分子部分是系統硬體參數，和硬體相關。

可知深度精度是由算法和硬體綜合決定。

研發：「哥們，你們硬體做的不行啊！」
硬體：「屁，是你們算法不行！」
老闆：「都是廢物！」

對各參數不太清楚的同學可以看下圖：


算法因素

咱們先分析算法對精度的影響。那麼硬體參數BBB和fff就假設是已知且恆定的了。

假設視差偏差為ΔdΔdΔd，則計算視差偏差ΔdΔdΔd下的深度偏差ΔDΔDΔD：

BBB和fff已知且恆定，如果我們把DDD也恆定，也就是在同一個深度距離下評判精度，由公式（1）可知ddd也就恆定。此時容易發現，ΔdΔdΔd越小，ΔDΔDΔD越小。說明：

（一）視差偏差越小，深度偏差越小；換言之，算法的視差精度越高，深度精度越高，深度精度和視差精度成正比。

所以更高精度的視差估計算法，自然能帶來更高的深度精度。


硬體因素

上面分析算法對精度的影響，所以固定了硬體參數BBB和fff。現在我們來分析視差精度恆定的情況下，硬體參數如何影響精度。還是基於上面三個公式，但是做一些修改，把公式（1）代入到（3）中，如下：

同樣，我們把DDD恆定，也就是在同一個深度距離下評判精度，因為視差精度恆定（也就是視差估計算法定了，精度差不多固定了），因此ΔdΔdΔd也恆定。不難發現，BBB和fff對DDD有相同的影響關係，BBB越大、fff越大，ΔDΔDΔD越小。說明：

（二）基線越大、焦距（像素單位）越長，深度精度越高。深度精度和基線、焦距成正比。

從公式中我們看到，影響ΔDΔDΔD的實際是基線和焦距的乘積，所以若兩個一起增大，那深度精度必然增大，若一個增大一個減小，那麼深度精度可能增大也可能減小。

另一個需要說明的是，fff是焦距的像素單位，它和焦距的空間尺寸和像素大小有關，設焦距的空間尺寸為f0f_0f0，像素大小為sss，則fff的計算公式為：

顯然，sss越小，fff越大。我們知道sss的大小是相機傳感器尺寸決定的，而焦距是鏡頭決定的。所以選相機的時候要了解第三個知識：

（三）像素大小越小，同樣的物理尺寸焦距有更長的像素尺寸焦距，深度精度就越高。


深度範圍

上面我們分析了算法參數和硬體參數對深度精度的影響，但還有一個重要的因素，它即非硬體相關也非算法相關，它就是深度本身的大小，也即深度範圍。簡單的說，目標離鏡頭的距離不同，精度是不一樣的。

對上一節的公式（3）再多做一步推導：


這裡討論深度範圍，所以假設BBB、fff和ΔdΔdΔd都恆定。顯然可以發現，DDD越小，ΔDΔDΔD越小。所以我們得出第四個結論：

（四）測量目標離系統越近，深度精度越高。


總結

我想大家其實在實際應用中都會有一些直觀的理解，比如（1）算法越好，精度越高，明擺著嘛！（2）相機解析度越高，精度越高，這不廢話嘛！（3）基線越長，精度越高，顯而易見嘛！

本文的目的就是通過公式推導來嚴格證明，以讓大家更加清晰的明白各因素影響精度的本質，從而更科學的指導雙目系統的設計。再來匯總一下上面的四條結論：

（一）視差偏差越小，深度偏差越小；換言之，算法的視差精度越高，深度精度越高，深度精度和視差精度成正比。.

（二）基線越大、焦距（像素單位）越長，深度精度越高。深度精度和基線、焦距成正比。

（三）像素大小越小，同樣的物理尺寸焦距有更長的像素尺寸焦距，深度精度就越高。

（四）測量目標離系統越近，深度精度越高。

所以同學們你們現在知道怎麼設計雙目系統能提高精度了嗎？

1、選高精度視差估計算法

2、在應用場景允許、結構穩定性滿足需求的情況下，儘可能延長基線

3、在視場範圍、景深滿足需求的情況下，儘可能選擇長焦鏡頭

4、在算力允許的情況下，選擇高解析度相機（本質上應該是像素尺寸小的相機，有的相機提高了解析度，只是提升了視域，但像素尺寸不變，那精度也不變）

5、測量距離適當拉近（這點往往是場景需求決定的）

相關焦點

  • 無人機雙目立體視覺實現自動避障
    在無人機領域，雙目立體視覺已經成為一種極其有價值的應用，它可以輔助無人機更快更好地識別周圍場景，通過雙目立體視覺識別來實現自動避障。 雙目立體視覺（Binocular Stereo Vision）是基於視差原理的機器視覺的一種重要形式，它利用成像設備從不同的位置獲取被測物體的兩幅圖像
  • 3D雙目立體視覺在機器人視覺的應用
    隨著自動化程度越來越高，機器視覺扮演著越來越重要的角色，傳統的2D定位無法解決產品的空間坐標信息，而3D雙目立體視覺可提供較高精度的定位。在汽車行業，汽車後底板的抓取搬運主要交給工業機器人完成，這面臨一大難題：每一塊後底板的平面坐標XYR和空間坐標ZWP都相差較大，而機器人夾具的兩個尖削必須精確的插入後底板兩孔位，才能進行搬運。
  • 人加正式發布雙目立體視覺模塊 — 司眸TM
    人加HUMAN+正式發布司眸TM 雙目感知系統，提供一站式機器人深度視覺（Depth Perception）解決方案。「司眸TM系列產品是人加HUMAN+自主研發的雙目立體視覺感應解決方案的核心，集成了成像系統、ISP實時計算引擎、深度實時計算引擎、標定方案、在線升級和功能可重構等模塊算法，目前主要應用於無人機，掃地機器人和移動增強現實等消費級產品和農業植保、石油管道巡檢等無人機的行業級應用。」
  • 元橡科技雙目立體視覺 全視全知全行業賦能
    據了解，機器視覺產業將迎來黃金髮展期，2023年中國市場規模或將達到197億元，CAGR達14％。在人工智慧帶來的諸多產業升級價值中，基於視覺交互的智能解決方案在智能化體系中佔比80%以上。雙目立體視覺作為機器視覺的關鍵之一，越來越成為人工智慧交互的重要力量。
  • 雙目立體視覺不止車載 元橡科技賦能無限可能
    多年來，相機視覺技術始終處在迅猛發展的過程中，產品技術迭代更新速度快，行業競爭尤其激烈。　　 　　在這其中，前有以色列視覺系統巨頭Mobileye，用十餘年的時間將單目ADAS打造成行業壟斷的代表性產品，後有博世、大陸等國外廠商紛紛入局爭奪單雙目技術的市場風口。
  • 元橡科技:雙目立體視覺走「芯」 賦能行業萬「橡」更新
    據了解，機器視覺產業將迎來黃金髮展期，2023年中國市場規模或將達到197億元，CAGR達14％。在人工智慧帶來的諸多產業升級價值中，基於視覺交互的智能解決方案在智能化體系中佔比80%以上。雙目立體視覺作為機器視覺的關鍵之一，越來越成為人工智慧交互的重要力量。
  • ...Fellow Alberto Broggi 教授:雙目立體視覺路線與自動駕駛廣闊...
    業內普遍認為雙目立體攝像頭頗是一條充滿著爭議且艱難的路線，安霸如何要用產品充分證明雙目的可行性呢？雷鋒網新智駕對話安霸半導體義大利總經理、VisLab 創始人、帕爾馬大學計算機工程教授 Alberto Broggi ，了解安霸的雙目立體視覺背後的底氣和技術路線。
  • 人加智能CEO李嘉俊:雙目立體視覺感知技術及應用創新|公開課預告
    不過在實際應用過程中，雙目立體視覺也面臨著諸多難點與挑戰，比如算法複雜度高、算力需求大、測量精度會隨著距離的增加而下降，另外容易受環境光線的影響，增大特徵匹配的難度。要打造一個高精度、高魯棒性、低計算需求的雙目立體視覺成像系統並非易事，需要軟硬體協同優化，比如相機的選型與標定、算法的設計、晶片的選型及適配調優等。
  • 與結構光及雙目立體視覺相比,ToF技術有何優勢?
    9m1ednc雙目立體視覺（Binocular Stereo Vision）技術始於上世紀的60年代中期，是基於視差原理並利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。經過幾十年來的發展，立體視覺在機器人視覺、航空測繪、反求工程、軍事運用、醫學成像和工業檢測等領域中的運用越來越廣。
  • 基於雙目視覺的自動駕駛技術
    其實雙目視覺主要問題是立體匹配和視差計算，最新的討論見：https://zhuanlan.zhihu.com/p/65130734；另外，目標檢測的雙目視覺技術討論如下：https://zhuanlan.zhihu.com/p/87074244。 單目視覺是Mobileye（ME）的看家法寶，其實當年它也考慮過雙目，最終選擇放棄（：。
  • 東和邦泰:「商用車豎向雙目立體視覺智能限高防碰撞系統」
    深圳東和邦泰科技有限公司作為優秀企業應邀參會，並憑藉「商用車豎向雙目立體視覺智能限高防碰撞系統」榮獲2019年度汽車電子科學技術獎突出創新產品獎。產品基於豎向雙目CCD立體圖像視覺算法原理，通過對圖像深度分析和AI算法得到前方障礙物的三維數據，提前對障礙物進行判斷及預警，並主動介入汽車剎車系統進行提前制動，實現有效的防撞預警，保證行車安全。真正的解決商用車的市場客戶反饋痛點及難點。
  • INDEMIND雙目視覺慣性模組助力立體視覺應用升級
    INDMEIND雙目視覺慣性模組是目前業界首款可連續輸出200幀圖像及IMU數據的雙目慣性相機，用戶可自行調節1280*800解析度下25/50/100FPS、640*400解析度下25/50/100/200FPS不同圖像輸出，可為三維重建、深度解算、視覺SLAM等應用研發提供更精準、豐富的環境圖像信息。
  • 研發國內首款智能雙目立體視覺晶片
    研發國內首款智能雙目立體視覺晶片 2019-07-12 16:14日 16:14　來源：重慶晚報 參與互動　 　　仙桃國際大數據谷落地項目成績不俗　　研發國內首款智能雙目立體視覺晶片
  • 和「RFID」說分手, 幫團「雙目立體視覺」重新定義無人店
    其中，雙目立體視覺技術的加持不僅使其具備高精度的視覺分辨力和快速的認知能力，還能不斷增強其自主認知學習能力。「麥叮叮X1」的購物流程簡單便捷：當顧客停留並選擇商品時，置於貨架上的雙目攝像頭會實時跟蹤、判斷顧客的購物行為（是否將商品拿出、或拿出又放回原處）。當顧客將購買的商品從機器中拿出並關上門後，系統會自動記錄顧客購買的商品，為其出具電子帳單並進行扣款。
  • HALCON高級篇:立體視覺
    立體視覺立體視覺的基本原理是對象點的3D坐標是由兩個或者多個從不同角度同時獲取的圖像決定的，HALCON提供了兩種立體視覺方法：雙目立體視覺和多視角立體視覺。雙目立體視覺用兩個相機，返回差異圖，距離圖，或者3D坐標。下圖展示了一個板子的立體圖像對和板子部件的結果高度圖。雙目立體視覺的基本原理，頂部：立體圖像對；底部：高度圖多視角立體視覺也可以用超過兩個相機，其要麼被用來重構作為3D物體模型被返回的表面，或者去重構單獨的點。
  • 最新VR研究成果 可以利用人類立體視覺提高VR頭顯對比度
    花火網消息，自VR誕生以來就一直處於研究階段，最新有科研機構開發了一種全新的方法來提升VR頭顯的感知對比度：為了利用人類的立體視覺功能，團隊故意為每隻眼睛提供不匹配的視圖元素。研究人員指出，這時大腦將以增強感知對比度的方式來解決衝突。
  • 結構光、立體視覺、ToF 3D傳感原理是啥?ams 3D傳感助力應用落地
    基於雙目立體視覺的深度相機類似人類的雙眼，和基於ToF、結構光原理的深度相機不同，它不對外主動投射光源，完全依靠拍攝的兩張圖片（彩色RGB或者灰度圖）來計算深度，因此有時候也被稱為被動雙目深度相機。雙目立體視覺是基於視差，由三角法原理進行三維信息的獲取，即由兩個攝像機的圖像平面和北側物體之間構成一個三角形。一直兩個攝像機之間的位置關係，便可以獲得兩攝像機公共視場內物體的三維尺寸及空間物體特徵點的三維坐標。所以，雙目視覺系統一般由兩個攝像機構成。
  • 三角法 雙目測距_雙目三角測距 - CSDN
    一、雙目測距基本流程        Stereo Vision， 也叫雙目立體視覺，它的研究可以幫助我們更好的理解人類的雙眼是如何進行深度感知的。
  • 西安光機所:「雙目立體視覺」實現巡視區月面立體成像
    據介紹，在巡視器的桅杆上，安裝著兩臺完全一致的相機，宛如人的雙眼，通過類似人眼「雙目立體視覺」原理，實現對巡視區月面的立體成像；依靠桅杆的左右旋轉和上下俯仰，實現大視場和上下大範圍的全景成像，再通過圖像拼接及立體反演，得到月面巡視區的全景三維立體圖像，以實現巡視區月表的三維光學成像、地形地貌研究、撞擊坑調查與研究、月球地質構造解析和綜合研究的科學目標。
  • 城市複雜環境下的多系統GNSS PPP/慣性/雙目視覺半緊耦合精密定位方法| 李星星
    本文提出了一種基於圖優化的多系統GNSS PPP/慣性/雙目視覺半緊耦合精密定位方法，通過GNSS與視覺慣性裡程計之間的雙向位置傳遞與共享，有效提升了GNSS PPP在城市複雜環境下的定位精度和可用性。本文通過GNSS完全中斷仿真實驗，分析了雙目視覺慣性裡程計在GNSS不可用時的定位性能。