基於OpenCV實現的雙目立體視覺測距系統簡介

2021-01-08 智眼科技

雙目立體視覺測距的原理

雙目立體視覺是基於視差原理，從雙目相機中獲取的多幅圖像中恢復被測物體三維幾何信息的方法。如圖，對於空間物體表面任意一點，如果從左右2個攝像機同時觀察P，並能確定在左攝像機圖像上的點Pl與右攝像機圖像上的點Pr是空間同一點P的圖像點(稱Pl與Pr，為共軛對應點)，則可計算出空間點P的三維坐標（包含距離信息）。基於雙目立體視覺的測距系統包含攝像機標定、立體校正、立體匹配和三維重建等步驟。

相機標定

OpenCV使用平面黑白棋盤來標定攝像機，調用findChessboardCorners()獲得棋盤格角點的像素坐標，再調用cornerSubpix獲得棋盤格角點的亞像素坐標。調用drawChessboardCorners()函數繪製出檢測到的棋盤角點，然後使用stereoCalibrate()函數完成雙目標定。

立體校正

在OpenCV中可通過stereoRectify()函數完成校正功能，攝像機矩陣，畸變向量，左右旋轉矩陣R和平移向量T。輸出參數為左右投影矩陣P，以及重投影矩陣Q。可調用函數InitUndistortRectifyMap()生成圖像校正所需的映射矩陣。

立體匹配與測距

立體匹配完成匹配左右攝像機視圖的相同特徵，並得到視差圖，視差值是匹配時相同特徵點在x坐標軸上的差值，獲得視差圖後，通過三角相似原理即可計算出目標物體的距離信息。OpenCV中提供了兩種立體匹配算法SGBM算法和BM快匹配算法，其中SGBM算法準確性較高，但是運算速度慢。BM算法準確性稍差但運算速度快，可滿足實時應用需求。BM算法在OpenCV中通過函數StereoBM()實現。

相關焦點

  • 關於雙目立體視覺的三大基本算法及發展現狀的總結
    雙目立體視覺基於視差原理並利用成像設備從不同的位置獲取被測物體的左右兩幅圖像，然後根據三角測量原理計算空間點在二維圖像的位置偏差，最後再利用位置偏差進行三維重建來獲取被測物體的三維幾何信息（本文不對雙目立體視覺的數學原理進行詳細介紹）。
  • 基於雙目立體視覺的VI-SLAM導航定位算法研究新突破
    基於光流的算法在室內大量無紋理環境下表現不好，例如一面白牆或玻璃，無法提取足夠特徵點來實現目標障礙物的深度測量。而雙目立體視覺傳感器常用來作為目標障礙物檢測，然而兩枚攝像機之間的限定極限或立體平臺的限制，在缺少圖像特徵點區域表現不好，如果採用的傳感器小覓雙目攝像頭(MYNT D100-IR-120)，內置兩顆主動式紅外發射器，可以有效增加白牆和無紋理物體的檢測精度。
  • 機器視覺學習筆記:一個雙目測距的簡單實例
    1.實例目標學習OpenCV也一月有餘了，遂想進行一個雙目測距的簡單實驗，先解決從無到有，再解決錦上添花。可以看出綠線並沒有包含稜，結果較好距離檢測結果 實際距離是74.5mm左右，絕對檢測誤差為1.15mm，相對誤差為1.5%，此時物體距離相機1134mm左右相機標定誤差為0.3mm，所以測量結果還是比較準確的4.總結本實例背景較為簡單，只能適用於固定場合的零件檢測，水果品質檢測等基本的幾何知識是必要的，例如求直線的交點，一元函數的線性回歸雙目測距基本就是這個流程
  • 人加智能CEO李嘉俊:雙目立體視覺感知技術及應用創新|公開課預告
    雙目立體視覺是通過兩臺位置相對固定的相機同時對場景進行成像，利用三角測距原理，根據成像視差來計算深度信息，是3D成像重要實現技術路徑之一，原理簡單、成本低、適用範圍廣不過在實際應用過程中，雙目立體視覺也面臨著諸多難點與挑戰，比如算法複雜度高、算力需求大、測量精度會隨著距離的增加而下降，另外容易受環境光線的影響，增大特徵匹配的難度。要打造一個高精度、高魯棒性、低計算需求的雙目立體視覺成像系統並非易事，需要軟硬體協同優化，比如相機的選型與標定、算法的設計、晶片的選型及適配調優等。
  • 人加智能CEO李嘉俊：雙目立體視覺感知技術及應用創新｜公開課預告
    雙目立體視覺是通過兩臺位置相對固定的相機同時對場景進行成像，利用三角測距原理，根據成像視差來計算深度信息，是3D成像重要實現技術路徑之一，原理簡單、成本低、適用範圍廣，在安防、零售、自動駕駛、機器人等領域得到了廣泛的應用。
  • 對話安霸半導體義大利總經理:雙目立體視覺路線與自動駕駛廣闊的未來
    晶片還可應用於盲點檢測（BSD）的電子後視鏡、駕駛員及艙內監控攝像機以及智能輔助停車全景泊車影像系統（APA）等產品中。 和大多數的自動駕駛晶片公司不一樣， 安霸在技術路線上選擇兩條腿走路，既開發了高性能的CVflow以運行高效率的神經網絡，又支持高性能的雙目立體視覺，兩種來源不同的視覺技術可以互為補充。
  • 元橡科技:雙目立體視覺走「芯」 賦能行業萬「橡」更新
    據了解，機器視覺產業將迎來黃金髮展期，2023年中國市場規模或將達到197億元，CAGR達14％。在人工智慧帶來的諸多產業升級價值中，基於視覺交互的智能解決方案在智能化體系中佔比80%以上。雙目立體視覺作為機器視覺的關鍵之一，越來越成為人工智慧交互的重要力量。
  • 雙目立體視覺技術涉及到的基本概念
    什麼是計算機雙目立體視覺雙目立體視覺(Binocular StereoVision)是機器視覺的一種重要形式，它是基於視差原理並利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。
  • 「拓路眼」認為雙目測距算法才是最精確
    與單目攝像頭對應的是雙目攝像頭，這應用在月球車、機器人、X-Box上，其測距原理類似於3D電影。為了克服單目攝像頭的局限，拓路眼採用的是前置雙目3D鏡頭，同時搭載了拓路眼的MPV算法，將相機拍攝到的景物實時轉換為距離（在下圖中，色調冷暖表示距離大小），從而實現車道偏離警告（LDW）、自動車道保持輔助（LKA）、遠光燈/近光燈控制（TSR）、前車防撞預警系統（FCWS）以及行人探測與防撞警示（PCW）等ADAS功能。
  • 3D人臉識別智能鎖成新風口 3D結構光、TOF、雙目立體視覺三種技術...
    據悉，目前市場上所使用的3D人臉識別根據攝像頭成像原理，主要分為3D機構光、TOF、雙目立體視覺三種。那麼，他們之間有何不同呢？基於3D結構光的人臉識別已在一些智慧型手機上實際應用，如國外使用了超過10億張圖像（IR和深度圖像）訓練的FaceId；國內自主研發手機廠商的人臉識別。
  • 雙目立體視覺中靶標的設計與識別
    0 引言本文引用地址：http://www.eepw.com.cn/article/103908.htm　　雙目立體視覺測量是基於視差原理，由多幅圖像獲取物體三維幾何信息的方法。在計算機視覺系統中，雙目立體視覺測量一般由雙攝像機從不同的角度同時獲取周圍景物的兩幅圖像，或有單攝像機在不同時刻從不同角度獲取周圍景物的兩幅數字圖像，並基於視差原理即可恢復出物體的三維幾何模型，重建周圍景物的三維形狀與位置。　　在雙目立體視覺測量的許多應用中，可以在待測物體表面分布一些具有明顯特徵且易於識別的元素作為標記點，如圓、十字刻畫線等。
  • 為什麼雙目自動駕駛系統難以普及技術詳解＋典型案例分析
    雙目當然可以算視差和深度了，即使沒有檢測出障礙物，也會報警。問題是，雙目視覺系統估計視差沒那麼容易，立體匹配是計算機視覺典型的難題，基線寬得到遠目標測距準，而基線短得到近目標測距結果好，這裡是存在折衷的。
  • Opencv-Python簡介
    剛開始接觸Opencv的時候，使用的是C++版本的，一邊學C++，一邊跟著opencv教材實現裡面的圖像處理操作，將一張曝光不足，黑暗的圖像經過直方圖均衡化變得清晰，感覺很神奇，原圖直方圖均衡化處理之後又接觸到了python版本的opencv
  • 深度攝像頭測距原理簡介
    深度檢測主要技術方法： 1.雙目匹配(雙RGB攝像頭+可選的照明系統) 三角測量原理即目標點在左右兩幅視圖中成像的橫坐標之間存在的差異(視差Disparity),與目標點到成像平面的距離成反比例的關係:Z = ft/d;得到深度信息。
  • 機器視覺——雙目視覺的基礎知識（視差深度、標定、立體匹配）
    11、雙目視覺的視差與深度人類具有一雙眼睛，對同一目標可以形成視差，因而能清晰地感知到三維世界。因此，計算機的一雙眼睛通常用雙目視覺來實現，雙目視覺就是通過兩個攝像頭獲得圖像信息，計算出視差，從而使計算機能夠感知到三維世界。一個簡單的雙目立體視覺系統原理圖如圖 1 所示。
  • 最新綜述 | 基於深度學習的立體視覺深度估計
    在現有技術中，由於與人類的雙目系統有著緊密聯繫，立體匹配是應用最廣泛的技術之一。在傳統方法中，基於立體視覺的深度估計通過在多張圖片上、匹配手工提取的特徵來解決。儘管進行了廣泛的研究，這些傳統方法仍然受複雜紋理區域、較大的難以區別的區域以及遮擋的影響。
  • 基於OpenCV 的人臉檢測系統設計與實現
    /projects/opencvlibrary 免費獲得OpenCV 庫以及相關的資料。今天， 人臉檢測的應用背景已經遠遠超出了人臉識別系統的範疇， 在基於內容的檢索、數字視頻處理、視覺監測等方面有著重要的應用價值。　　人臉檢測研究具有重要的學術價值。
  • 用雙目攝像頭的「中科慧眼」認為雙目測距算法才是最精確的
    與單目攝像頭對應的是雙目攝像頭，這應用在月球車、機器人、X-Box上，其測距原理類似於3D電影。為了克服單目攝像頭的局限，我近期接觸的中科慧眼採用的是前置雙目3D鏡頭，同時搭載了中科慧眼的MPV算法，將相機拍攝到的景物實時轉換為距離（在下圖中，色調冷暖表示距離大小），從而實現車道偏離警告（LDW）、自動車道保持輔助（LKA）、遠光燈/近光燈控制（TSR）、前車防撞預警系統（FCWS）以及行人探測與防撞警示（PCW）等ADAS功能。
  • opencv教程-發展與簡介
    11年讀研的時候開始接觸opencv，一晃使用opencv都快10年了，從最初使用的2.3版本到現在已經4.4版本了，一直用，但卻一直沒有好好從頭到尾仔細看看說明文檔，虧我還是做圖像識別的，汗顏呀~~~為了彌補一下這幾年的遺漏，準備把opencv全面解讀一下，好完備一下圖像方面的知識點。
  • 雙目ADAS算法公司中科慧眼完成千萬級A輪融資
    中科慧眼採用自主研發的雙目攝像頭模組，搭載視差計算算法及障礙物檢測算法，可實現車道偏離警告（LDW）、自動車道保持輔助（LKA）、前車防撞預警系統（FCWS）以及行人探測與防撞警示（PCW）等 ADAS 功能。