雙目相機的畸變校正以及平行校正(極線校正)的入門問題總結

2021-02-08 芯王國

註：原創為CSDN某博主，點擊閱讀原文可以查看。這篇文章作為雙目視覺的補充內容，能夠解決大部分的疑問。

  做相機標定對於剛入手的人來說有很多疑惑的點，我總結個人的入手的方法和需要弄明白的問題：

一、相機標定是幹什麼的，需要什麼器材才能做？雙目校正目標是什麼，又需要什麼設備？

二、相機（針孔）模型是什麼樣的？世界坐標系，相機坐標系，圖像物理坐標系，圖像像素坐標系，這四個坐標繫到底是什麼？從世界坐標繫到圖像坐標繫到底是怎麼轉換的？


三、Opencv中用到的相機標定函數，對應的算法具體是誰的，什麼算法？獲得的各矩陣數據的含義指的是什麼？


四、獲得單個相機的內參矩陣和畸變係數後，怎麼對相機進行畸變校正？


五、分別獲得兩個相機的內參矩陣和畸變係數，以及兩相機之間的相對旋轉平移矩陣後。怎樣進行雙目平行校正？校正的結果和流程應該是怎樣的？


這些問題如果搞清楚了，那麼相機的畸變和平行校正的方法你一定也就明白了。


對於上述問題，我目前的理解如下：

     一、相機標定就是要通過一定的方法對特定圖像（棋盤格角點檢測）計算出這個相機本身的一些參數，包括：內參矩陣A，外參矩陣[R|T]、畸變係數[k1,k2,k3,~,p1,p2,~]。內參矩陣各元素意義：一個像素的物理尺寸dx和dy，焦距f，圖像物理坐標的扭曲因子gama，圖像原點相對於光心成像點的的縱橫偏移量cx和cy（像素為單位）。外參矩陣：世界坐標系轉換到相機坐標系的旋轉R和平移T矩陣。畸變係數：包括相機的徑向畸變係數k1,k2,k3,~，和相機的切向畸變係數p1,p2,~。需要的器材：一個黑白棋盤格的標定板，一個相機拍攝的不同角度或距離的棋盤格圖像至少三張以上。


雙目校正就是通過一定的方法將兩個攝像頭拍攝同一個物體的圖像進行處理，使得兩幅圖像最終達到下面的目標，同一個物體在兩幅圖像中的大小一樣，且水平在一條直線上。需要的設備：雙目攝像頭（即兩個同規格的攝像頭水平放置左右攝像頭），拍攝同一個物理的左右圖像對，需要已知左右相機的內參矩陣、畸變係數、右相機相對於左相機的旋轉矩陣R（通過一定的方法可將此矩陣分解成兩個矩陣R1和R2，即左右相機各旋轉一半達到水平）。


二、針孔相機的模型：三維世界中的物體，經過相機成像系統，變成二維圖像過程如下所示。



世界坐標系：就是物體在真實世界中的坐標，比如黑白棋盤格的世界坐標系原點定在第一個棋盤格的頂點，Xw，Yw，Zw互相垂直，Zw方向就是垂直於棋盤格面板的方向。可見世界坐標系是隨著物體的大小和位置變化的，單位是長度單位。只要棋盤格的大小決定了，無論板子怎麼動，棋盤格角點坐標一般就不再變動(因為是相對於世界坐標系原點的位置不變)，且認為是Zw=0.

相機坐標系：以光心為相機坐標系的原點，以平行於圖像的x和y方向為Xc軸和Yc軸，Zc軸和光軸平行，Xc，Yc，Zc互相垂直，單位是長度單位。

圖像物理坐標系：以主光軸和圖像平面交點為坐標原點，x和y方向如圖所示，單位是長度單位。

圖像像素坐標系：以圖像的頂點為坐標原點，u和v方向平行於x和y方向，單位是以像素計。


     從世界坐標繫到圖像坐標系的轉換過程如下：世界坐標系通過外參矩陣轉換到相機坐標系，相機坐標系通過內參矩陣轉換到圖像像素坐標系（這一步是通過兩步完成的，一，相機坐標系通過焦距對角矩陣和畸變係數轉換到圖像物理坐標系，二，圖像物理坐標系通過像素轉換矩陣轉換到像素坐標系中）。轉換過程和公式如下（將在接下來的文章裡詳細說明）：


      三、opencv標定中用到的重要函數和算法以及獲取矩陣的含義：

findChessboardCorners()用來發現棋盤格的角點位置，這裡用的是haaris角點檢測方法。cornerSubPix()角點位置精確到亞像素級。

stereoCalibrate()通過角點推算出兩個相機的內參矩陣M1，M2和畸變係數D1，D2，當然外參矩陣隨之也就計算出來了（在圖像校正中還沒有用到外參），這裡用到的是張正友相機標定算法。

stereoRectify()根據內參矩陣和畸變係數計算右相機相對於左相機的旋轉R和平移矩陣T，並將這個旋轉和平移矩陣分解成左、右相機各旋轉一半的旋轉R1，R2和平移矩陣T1，T2，這裡用到的是bouguet極線校正的方法。

initUndistortRectifyMap()和remap()對左右相機拍攝的圖像進行校正（在今後的文章中將會詳細介紹實現方法和步驟）。

       四、獲取了內參矩陣和畸變係數對圖像進行畸變校正時，就是解決圖像的畸變問題（徑向畸變是因為透鏡本身工藝的問題，切向畸變是由於安裝問題帶來的）。畸變校正的過程是這樣的，將源圖像像素坐標系通過內參矩陣轉化成相機坐標系（和圖像物理坐標系比較多了縮放和Z軸），通過畸變係數校正圖像的相機坐標，校正後通過內參矩陣將相機坐標系轉換成圖像像素坐標系，並根據源圖像坐標的像素值賦值給新的圖像坐標（用插值的方法，將在後面的文章中敘述）。

       五、雙目平行校正，是針對圖像對應的相機坐標系進行的，那麼極線校正的時候應該注意就是在四中敘述的畸變校正過程中，在轉換到相機坐標系後，左右圖像對應的相機坐標系分別通過旋轉矩陣R1和R2進行平行極線校正。步驟如下：將源圖像像素坐標系通過內參矩陣轉化成相機坐標系（和圖像物理坐標系比較多了縮放和Z軸），通過旋轉矩陣R1和R2進行平行極線校正，然後通過畸變係數校正圖像的相機坐標，校正後通過內參矩陣將相機坐標系轉換成圖像像素坐標系，並根據源圖像坐標的像素值賦值給新的圖像坐標

       歡迎關注我的公眾號：芯王國，有更多的FPGA&數字IC的技術分享，還可以獲取開源FPGA項目！

相關焦點

  • 雙目立體視覺 I:標定和校正
    今天我們將討論什麼是立體攝像機，以及我們如何將它用於計算機視覺。通過使用這裡的代碼：https://github.com/aliyasineser/stereoDepth，我將解釋我們如何為立體攝像機校準攝像機並計算視差圖。我不會深入數學細節，你可以閱讀一些OpenCV文檔。我們能感知深度的原因是我們美麗對齊的眼睛。
  • 雙目立體視覺 I:標定和校正(附資源連結)
    今天我們將討論什麼是立體攝像機，以及我們如何將它用於計算機視覺。通過使用這裡的代碼：https://github.com/aliyasineser/stereoDepth，我將解釋我們如何為立體攝像機校準攝像機並計算視差圖。我不會深入數學細節，你可以閱讀一些OpenCV文檔。我們能感知深度的原因是我們美麗對齊的眼睛。
  • 幾何校正,正射校正,影像配準,輻射定標,輻射校正,大氣校正,地形校正概念詳解
    正射校正是對圖像空間和幾何畸變進行校正生成多中心投影平面正射圖像的處理過程，它除了能糾正一般系統因素產生的畸變外，還可以引起地形引起的幾何畸變。       正射校正是幾何校正的一種，與Image to Map方式的幾何校正過程基本一致，需要高程點或DEM，在地形起伏較大的地區精度較高。
  • 幾何校正,正射校正,影像配準,輻射定標,輻射校正,大氣校正,地表反射率、表觀反射率 ,RS、GIS中的地理編碼
    幾何校正是消除或改正遙感影像幾何誤差的過程。遙感影像的變形誤差，大體分為兩類：靜態誤差和動態誤差。參照兩種誤差類別，幾何校正分為幾種：幾何粗校正，幾何精校正，混合校正及正射校正。我們工作中常常提到的校正是指精糾正。幾何粗校正：針對引起畸變原因而進行的校正。
  • 投影儀梯形校正會影響畫質嗎?投影儀梯形校正調不正怎麼辦?
    對於現在帶有梯形校正的家用投影儀來說，只需要放置在水平的位置上，其他畫面調整的問題完全可以交給機器幫你解決。那麼關於投影儀水平梯形怎麼調整？投影儀梯形校正會影響畫質嗎？投影儀梯形校正調不正怎麼辦？這些問題，就來一一為各位解答。為什麼需要梯形校正當投影儀的位置放置不正時，投射出來的畫面呈梯形，而非矩形，影響正常觀看。
  • PS教程:校正變形的照片
    今天我們來學習一下如何校正變形的照片的小知識。1、平時我們在拍攝照片的時候呢，收於相機的鏡頭缺陷，或者拍攝角度的原因，經常會導致照片出現變形、桶形失真等問題，那如何使用photoshop來校正這些問題呢？下面跟著我來學習一下。
  • 像差校正的常用方法
    因此我們仍需了解如下校正光學系統像差的原則和常用方法。  各光組以至各面的像差分布要合理。在考慮初始結構時，可將要校正的像差列成用P、W表示的方程組，這種方程組可能有多組精確解，也可能是病態的，或無解。若是前者，應選一合理的解；若是後者，應取最小二乘解。總之，有多種解方程組的算法可資利用，在計算機上實現並不困難。
  • 帶你全方位了解什麼是「梯形校正」
    這時候就需要進行梯形校正,將投影畫面調整為標準的矩形投射畫面,保證最佳的觀影效果。這個過程在投影行業中的專業術語就叫做「梯形校正」,我們將從以下三個維度進行分析:Part 1 光學 or 數碼梯形校正通常有兩種方法:光學梯形校正和數碼梯形校正,光學梯形校正是指通過調整鏡頭的物理位置來達到調整梯形的目的,另一種數碼梯形校正是通過軟體的方法來實現梯形校正。
  • 如何多維度校正身體結構?(三)
    之前兩篇文章我們分享了本源的訓練理念以及本源經典的盤胯訓練動作，如何多維度校正身體結構？（一）如何多維度校正身體結構？（二）這一期咱們聊聊本源經典訓練動作——本源趴青蛙系列。很多同學可能兩年前就接觸過本源的青蛙趴，但隨著技術的升級，本源趴青蛙升級發展出了一整套訓練序列動作，更加適合更多的人群來練習，更加有步驟的、全面高效的校正胯部結構，從而本質性解決因胯部結構不正而引發的一系列頑固問題
  • 投影儀的梯形校正,你了解多少?
    在投影儀的使用過程中，我們會經常發現畫面成梯形，這時用戶需要使用投影儀的梯形校正功能來校正梯形，才能讓畫面回歸正常。投影儀的梯形校正，您了解多少呢？今天讓我們一起來討論下！點擊上方藍色字體框「關注」，更多精彩內容盡在百家號/愛投影！
  • iphone電池校正方法是什麼 iphone電池校正方法具體步驟
    iphone電池校正方法是什麼 iphone電池校正方法具體步驟時間：2017-06-28 19:49   來源：綠茶軟體園   責任編輯：玲玲 川北在線核心提示：原標題：iphone電池校正方法是什麼 iphone電池校正方法具體步驟 iphone電池校正方法是什麼?
  • LED顯示屏色度校正原理與技巧
    因此，一張LED顯示屏的原始色域空間定義應包含以下參數： （Rx，Ry）；（Gx，Gy）；（Bx，By）；（Wx，Wy）；　　以上四組色坐標分別為顯示屏顯示為（R255，G0，B0）、（R0，G255,，B0）、（R0，G0，B255）以及（R255，G255，B255）等紅綠藍白四色時的色坐標
  • 計算校正 RR 的 8 種方法
    為什麼要計算校正的 RR？臨床研究中，研究者為了校正混雜因素，在終點指標為分類變量時，通常會採用校正的 OR 最為主要的效應指標。這主要是基於以下兩個原因：但 OR 畢竟不是 RR， 兩者的流行病學含義不同，適用的研究研究類也不同，且使用 OR 替代 RR , 往往會獲得較高的估計值。因此，即便是計算不方便，使用校正的 RR 作為主要的效應指標其實非常有必要。
  • LED顯示屏逐點校正是什麼意思
    逐點校正系統具體應用場合分為兩種：    ——單箱體逐點校正，在生產線上進行逐箱校正，保證出廠的每個箱體達到高度的均勻性；    ——現場大屏逐點校正    通常情況下的亮度校正是LED發光強度的校正。在目前，由於某些校正儀器缺乏良好的色彩分辨能力，並不能精確測量到這種光譜上的差異，因此只能進行發光強度上的測量而不能精確測量其色度偏差。而色度校正是指那些具備色彩分辨能力強的測光儀器的校正方式，它能夠較為準確的測量得到LED的亮度、色度值。?
  • 【圖形學】我理解的伽馬校正(Gamma Correction)
    、以及怎麼用它的人其實不多。由於這個問題的存在，那麼圖像捕捉設備就需要進行一個伽馬校正，它們使用的伽馬叫做encoding gamma。而不幸的是，在遊戲界長期以來都忽視了伽馬校正的問題，也造成了為什麼我們渲染出來的遊戲總是暗沉沉的，總是和真實世界不像。回到渲染的時候。我們來看看沒有正確進行伽馬校正到底會有什麼問題。以下實驗均在Unity中進行。光照我們來看一個最簡單的場景：在場景中放置一個球，使用默認的Diffuse材質，打一個平行光：
  • 功率因數校正的幾個小知識
    PFC的加入就是要減少輸入側的無功功率，提高電網的利用率，對於普通的工業用電來講是把電流的相位與電壓的相位調整到一塊了，對於開關電源來講是把嚴重畸變了的交流側輸入電流變成正弦，另外還有降低低次諧波的功能，因為輸入的電流是正弦了。2、為什麼我們需要PFC?
  • 為什麼當貝投影的梯形校正那麼快?詳細解析投影儀梯形校正
    現在的智能投影儀真的是越來越方便了，拿到家裡只要插上電源連上無線網絡就可以直接使用，也不用太在意到底放在什麼位置，梯形校正功能可以很方便的把畫面調整到位。那麼投影儀究竟是如何進行梯形校正的呢？今天就以最近十分熱門的當貝投影F3為例，來告訴大家現在的智能投影儀到底是如何進行梯形校正的，當貝投影上的iChips晶片到底有哪些功能。首先來看這塊iChips晶片。在當貝投影F3中，有很多不同功能的晶片，如DLP晶片、中央處理器晶片、畫質處理晶片等。當貝投影F3中的這塊iChips C788晶片就是專職處理畫面梯形校正的專業晶片。
  • ENVI學習總結(四)——圖像正射校正
    4.2.1 ENVI 5.3 正射校正當我們在進行正射校正時，如果沒有控制點或控制點需要手動輸入時，可以採用 ENVI 5.x進行操作 。ENVI Classic 進行正射校正。，本例中參考數據窗口為 Display #1，待校正數據窗口為 Display #2。
  • 紫外分光光度計為什麼要校正?如何校正?
    由於環境境因素對機械部分的影響，儀器的波長經常會略有變動，因此除應定期對所用的儀器進行全面校正檢定外，還應於測定前校正測定波長。常用汞燈中的較強譜線 237. 83nm，253. 65nm，275. 28nm， 296. 73nm，313.16nm，334.15nm， 365. 02nm，404. 66nm， 435. 83nm，546. 07nm 與576. 96nm；或用儀器中氘燈的486. 02nm與656.10nm譜線進行校正；鈥玻璃在波長 279. 4nm，287. 5nm， 333. 7nm，360. 9nm
  • 陝西省榆林計量儀器校正專業公司--小曾專業
    陝西省榆林計量儀器校正專業公司--小曾專業在上述保護接地中，雖然自來水管等接地體接地效果有時並不好，但只要有較小漏電流產生，都能使漏電保護器動作，迅速切斷電源。漏電保護器在國外已普遍採用，我國制訂有關規程和國家標準，即將普遍推廣，使我國家庭的安全用電得到保證。