點擊上方「小白學視覺」，選擇加"星標"或「置頂」
重磅乾貨，第一時間送達
當我們使用的魚眼鏡頭視角大於160°時，OpenCV中用於校準鏡頭「經典」方法的效果可能就不是和理想了。即使我們仔細遵循OpenCV文檔中的步驟，也可能會得到下面這個奇奇怪怪的照片：如果小夥伴也遇到了類似情況，那麼這篇文章可能會對大家有一定的幫助。
從3.0版開始，OpenCV包含了cv2.fisheye可以很好地處理魚眼鏡頭校準的軟體包。但是，該模塊沒有針對讀者的相關的教程。
校準鏡頭其實只需要下面2個步驟。
計算K和D
import cv2assert cv2.__version__[0] == '3', 'The fisheye module requires opencv version >= 3.0.0'import numpy as npimport osimport globCHECKERBOARD = (6,9)subpix_criteria = (cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 0.1)calibration_flags = cv2.fisheye.CALIB_RECOMPUTE_EXTRINSIC+cv2.fisheye.CALIB_CHECK_COND+cv2.fisheye.CALIB_FIX_SKEWobjp = np.zeros((1, CHECKERBOARD[0]*CHECKERBOARD[1], 3), np.float32)objp[0,:,:2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)_img_shape = Noneobjpoints = [] imgpoints = [] images = glob.glob('*.jpg')for fname in images: img = cv2.imread(fname) if _img_shape == None: _img_shape = img.shape[:2] else: assert _img_shape == img.shape[:2], "All images must share the same size." gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) ret, corners = cv2.findChessboardCorners(gray, CHECKERBOARD, cv2.CALIB_CB_ADAPTIVE_THRESH+cv2.CALIB_CB_FAST_CHECK+cv2.CALIB_CB_NORMALIZE_IMAGE) if ret == True: objpoints.append(objp) cv2.cornerSubPix(gray,corners,(3,3),(-1,-1),subpix_criteria) imgpoints.append(corners)N_OK = len(objpoints)K = np.zeros((3, 3))D = np.zeros((4, 1))rvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_OK)]tvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_OK)]rms, _, _, _, _ = \ cv2.fisheye.calibrate( objpoints, imgpoints, gray.shape[::-1], K, D, rvecs, tvecs, calibration_flags, (cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-6) )print("Found " + str(N_OK) + " valid images for calibration")print("DIM=" + str(_img_shape[::-1]))print("K=np.array(" + str(K.tolist()) + ")")print("D=np.array(" + str(D.tolist()) + ")")運行python calibrate.py。如果一切順利，腳本將輸出如下內容：
Found 36 images for calibrationDIM=(1600, 1200)K=np.array([[781.3524863867165, 0.0, 794.7118000552183], [0.0, 779.5071163774452, 561.3314451453386], [0.0, 0.0, 1.0]])D=np.array([[-0.042595202508066574], [0.031307765215775184], [-0.04104704724832258], [0.015343014605793324]])獲得K和D後，我們可以對以下情況獲得的圖像進行失真矯正：我們需要取消失真的圖像與校準期間捕獲的圖像具有相同的尺寸。也可以將邊緣周圍的某些區域裁剪掉，來保證使未失真圖像的整潔。通過undistort.py使用以下python代碼創建文件：
DIM=XXXK=np.array(YYY)D=np.array(ZZZ)def undistort(img_path): img = cv2.imread(img_path) h,w = img.shape[:2] map1, map2 = cv2.fisheye.initUndistortRectifyMap(K, D, np.eye(3), K, DIM, cv2.CV_16SC2) undistorted_img = cv2.remap(img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT) cv2.imshow("undistorted", undistorted_img) cv2.waitKey(0) cv2.destroyAllWindows()if __name__ == '__main__': for p in sys.argv[1:]: undistort(p)現在運行python undistort.py file_to_undistort.jpg。
矯正前
矯正後
如果大家仔細觀察，可能會注意到一個問題：原始圖像中的大部分會在此過程中被裁剪掉。例如，圖像左側的橙色RC汽車只有一半的車輪保持在未變形的圖像中。實際上，原始圖像中約有30％的像素丟失了。小夥伴們可以思考思考如果我們想找回丟失的像素該這麼辦呢？
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫學影像、GAN、算法競賽等微信群（以後會逐漸細分），請掃描下面微信號加群，備註：」暱稱+學校/公司+研究方向「，例如：」張三 + 上海交大 + 視覺SLAM「。請按照格式備註，否則不予通過。添加成功後會根據研究方向邀請進入相關微信群。請勿在群內發送廣告，否則會請出群，謝謝理解~