視覺SLAM方案整理及硬體選型調研

目前個人初步接觸視覺SLAM開發相關工作，現在就相關學習做一些總結以加深個人理解，同時也希望能給其他網友提供一些幫助。這篇文章主要是對之前關於視覺SLAM方案和硬體選型調研的總結，由於個人能力有限，不保證文中說法的準確性，更多的是互相交流學習。

一、SLAM的引入

1.1定義

SLAM 是 Simultaneous Localization and Mapping 的縮寫，中文譯作「同時定位與地圖構建」。它是指搭載特定傳感器的主體，在沒有環境先驗信息的情況下，於運動過程中建立環境的模型，同時估計自己的運動。如果這裡的傳感器主要為相機，那就稱為「視覺 SLAM」。

1.2開發背景

圖1-1 SLAM中建圖的分類與作用

引入SLAM的主要目的如下：

1）建圖。使用SLAM可在傳感器具有良好表現的環境下建立精度較高的全局地圖，建立好的地圖會為後面的定位、導航等功能提供服務。

2）定位。視覺SLAM中可通過幀間數據匹配計算相機的相對變換，對應的就是機器人的位姿信息，不過該計算結果中存在累計誤差的影響；利用SLAM建立的全局地圖，通過相機採集到的環境信息與地圖進行匹配可以減小累積誤差的影響，獲得更加精準的機器人位姿。

3）導航。如果我們建立的地圖中包含了「哪些地方可以通過，哪些地方不能通過」的信息，那麼我們可以以此實現機器人在地圖中從某一起點到某一終點的路徑規劃與跟蹤，並能夠對地圖中固定障礙物實現避障。但這對我們能夠建立的地圖有要求，需要是「稠密」地圖。

二、視覺SLAM

2.1 經典視覺SLAM框架

SLAM至今已歷經三十多年的研究，這裡給出經典視覺SLAM框架，這個框架本身及其包含的算法已經基本定型，並且已經在許多視覺程序庫和機器人程序庫中提供。

圖2-1 經典視覺SLAM框架

我們把整個視覺 SLAM 流程分為以下幾步：

1）傳感器信息讀取。在視覺 SLAM 中主要為相機圖像信息的讀取和預處理。如果在機器人中，還可能有碼盤、慣性傳感器等信息的讀取和同步。

2）視覺裡程計 (Visual Odometry, VO)。視覺裡程計任務是估算相鄰圖像間相機的運動，以及局部地圖的樣子，VO 又稱為前端（Front End）。

3）後端優化（Optimization）。後端接受不同時刻視覺裡程計測量的相機位姿，以及迴環檢測的信息，對它們進行優化，得到全局一致的軌跡和地圖。由於接在 VO 之後，又稱為後端（Back End）。

4）迴環檢測（Loop Closing）。迴環檢測判斷機器人是否曾經到達過先前的位置。如果檢測到迴環，它會把信息提供給後端進行處理。

5）建圖（Mapping）。它根據估計的軌跡，建立與任務要求對應的地圖。

某些使用場合中，我們只截取SLAM的部分功能應用到實際場景中。舉例來說只使用VO部分我們可以得到連續的相機相對運動信息，雖然該運動信息存在累計誤差，但應用中對此要求不高甚至不做要求，譬如VR頭顯中計算頭顯設備運動時的位姿。

不過一般在機器人應用場景中，個人認為建圖功能也是不可或缺的。因為前端包括後端優化得到的運動信息始終包含累積誤差，該累積誤差在SLAM中只能通過迴環檢測（機器人回到某一處曾經經過的地方且系統識別出來）或者與事先建立好的具有較高精度的全局地圖匹配來消除。但是機器人在實際運動中，不能保證全局路徑一定會有重疊處，也就是說在SLAM計算中很可能出現不存在迴環的情況，此時累積誤差只能通過與全局地圖匹配來消除，因此SLAM的建圖功能也不可或缺。

圖2-2 迴環檢測消除累積誤差

這一點在VINS開源項目（香港科技大學團隊基於單目+IMU開發的開源SLAM方案）中的測試視頻（見「視頻/VINS/[Open Source] VINS-Mono_ Monocular Visual-Inertial System in EuRoC MAV Dataset (MH_05 V1_03).mp4」）中也有體現。在迴環檢測前，SLAM計算得到的位姿與真實位姿之間已經產生了很大的偏差，如圖2-3所示；該偏差只有在相機回到了曾經經過的地方且SLAM成功執行了迴環檢測後才得到了消除，如圖2-4所示。

圖2-3 未進行迴環檢測前的位姿累積誤差

圖2-4 迴環檢測消除累計誤差

2.2視覺SLAM方案的分類

視覺SLAM方案可按照傳感器的不同（單目、雙目、RGBD、與IMU的組合等）、前端方法的不同（主要分為直接法和特徵點法）、後端優化方案的不同（濾波或者非線性優化）、生成地圖形式的不同（稀疏地圖、稠密地圖等）具有不同的劃分。這裡主要以傳感器的不同對slam方案進行簡單的介紹。

1）單目slam。只使用一個攝像頭採集信息，在尺度完成初始化的情況下（即相機初始階段進行了一段位移且確定了該段位移的實際大小作為參考），能夠完成連續圖像間相機位姿的計算與建圖。優點在於設備簡單，成本低。缺點在於存在尺度漂移現象；圖像的深度信息只能通過三角測量計算得到，對環境適應性差；在相機位移較小時計算誤差較大，建圖精度不高。

2）雙目slam。使用雙目相機採集信息，雙目相機可以通過立體視覺原理計算得到像素深度，這樣就不存在單目slam中深度未知的情況。優點在於對環境的適應性要高於單目slam，且能夠計算得到像素真實深度；缺點在於像素深度計算量較大，一般通過FPGA或者GPU加速實現實時計算輸出。

3）RGBD SLAM。RGBD相機是指能夠同時輸出RGB圖像和對應的深度圖的相機，其測量像素深度不再通過耗時的被動雙目匹配計算，而是通過雷射散斑增加圖像紋理加速計算或者硬體測量（結構光、TOF等）實現。因此它可以看做減小了計算量的雙目SLAM，但是RGBD相機普遍在室外表現效果不佳，更多用於室內環境。

4）近年來有學者提出單目/雙目+IMU的slam方案，其中IMU主要起到的作用包括（1）解決單目slam的初始化尺度問題（2）追蹤中提供較好的初始位姿（3）提供重力方向（4）提供一個時間誤差項以供優化。理論上來說IMU提供了冗餘的運動信息，通過數據融合可以得到更加精確的運動估計。

從實現難度上來看：單目SLAM>雙目SLAM>RGBD SLAM。

2.3 開源視覺SLAM方案匯總

目前比較流行的開源視覺SLAM方案如表2-1所示：

表2-1 開源SLAM方案匯總

三、視覺SLAM設備選型

3.1 設備選型的重要性

說了這麼多，終於到了設備選型這一部分。設備選型的重要性不言而喻，畢竟「好模型架不住壞數據」，SLAM模型建立得再好，如果設備採集的數據本身誤差過大，計算結果必定也不夠理想。先以VINS項目為例，根據論文內容他們的設備型號和具體信息如下。

相機模塊：單目相機，型號為MatrixVision的mvBlueFOX-MLC200w，具有全局快門；cmos型號為MT9V034，單色，解析度為752X480，幀率20Hz

IMU：該模塊使用的是大疆的集成飛控模塊A3的內置IMU模塊，晶片型號為ADXL278和ADXRS290（都為工業級IMU晶片）；可以確定A3內置對IMU的校準去躁等處理算法。

圖3-1 VINS中設備型號

由此看來VINS選用的硬體是具有一定要求的，其採集數據的精度也對SLAM算法最終的效果產生正向作用。所以如果我們選用了精度沒那麼高的消費級IMU配合單目相機採集數據時，VINS的輸出結果就不一定能夠達到論文中的精度了。

3.2 設備類型選擇

我們的項目中工作環境為室外，對傳感器選型提出了較高要求。以RGBD相機為例，很多基於結構光或者TOF方案的深度攝像頭在室外表現不佳，主要原因是室外自然光的影響。個人初步傾向於選用雙目或者RGBD（雙目某些情況下可視為RGBD）+IMU的方案，主要理由如下：

1）雙目/RGBD+IMU的硬體，可在此基礎上嘗試基於單目/雙目/RGBD/單目+IMU/雙目+IMU等多種開源SLAM方案；反之單目+IMU的設備對開源方案的限制較大（只能是單目/單目+IMU）

2）單目SLAM在建圖方面，尤其是深度估計方面，對場景適應性不好且精度較差。雙目/RGBD因為可以計算得到深度，在建圖方面相對具有優勢，更容易建立「稠密」地圖

3）SLAM定位實現中，基於單目的方案其計算量也要比基於雙目/RGBD要大，且因為引入了三角測量部分，對於環境適應性較差

所以在選型方面，我主要聚焦在雙目/RGBD類型；同時為了加快開發進程，若選擇能夠提供開發SDK等工具的廠家，可以省去對於相機的標定、數據同步等開發工作。

經過一些篩選後，個人列出如下備選設備。有關設備的參數信息在下方連結中都有詳細說明，我只列出一些重要參數。

3.2.1 ZED

圖3-2 zed雙目相機

1）官網：https://www.stereolabs.com/zed/

2）基本參數：基於雙目原理匹配計算深度信息，解析度最高可達2.2K@15fps（4416X1242）；Field of View: 90°(H) X 60°(V) X 110°(D)；室內外最遠20m深度感知；使用GPU加速運算（支持TX1、TX2）

3）SDK：提供SDK，支持包括Windows、Linux、ROS等開發平臺；使用SDK能夠獲得雙目圖像和深度圖像、機器人位姿跟蹤（官網稱頻率可達100Hz，位置精度達到1mm，角度精度達到0.1°）、3D重建等功能

4）應用：在網上搜到一些評測和應用視頻，主要內容總結如下。

A.視頻1（見「視頻/zed/Realtime depth test using ZED stereo camera.mp4」）表明zed在深度計算方面室外表現較好，距離方面應該可以達15m以上；測距精度方面官方未給出參數，從雙目原理上來說深度測距精度與測量距離的平方成正比，僅從zed輸出的深度圖上來看，深度圖數據比較連續，未出現明顯的誤差情況。

圖3-3 zed在室外測量深度的表現

B. 3D重建也是SLAM的一種應用，使用SLAM輸出的全局世界坐標結合RGB信息可實現真實世界中場景的三維繪製，所以3D重建的效果好壞能夠在一定程度上代表設備的深度計算精度與SLAM效果。從官方視頻和youtube上視頻（見「視頻/zed/Introducing ZED for Live 3D Mapping.mp4」，「視頻/zed/Outdoor Test for Graph-based RGB-D SLAM using ZED camera on UGV and UAV.mp4」，「視頻/zed/ZEDfu - Real-time 3D Mapping using ZED stereo camera.mp4」）的測試效果來看，3D重建效果還是不錯的，物體輪廓比較連續，未出現明顯的邊界不重合的情況。

圖3-4 使用zed進行三維重建

C.有研究人員在室外汽車上使用zed採集信息接入ORB-SLAM2計算車輛的位姿（見「視頻/zed/Evaluation of ORB-SLAM2 in outdoor urban scenes using ZED stereo camera.mp4」）。測量結果表明（1）在停車場環境和街道環境下大都能夠實現閉環檢測（2）非極端情況下相機採集的圖像滿足特徵提取需求（3）車速越快對於相機幀率要求越高，zed在WVGA解析度下幀率可到100Hz，滿足了圖像採集頻率要求。

圖3-5 使用zed接入ORB_SLAM2進行室外定位

3.2.2 Intel D415/D435系列

圖3-6 Intel D415/D435

1）官網：https://software.intel.com/zh-cn/realsense/d400

2）基本參數：基於主動紅外測距（雷射散斑增加紋理後立體匹配測距）；RGB解析度和幀率為1920X1080@30fps；內置視覺處理器可直接輸出計算深度，深度流輸出解析度和幀率為1280X720@90fps；室內外檢測範圍為0.16m-10m；D415為捲簾快門，D435為全局快門

圖3-7 D415/D435詳細參數對比

3）SDK：支持Linux/windows/Mac OS，可獲得彩色圖像與深度圖像，設置相機參數等

4）應用：根據網上相關測評視頻整理如下

A.有人對比了D415和D435在室內的表現（見「視頻/Intel/Intel RealSense D435 vs D415.mp4」），攝像頭如圖3-8所示放置。分別比較了彩色圖、遠距離深度圖、近距離深度圖的效果，具體如圖3-9所示。結果表明D435在遠距離深度圖上效果要優於D415，後者出現較大面積的空洞（計算不出深度信息）。不過由於兩個攝像頭的測量環境並不完全一致，同時存在發射的紅外光互相干涉影響的可能性，該結論是否成立不予保證。

圖3-8 D435與D415對比

圖 3-9 D435（左邊）與D415（右邊）室內表現效果對比

B.有人在室外街道中使用D415觀察其深度信息（見「視頻/Intel/Review on Intel Realsense D415 RGBD Camera Part 2_ Outdoor test.mp4」），具體效果如圖3-10所示。結果表明：

（1）室外D415的深度檢測距離應該可以達到10m

（2）相對於室內，室外的深度圖噪點較多，這應該是自然光對於D415發射的紅外光的影響，造成圖像匹配失敗或者誤匹配

圖3-10 D415在室外的深度測距表現

C.有人將D435固定在汽車上查看道路的深度信息（見「視頻/Intel/Realsense D435 - Outdoor test on road.mp4」），這裡截取幾幅圖像如圖3-11所示。可以得出：

（1）D435在室外能夠獲得比較豐富的深度信息

（2）D435深度計算錯誤/失敗的情況多於zed

5）價格：官網上D435為$179.00，國內價格¥1500不等；官網上D415為$149.00，國內淘寶價格¥1300不等

圖3-11 D435在室外深度測距表現

3.2.3小覓雙目攝像頭

圖3-12 小覓雙目攝像頭外觀

1）官網連結 http://www.myntai.com/camera

2）基本參數：基於雙目測距，內置6軸IMU（ICM2060，消費級IMU）。有常規版（即被動雙目）和IR增強版（原理應該是雷射散斑增加紋理後立體匹配測距），黑白CMOS，解析度752X480@50FPS。

圖3-13 小覓雙目攝像頭詳細參數

3）SDK：支持Windows、Linux、TX1、TX2；基於CPU/GPU計算深度信息；提供接入了OKVIS、ORB-SLAM2、VINS、VIORB（都是開源SLAM工程）的sample

4）應用：目前尚未找到相關評測信息，不過據知乎上一些問題的回答，該模塊的售後支持不錯。深度圖效果方面，只有天貓旗艦店上提供的一小段室內測試視頻（見「視頻/MYNT-EYE/室內景深測試.mp4」），截圖如圖3-14所示。個人感覺深度效果計算較差，有較多的計算錯誤點出現；無法判斷深度範圍大小能否達到宣稱的20m。

圖3-14 MYNT-EYE室內深度測試效果

5）價格：天貓¥1999.00

現在對以上幾款設備進行一個信息的對比整理，如表3-1所示。

表3-1 三款設備主要信息對比

3.3 個人意見

整體看來，個人首先推薦zed，其次推薦DM435和MYNT-EYE。若選用zed或者D435後準備測試融合了IMU的開源SLAM方案時，可使用IMU模塊採集相關信息，之後自己做數據同步。

本文作者為CSDN博主「Mega_Li」

原文連結：https://blog.csdn.net/lwx309025167/java/article/details/80257549

End

聲明：部分內容來源於網絡，僅供讀者學習、交流之目的。文章版權歸原作者所有。如有不妥，請聯繫刪除。