點「計算機視覺life」關注，置頂更快接收消息！
本文原載於知乎自動駕駛的挑戰和發展專欄，作者為奇點汽車美研中心首席科學家兼總裁黃浴，計算機視覺life非常榮幸取得黃先生授權轉載。
https://zhuanlan.zhihu.com/p/58213757
https://zhuanlan.zhihu.com/p/58213848
上篇
近年來動態地圖和語義地圖好像在SLAM領域比較熱，動態物體一直是個敏感的問題。當年計算機視覺唯一的工業落地場景「視覺監控」也在這個問題費了腦筋，比如我搬個凳子到新位置，然後就走了，系統是不是要自動更新背景呢？
以前說過SFM和SLAM的稱呼，計算機視覺的同行多半說SFM，而機器人的行業流行說SLAM，到底區別在哪裡？有說SFM是假設背景不動，那麼outlier是什麼？當年做IBR（image-based rendering）的時候，以panorama view為例，也是假設場景物體不動，可總是有不靜止的物體，比如水，比如樹葉，甚至不配合的人們走動，會產生鬼影嗎？結果也提出了一堆的解決方法。SFM和MVG（multiple view geometry）緊密相關吧，都面臨計算機視覺的共同問題，動態環境是迴避不了的。
景物動態部分不一定是object，或者不一定能得到object，所以不一定是語義的。語義地圖不一定就是動態的，所以語義地圖和動態地圖是有重疊的，不過最近深度學習的發展比如語義分割，目標檢測和跟蹤等等的確使二者漸漸走在了一起。在人的眼中，一切都是語義的存在，儘管對某些部分認識不夠。
這裡我還是把SLAM動態地圖和語義SLAM分開，主要是文章太多。
先列個題目，動態地圖放在上部分，而語義地圖放下部分。
先推薦一篇ACM Computing Survey發表於2018年2月的綜述文章「Visual SLAM and Structure from Motion in Dynamic Environments: A Survey「，它對動態環境的分析可以參考一下。
討論的方法基本分三大類：一定位和重建為主，二動態目標分割和跟蹤為主，三運動分割與重建聯合估計的方法。
下圖給出了各種方法之間的聯繫：
第一類 「A）Robust Visual SLAM」，下圖給出框圖結構：
第二類 「B）Dynamic Object Segmentation and 3D Tracking「 ，同樣的，其框架圖如下：
第三類 「C）Joint Motion Segmentation and Reconstruction「，其特性見下圖：
在這三類方法中都有深度學習的部分。
下面選一些論文作為參考（註：次序沒有按時間排列）。
1.Simultaneous Localization and Mapping with Detection and Tracking of Moving Objects
看上面的系統流程圖，典型的方法：運動分割，運動目標檢測和跟蹤，靜態目標和靜態地圖。
2.Simultaneous Localization and Mapping with Moving Object Tracking in 3D Range Data
如上面框圖所示，特點：採用occupancy grid maps，因為傳感器是雷射雷達，可以採用ICP算法定位，地面估計去除在先，Mean Shift做聚類得到目標檢測，Probability Hypothesis Density (PHD) 做多目標跟蹤。
3.Online Localization and Mapping with Moving Object Tracking in Dynamic Outdoor Environments
採用雷射雷達數據，基於incremental scan matching方法定位，不受環境小運動的影響。
跟上一個文章一樣採用occupancy map，環境地圖步進更新，基於此檢測運動目標，而目標跟蹤基於Global NN算法。
4.SLAM method: reconstruction and modeling of environ. with moving objects using an RGBD camera
採用Kinect深度傳感器，見上圖，和一般SLAM比較，比較容易檢測出運動目標（室內深度層次少）。
5.Generic NDT mapping in dynamic environments and its application for lifelong SLAM
首先，採用Hybrid Normal Distribution Transform (NDT) occupancy maps，如上圖。
其次，系統可以檢測跟蹤運動目標，而graph-based SLAM能夠實現lifelong SLAM。
6 RGB-D SLAM in Dynamic Environments using Static Point Weighting
如圖介紹，其特點：還是RGB image加深度數據，提出depth edge 做visual odometry， 而static weighting 是為了對付運動物體。Intensity Assisted ICP (IAICP) 是改進ICP做定位的算法。
7.EVO: A Geometric Approach to Event-Based 6-DOF Parallel Tracking and Mapping in Real-time
上圖為算法流程圖。EVO = Event-based Visual Odometry，就是用event cameras （類似Dynamic Vision Sensor）做運動跟蹤，上圖框架像PTAM。下面兩個圖是介紹Mapping方法EMVS：
註：參考方法 EMVS = Event-based Multi-View Stereo，DSI = Disparity Space Image。
8.SLAM in a Dynamic Large Outdoor Environment using a Laser Scanner
上圖SLAM，其中模塊A的細節在紅色圓圈裡。其特點：還是運動目標檢測和跟蹤；採用GPS診斷pose誤差，實現全局精準。
9.Realtime Multibody Visual SLAM with a Smoothly Moving Monocular Camera
簡單示意圖如上，其特點：Bearing only Tracking (BOT) 基於particle filter，運動相機做motion segmentation保證靜態景物3-D重建。
10.Localization in highly dynamic environments using dual-timescale NDT-MCL
Normal Distributions Transform (NDT)
Monte Carlo Localization (MCL)
MCL是基於particle filter的方法，地圖採用Occupancy maps模式，這樣NDT做定位。
MCL分三步：
1. prediction
2. update
3. resampling.
下面是整個算法的偽代碼：
11.SLAM With Dynamic Targets via Single-Cluster PHD Filtering
算法核心是particle/Gaussian mixture，single- cluster process是指feature-based SLAM，其中車輛運動是主，而特徵運動為附。下面是四個算法的概略：
12.Exploiting Rigid Body Motion for SLAM in Dynamic Environments
基於factor graph處理SLAM的動態物體的運動幹擾。下面三個圖都是SLAM的factor graph。
下圖是特徵提取和跟蹤的結果例子：
13.Histogram of Oriented Cameras - A New Descriptor for Visual SLAM in Dynamic Environments
提出一個3-D描述子Histogram of Oriented Cameras (HOC) ，如下圖：
下圖是SLAM框架：雙目視覺，關鍵在地圖更新環部分。
14.Event-based 3D SLAM with a depth-augmented dynamic vision sensor
採用event camera，即DVS（dynamic vision sensor）處理動態環境。系統展示圖如下：
這裡DVS和RGB-D深度傳感器進行融合做定位。
15.Simultaneous Localisation and Mapping in Dynamic Environments (SLAMIDE) with Reversible Data Association
採用廣義EM（expectation maximisation）算法處理動態環境下的SLAM，求解的問題定義在一個Bayesian Network框架，如下圖：採用sliding window SLAM而不是EKF方法。
加了Reversible Data Association處理動態目標，如下圖：實現Data Association可以通過NN或者joint compatibility branch and bound (JCBB) 算法。
其中的Bayesian Network就是HMM實現，如下圖SLAMIDE：
16.CoSLAM: Collaborative Visual SLAM in Dynamic Environments
採用多個獨立攝像頭協同工作的SLAM系統，如下圖：
關於地圖中的point classification，分類類型即『static』, 『dynamic』, 『false』 或者 『uncertain『，判別流程見下圖：
這裡顯示各個camera如何協同估計自身的pose：
17.IMU-Assisted 2D SLAM Method for Low-Texture and Dynamic Environments
前端部分，在卡爾曼濾波extended Kalman Filter (EKF)下融合IMU傳感器和2D LiDAR的2-DSLAM處理低紋理動態環境，scan matching通過LM（Levenberg–Marquardt ）算法優化。在後端，做sparse pose adjustment (SPA) 。如下圖：
18.Dynamic pose graph SLAM: Long-term mapping in low dynamic environments
討論如何維護室內雷射雷達掃描的地圖，其中Dynamic Pose Graph SLAM (DPG-SLAM)做這種動態環境下的定位。DPG定義如下：
DPG的例子：
DPG的一個節點：
採用的SLAM方法是iSAM。所謂Low-dynamic objects就是那些容易加上/移動/去除的物體。關鍵是如何檢測變化和更新地圖。下面是三個相關算法圖：
19. Semantic Monocular SLAM for Highly Dynamic Environments
擴展了ORB-SLAM，特徵提取和匹配可以直接用於姿態估計，採用一個outlier概率模型處理地圖的變化，系統概略如下圖：
下面的結果來自一個demo視頻截圖：
20. Robust Monocular SLAM in Dynamic Environments
該Monocular SLAM可以處理緩慢變化的動態環境，是一種在線keyframe方法，能夠檢測變化並及時更新地圖。另外，提出一個prior-based adaptive RANSAC (PARSAC) 算法去除outlier。系統框架如下圖：
特別的，處理遮擋問題，及時檢測，下圖有它的算法框架，其中appearance變化測度如下：
下篇
這裡把語義SLAM放在這個題目的下部分。
談到語義地圖，還是要讀讀2016年的那篇綜述文章 "Past, Present, and Future of Simultaneous Localization and Mapping: Toward the Robust-Perception Age"，其中第七章主要討論語義地圖的問題。
放個SLAM的標準圖：前端+後端
SLAM問題是一個factor graph：
基本上，語義地圖可以分為三種方法來加注語義概念：
SLAM幫助語義概念；
語義概念幫助SLAM；
語義概念和SLAM聯合求解。
最後還提出了四個未解決的問題（open problems）：
Consistent Semantic-Metric Fusion：和尺度地圖融合;
Semantic mapping is much more than a categorization problem：語義的概念是人定義的;
Ignorance, awareness, and adaptation：缺乏自我學習知識能力;
Semantic based reasoning：不會做推理。
下面還是選了一些論文供參考（次序不按照時間）。
1.DA-RNN: Semantic Mapping with Data Associated Recurrent Neural Networks
Data Associated Recurrent Neural Networks (DA-RNNs)是產生語義標記的，採用RGB-D傳感器，SLAM是一個如KinectFusion的平臺。算法框架如下圖：
做semantic labeling的RNN模型有三個：
其中負責數據相關的Data Associated Recurrent Unit (DA-RU)，結構如下：
2.Probabilistic Data Association for Semantic SLAM
實現目標識別才能做到真正的語義SLAM，文章給出了定義：
語義SLAM的問題求解表示為下面的優化過程：
求解的算法EM如下：
更細化的EM框架如下：
3.Long-term Visual Localization using Semantically Segmented Images
討論無人車的定位問題，主要基於最近的語義分割成果。
基於以上的公式，可以給出基於SIFT特徵的定位算法如下：
而語義類的定位方法不同。
基於上述公式，推導的語義類新定位算法如下：
4.Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving
文章討論如何從2D檢測推斷3-D檢測的方法，本身採用雙目視覺，這樣做的原因是計算量小。提出在目標基礎上的攝像頭姿態跟蹤估計，還有動態目標 bundle adjustment (BA)方法，依此融合語義觀測模型和稀疏的特徵匹配結合以獲取3-D目標的姿態，速度和結構信息。
上圖是一個例子，上半部分是攝像頭和目標的運動軌跡，下半部分從左到右依此是雙目匹配，一個被截斷車的跟蹤，BA恢復的稀疏特徵點，和姿態估計。
整個語義意義上的跟蹤框架如下圖：左邊是CNN模型實現的視點分類和3-D檢測，中間是ORB特徵提取和匹配，而右邊是目標跟蹤和攝像頭運動估計。
5.VSO: Visual Semantic Odometry
建立語義信息作為中層的VO約束，下圖就是想解釋為什麼底層特徵跟蹤失敗的情況下帶語義信息的跟蹤仍然工作很好。
VO解決的目標是：
而其中特徵點和語義部分分別定義為：
observation likelihood model 如下
其中DT是距離變換。而semantic cost計算如下：
關於語義的觀測似然函數，下圖給出一些直觀展示：
其中σ = 10 (c)，σ = 40 (d)，而 (b)是二值圖像。
6.DS-SLAM: A Semantic Visual SLAM towards Dynamic Environments
清華大學基於ORB-SLAM2給出的語義SLAM方案，如圖所示：
語義分割用SegNet，有深度圖的數據可以生成最終Semantic octo-tree map。語義信息和ORB特徵檢測跟蹤結合可以消除運動物體。
上圖看出，在ORB-SLAM2基礎上，加了語義分割這部分。
7.Robust Dense Mapping for Large-Scale Dynamic Environments
雙目視覺輸入，做深度圖估計和物體分割，結合sparse scene flow，對場景進行重建。下圖是系統框圖：
8.Meaningful Maps With Object-Oriented Semantic Mapping
結合了RGB-D SLAM，語義層次上藉助深度學習的目標檢測和3-D分割。
下圖是一個示意圖：上面從左到右，是SSD的region proposal和非監督3-D分割，而下面是帶語義的地圖。
如下是語義地圖的框架：在ORB-SLAM2基礎上改的。
9.6-DoF Object Pose from Semantic Keypoints
主要是基於CNN提出semantic keypoints，和deformable shape model結合。下圖是對算法的直觀介紹：
其中CNN模型如下結構：兩個沙漏模型的疊加，輸出特徵點的熱圖（heatmap）。
10.A Unifying View of Geometry, Semantics, and Data Association in SLAM
如題目所示，將幾何，語義和數據相關幾個部分結合起來的SLAM。
上圖展示的是：測量數據包括慣導，幾何和語義 (左上角)，重建傳感器軌跡（藍色），檢測的目標（車），還有估計的車部件 (綠色點，即門和輪子）。
上圖有特徵和語義特徵的比較，帶有約束的結構化目標模型和被傳感器觀測數據（landmarks的IMU和語義）的狀態向量factor graph表示。
11.DeLS-3D: Deep Localization and Segmentation with a 3D Semantic Map
傳感器融合的擴展，將GPS/IMU，攝像頭和語義地圖結合的定位。利用pose CNN做姿態估計，加上multi-layer RNN 做姿態修正。最後和segment CNN 輸出的分割結合產生地圖信息。
系統示意圖如下：
其中關鍵的segment CNN 結構如下：
12.Vision-based Semantic Mapping and Localization for Autonomous Indoor Parking
室內自動泊車採用語義地圖的應用。系統流水線如下圖：
系統前端做VO，後端做地圖優化，優化算法是基於圖論的思想，如圖所示：
13.Integrating Metric and Semantic Maps for Vision-Only Automated Parking
另外一個自動泊車的語義地圖應用，結合了Metric map和Semantic Maps。另外，不同於上一篇論文的是，只有camera傳感器。系統流程圖如下：
語義信息如下圖：停車位線。
作者提出一種Base Map + Multi-Session Mapping的結構，便於地圖更新。其中語義地圖包括三部分：靜態地圖，動態地圖和道路網絡。
14. SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks
藉助CNN的工作，對RGB-D的SLAM平臺ElasticFusion做擴展。流程圖如圖所示：
下圖是一個結果例子：
15. Semi-Dense 3D Semantic Mapping from Monocular SLAM
在單目semi-dense SLAM加入深度學習的成果，構成語義地圖，系統框圖如下：其中2D-3D label transfer是將2D分割投射回3-D特徵點雲空間。
下面是一個算法流程圖，包括三個進程：Keyframe selection, 2D semantic segmentation, 和3D reconstruction with semantic optimization。
語義分割採用DeepLab-v2，SLAM是以前的LSD-SLAM，而Dense Conditional Random Fields（CRFs）負責3-D的融合。下圖是一個結果例子：
16. CubeSLAM: Monocular 3D Object Detection and SLAM without Prior Models
以前在3D目標檢測中介紹過。這裡重點是，作為一個multi-view object SLAM系統，3-D cuboid proposals在Multi-view bundle adjustment （BA）得到優化。
系統工作示意圖如下：
下圖(a) 是目標SLAM 流水線，而(b)是BA中攝像頭，目標和點之間的測量誤差。
17. Structure Aware SLAM using Quadrics and Planes
還是在ORB-SLAM2加入深度學習元素，如下圖：faster RCNN用於目標檢測，目標跟蹤結果和feature matching融合。
18. SegMap: 3D Segment Mapping using Data-Driven Descriptors
如下圖包括5部分：segment extraction, description, localization, map reconstruction, 和 semantics extraction。
下圖的FCN是附加在SegMap descriptor提取語義信息的：
下圖是從KITTI dataset提取出來的segments：vehicles, buildings, other。
19. Place Categorization and Semantic Mapping on a Mobile Robot
還是基於CNN的工作，因為訓練的是one-vs-all的分離器，系統可以在線學習新類目標，而domain knowledge加入Bayesian filter framework可實現temporal coherence。下圖是產生的語義圖例子：
如下是語義圖的結構：為繪製metric map和Semantic Map，採用occupancy grid mapping算法，每個語義層建立一個地圖層。
20. Multi-View Deep Learning for Consistent Semantic Mapping with RGB-D Cameras
基於CNN做圖像的語義分割，特別是採用CNN學習多幀連續的語義性。之後和深度圖融合。
CNN模型如圖所示：
下圖是經典的CNN encoder-decoder architecture：
21. Co-Fusion: Real-time Segmentation, Tracking and Fusion of Multiple Objects
一個輸入RGB-D的dense SLAM系統，其中目標的模型包括兩種：active 和 inactive。下圖是其數據流：
起初系統只有一個目標模型：active的背景模型。跟蹤（pose tracking），分割（包括運動分割和圖像分割），然後是融合得到新模型。運動分割基於CRF方法，圖像分割基於深度學習模型SharpMask，而融合基於surfel模型（ElasticFusion）。
下圖是一個結果例子：
22. MaskFusion: Real-Time Recognition, Tracking and Reconstruction of Multiple Moving Objects
還是CNN的成果介入，提出一個MaskFusion，即RGB-D SLAM的平臺。下圖展示的MaskFusion後端的數據流：
下圖是分割方法的拆解：(a) RGB (b) depth, (c)-(g) 各個步驟時候的結果.
而這裡是分割的流程圖：
23. Semantic Visual Localization
本文是一個實現定位的generative model，基於descriptor learning，訓練的時候加上semantic scene completion作為附加任務。
一個語義定位的例子如下圖：夏天拍攝的圖像放入資料庫，在季節變化後從不同的視角拍攝的圖像仍然可以成功定位。
下圖是descriptor learning採用的VED模型結構：
24.Joint Detection, Tracking and Mapping by Semantic Bundle Adjustment
本文給出一個Semantic Bundle Adjustment framework，在跟蹤攝像頭運動和環境建圖同時，
靜態目標被檢測出來，而檢測的目標可以參與全局語義優化中。模型資料庫保存了檢測的目標，有2-D和3-D特徵點信息。BA最後優化的是攝像頭的姿態和各個目標的姿態。
下圖是展示SBA和傳統SLAM的不同，將目標檢測加入pose graph可以改進SLAM。
下圖展示SLAM的結果：(a) 誤差累計後不能做閉環; (b) 集成目標檢測和語義分割可以做隱形的閉環，改進重建結果。
25. X-View: Graph-Based Semantic Multi-View Localization
X-View還是基於深度學習語義分割結果幫助定位。下面是一個能清楚展示系統工作原理的示意圖：
X-View是基於圖的多視角定位，其中語義圖描述子，vertex descriptor，是定位的關鍵。每個圖的節點，會提取random walk描述子，在下一步匹配定位時候用。下面就是它的系統框圖：
下圖告訴我們如何從圖像輸入中提取語義圖：