SLAM綜述|雷射與視覺融合SLAM

2021-02-15 3D視覺工坊

【1】Joern Rehder, Janosch Nikolic, Thomas Schneider, Timo Hinzmann, and Roland Siegwart. Extending kalibr: Calibrating the extrinsics of multiple imus and of individual axes. In 2016 IEEE International Conference on Robotics and Automation (ICRA), pages 4304–4311. IEEE, 2016. 

[2] Kevin Eckenhoff, Patrick Geneva, Jesse Bloecker, and Guoquan Huang. Multi-camera visual-inertial navigation with online intrinsic and extrinsic calibration. 2019 International Conference on Robotics and Automation (ICRA), pages 3158–3164, 2019. 

[3] A. Tedaldi, A. Pretto, and E. Menegatti. A robust and easy to implement method for imu calibration without external equipments. In Proc. of: IEEE International Conference on Robotics and Automation (ICRA), pages 3042–3049, 2014. 

[4] A. Pretto and G. Grisetti. Calibration and performance evaluation of low-cost imus. In Proc. of: 20th IMEKO TC4 International Symposium, pages 429–434, 2014.

【5】] Changhao Chen, Stefano Rosa, Yishu Miao, Chris Xiaoxuan Lu, Wei Wu, Andrew Markham, and Niki Trigoni. Selective sensor fusion for neural visual-inertial odometry. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10542–10551, 2019.

【6】Thomas Schops, Torsten Sattler, and Marc Pollefeys. Bad slam: Bundle adjusted direct rgb-d slam. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. 

[7] Adam Harmat, Michael Trentini, and Inna Sharf. Multi-camera tracking and mapping for unmanned aerial vehicles in unstructured environments. Journal of Intelligent & Robotic Systems, 78(2):291– 317, 2015.

【8】Steffen Urban and Stefan Hinz. MultiCol-SLAM - a modular real-time multi-camera slam system. arXiv preprint arXiv:1610.07336, 2016

【9】Haoyang Ye, Yuying Chen, and Ming Liu. Tightly coupled 3d lidar inertial odometry and mapping. arXiv preprint arXiv:1904.06993, 2019. 

[10] Deyu Yin, Jingbin Liu, Teng Wu, Keke Liu, Juha Hyypp¨a, and Ruizhi Chen. Extrinsic calibration of 2d laser rangefinders using an existing cuboid-shaped corridor as the reference. Sensors, 18(12):4371, 2018.

 [1] Shoubin Chen, Jingbin Liu, Teng Wu, Wenchao Huang, Keke Liu, Deyu Yin, Xinlian Liang, Juha Hyypp¨a, and Ruizhi Chen. Extrinsic calibration of 2d laser rangefinders based on a mobile sphere. Remote Sensing, 10(8):1176, 2018. 

[12] Jesse Sol Levinson. Automatic laser calibration, mapping, and localization for autonomous vehicles. Stanford University, 2011

【１３】Jesse Levinson and Sebastian Thrun. Automatic online calibration of cameras and lasers. In Robotics: Science and Systems, volume 2, 2013.

 [１４] A. Dhall, K. Chelani, V. Radhakrishnan, and K. M. Krishna. LiDARCamera Calibration using 3D-3D Point correspondences. ArXiv eprints, May 2017.

 [１５] Nick Schneider, Florian Piewak, Christoph Stiller, and Uwe Franke. Regnet: Multimodal sensor registration using deep neural networks. In 2017 IEEE intelligent vehicles symposium (IV), pages 1803–1810. IEEE, 2017.

 [１６] Johannes Graeter, Alexander Wilczynski, and Martin Lauer. Limo: Lidar-monocular visual odometry. 2018.

 [１７] Ganesh Iyer, J Krishna Murthy, K Madhava Krishna, et al. Calibnet: self-supervised extrinsic calibration using 3d spatial transformer networks. arXiv preprint arXiv:1803.08181, 2018.

【１８】Jason Ku, Ali Harakeh, and Steven L Waslander. In defense of classical image processing: Fast depth completion on the cpu. In 2018 15th Conference on Computer and Robot Vision (CRV), pages 16–22. IEEE, 2018

【１９】Fangchang Mal and Sertac Karaman. Sparse-to-dense: Depth prediction from sparse depth samples and a single image. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 1–8. IEEE, 2018.

 [２０] Jonas Uhrig, Nick Schneider, Lukas Schneider, Uwe Franke, Thomas Brox, and Andreas Geiger. Sparsity invariant cnns. In 2017 International Conference on 3D Vision (3DV), pages 11–20. IEEE, 2017. 

[２１] Shreyas S Shivakumar, Ty Nguyen, Steven W Chen, and Camillo J Taylor. Dfusenet: Deep fusion of rgb and sparse depth information for image guided dense depth completion. arXiv preprint arXiv:1902.00761, 2019. 

【２２】Xingxing Zuo, Patrick Geneva, Woosik Lee, Yong Liu, and Guoquan Huang. Lic-fusion: Lidar-inertial-camera odometry. arXiv preprint arXiv:1909.04102, 2019.

【２３】Olivier Aycard, Qadeer Baig, Siviu Bota, Fawzi Nashashibi, Sergiu Nedevschi, Cosmin Pantilie, Michel Parent, Paulo Resende, and TrungDung Vu. Intersection safety using lidar and stereo vision sensors. In 2011 IEEE Intelligent Vehicles Symposium (IV), pages 863–869. IEEE, 2011.

【２４】Ricardo Omar Chavez-Garcia and Olivier Aycard. Multiple sensor fusion and classification for moving object detection and tracking　IEEE Transactions on Intelligent Transportation Systems, 17(2):525– 534, 2015.

【２５】Ji Zhang, Michael Kaess, and Sanjiv Singh. Real-time depth enhanced monocular odometry. In 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 4973–4980. IEEE, 2014.

【２６】Ji Zhang and Sanjiv Singh. Visual-lidar odometry and mapping: Lowdrift, robust, and fast. In 2015 IEEE International Conference on Robotics and Automation (ICRA), pages 2174–2181. IEEE, 2015.

【２７】Yoshua Nava. Visual-LiDAR SLAM with loop closure. PhD thesis, Masters thesis, KTH Royal Institute of Technology, 2018. 

【２８】Weizhao Shao, Srinivasan Vijayarangan, Cong Li, and George Kantor. Stereo visual inertial lidar simultaneous localization and mapping. arXiv preprint arXiv:1902.10741, 2019. 

[29] Franz Andert, Nikolaus Ammann, and Bolko Maass. Lidar-aided camera feature tracking and visual slam for spacecraft low-orbit navigation and planetary landing. In Advances in Aerospace Guidance, Navigation and Control, pages 605–623. Springer, 2015. 

[３0] Danfei Xu, Dragomir Anguelov, and Ashesh Jain. Pointfusion: Deep sensor fusion for 3d bounding box estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 244–253, 2018

【３１】Kiwoo Shin, Youngwook Paul Kwon, and Masayoshi Tomizuka. Roarnet: A robust 3d object detection based on region approximation refinement. arXiv preprint arXiv:1811.03818, 2018.

 [３2] Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, and Steven Waslander. Joint 3d proposal generation and object detection from view aggregation. IROS, 2018.

 [３3] Caner Hazirbas, Lingni Ma, Csaba Domokos, and Daniel Cremers. Fusenet: Incorporating depth into semantic segmentation via fusionbased cnn architecture. In Asian conference on computer vision, pages 213–228. Springer, 2016

【３４】 Ming Liang, Bin Yang, Shenlong Wang, and Raquel Urtasun. Deep continuous fusion for multi-sensor 3d object detection. In Proceedings of the European Conference on Computer Vision (ECCV), pages 641– 656, 2018.

相關焦點

  • 商用服務機器人，雷射slam比視覺slam更有優勢，在哪？
    一、雷射SLAM和視覺SLAM，前者是主流。其SLAM系統，包含了多種傳感器和功能模塊，從傳感器來分，主要分為雷射slam和視覺slam（VSLAM），前者主要被應用於室內，後者在室內外均能工作。並且雷射slam起步比視覺slam更早，在理論、技術上相對更成熟。區別在於採集數據信息方式不一樣，視覺slam通過攝像頭來採集。
  • V-slam導航技術風頭無兩
    儘管AMR產品在應用層面已經逐步成熟，不同slam自主導航技術現階段還是存在一定局限。slam導航分為雷射slam和視覺slam兩種。此外，視覺導航模塊具有系統拓展性。隨著通信設備/處理器等周邊配套設施的不斷完善，視覺導航模塊正飛速進步，視覺導航與計算機連接可以實現大規模的調度任務，而視覺導航技術與5G及雲端系統的融合也將更進一步。
  • 推薦收藏 | SLAM優秀開源工程匯總
    https://github.com/RainerKuemmerle/g2o6、Awesome Visual Slam基於視覺的SLAM /視覺Odometry的開源項目，博客和論文列表https://github.com/tzutalin/awesome-visual-slam
  • 基於雙目立體視覺的VI-SLAM導航定位算法研究新突破
    多年來，出現了多種使用不同傳感器的新方法，如聲吶， 雷射雷達和攝像機。這些方法創建了新的數據表示法，進而創建新地圖。Durrant-Whyte 和Bailey，系統的講述了SLAM技術。由於最近在CPU和GPU技術上的進步，機載計算單元算力提升，視覺SLAM的相關研究在持續增長，因為相對於其他傳感器，低成本相機提供了豐富的視覺信息。
  • 視覺SLAM方案整理及硬體選型調研
    如果這裡的傳感器主要為相機，那就稱為「視覺 SLAM」。2）雙目slam。使用雙目相機採集信息，雙目相機可以通過立體視覺原理計算得到像素深度，這樣就不存在單目slam中深度未知的情況。4）近年來有學者提出單目/雙目+IMU的slam方案，其中IMU主要起到的作用包括（1）解決單目slam的初始化尺度問題（2）追蹤中提供較好的初始位姿（3）提供重力方向（4）提供一個時間誤差項以供優化。
  • 新手入門SLAM必備資料
    >Autonome Intelligente SystemeCS 287: Advanced Robotics, Fall 2012 University of California at BerkeleyDept of Electrical Engineering & Computer Sciences Introduction to Mobile Robotics - SS 2012 slam
  • 基於非線性優化算法—當視覺SLAM遇到VINS會碰撞出怎樣的火花？
    由於SLAM起源於機器人領域的狀態估計問題，早先研究的SLAM系統多是使用雷射雷達傳感器且基於濾波算法的，當使用視覺傳感器求解SLAM問題時，基於非線性優化算法被提出並使用，而其理論思想與計算機視覺領域的SFM(StructurefromMotion)問題非常相近，且隨著計算機硬體和計算機視覺技術的快速發展，基於非線性優化算法的視覺SLAM成為了機器人/無人機定位導航領域內的主要研究方向。
  • 雷射SLAM與視覺SLAM的現狀與趨勢
    現在已經有許多優秀的開源算法(如ORB-SLAM[2]、LSD-SLAM[3])，但在實際環境中優化和改進現有的視覺SLAM框架，比如加入光照模型、使用深度學習提取的特徵點、以及使用單雙目及多目融合視角等技術，將是視覺SLAM進一步提升性能和實用性的必由之路。這些技術的算法門檻也遠遠高於雷射SLAM。計算需求毫無疑問，雷射SLAM的計算性能需求大大低於視覺SLAM。主
  • SLAM、三維重建相關資源
    GitHub地址，歡迎補充1、跟蹤SLAM前沿動態論文，更新的很頻繁GitHub - [YiChenCityU/Recent_SLAM_Research](https:///github.com/YiChenCityU/Recent_SLAM_Research)Track Advancement of SLAM2、很全視覺
  • 讓無人機自主避障教學研究邁向更高處slam導航避障算法
    而目前的無人機領域被廣泛應用到的障礙物檢測方法有超聲波測距、紅外或雷射測距、雙目視覺、電子地圖等。其中雙目視覺技術更是利用了人眼如何估計視覺的原理,是目前較受無人機開發商青睞的一種技術。可搭載超聲波、雷射、光流GPS、PTK等諸多傳感器，適應多種應用環境與系統組合。　　3、機載雙目視覺系統　　機載雙目視覺系統包括雙目相機、圖傳系統，雙目相機固定於無人機底部，實時採集無人機巡視拍攝信息，發送至TX2機載處理板卡進行避障、跟隨以及slam計算，或下傳至地面圖傳接收機由開發工作站進行處理。機載雙目視覺系統所使用的雙目視覺相機為小覓雙目視覺相機。
  • 雷射SLAM|SuMa:基於Surfel地圖的室外大場景SLAM
    這種優點對slam來講而已同樣適用，所以很快就被引入slam領域，[4][5][6]就是典型的例子，但這些都是在室內小場景，我們自然會想到對於室外大場景，它的作用是怎麼樣的呢？所以就有了本篇論文。5）計算得到相機位姿後，將當前幀的點雲和重建好的做融合，融合使用 openGL 的 shading language，如果在存在局部的或者全局的迴環，在使用 openGL 進行點的融合時候，將優化之後的節點變量，作用於全部的點。6）融合到全局模型中後，再用 openGL 投影得到當前視角下可以看到的點，用來對下一幀圖像配準。
  • 多旋翼飛行器開發、無人機仿真、slam視覺平臺更多解鎖在這裡
    通過多年來與北航專家的深度合作，在本次課程的基礎上升級研發出了多套無人機教學實訓系統，如：無人機仿真平臺、slam視覺平臺、飛控開發平臺，編隊/集群飛行平臺，有效助力無人機教研工作者，輕鬆簡單開展無人機實訓教學。
  • Slam dunk? 巨大成功
    Reader question:Please explain 「slam dunk」, as in someone saying 「the new smartphone is a slam dunk」.
  • slam導航避障算法，讓無人機自主避障教學研究邁向更高處
    而目前的無人機領域被廣泛應用到的障礙物檢測方法有超聲波測距、紅外或雷射測距、雙目視覺、電子地圖等。其中雙目視覺技術更是利用了人眼如何估計視覺的原理,是目前較受無人機開發商青睞的一種技術。可搭載超聲波、雷射、光流GPS、PTK等諸多傳感器，適應多種應用環境與系統組合。3、機載雙目視覺系統機載雙目視覺系統包括雙目相機、圖傳系統，雙目相機固定於無人機底部，實時採集無人機巡視拍攝信息，發送至TX2機載處理板卡進行避障、跟隨以及slam計算，或下傳至地面圖傳接收機由開發工作站進行處理。
  • 97項開源視覺SLAM方案(一)
    Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras[J].ORBSLAM-Atlas: a robust and accurate multi-map system[J]. arXiv preprint arXiv:1908.11585, 2019.以下5, 6, 7, 8幾項是 TUM 計算機視覺組全家桶，官方主頁：https://vision.in.tum.de/research/vslam/dso·
  • 雷射、視覺，關於SLAM傳感器，你不知道的那些硬核優勢大對比
    而反觀視覺SLAM，首先圖像處理本身就是一門很深的學問，而基於非線性優化的地圖構建上也是非常複雜和耗時的計算問題。現在已經有許多優秀的開源算法(如ORB-SLAM[2]、LSD-SLAM[3])，但在實際環境中優化和改進現有的視覺SLAM框架，比如加入光照模型、使用深度學習提取的特徵點、以及使用單雙目及多目融合視角等技術，將是視覺SLAM進一步提升性能和實用性的必由之路。
  • 從零起步到架構完整的SLAM系統，全方位100%實戰
    計算機視覺方向的研究目前主要分為兩大方向：基於學習的方法和基於幾何的方法。其中基於學習的方法最火的就是深度學習，而基於幾何方法最火的就是視覺SLAM。傳統的圖像處理基本上是基於二維圖像，但我們知道，人眼是通過兩隻眼睛的視差(雙目立體視覺)來感知周圍的三維空間。隨著三維視覺傳感器的飛速發展，三維視覺核心技術：SLAM技術，在無人駕駛、智慧機器人、無人機等領域應用越來越重要。
  • 2019學個英語單詞第十二回:The word of Slam
    To slam someone or something means to criticize them very severely. 據外媒報導，1月19日星期六晚，32歲的流行歌手Lady Gaga在拉斯維加斯駐唱演出時突然中斷表演借政府關門風波直接向唐納·川普總統開火。
  • 分享一個V-SLAM中點雲配準算法改進的方法
    2)視覺傳感器支持Intel D435i、小覓等多種雙目視覺相機。可根據客戶需求選配可見光相機、雷射雷達、紅外相機等多種其他類型的傳感器。為客戶提供完善的驅動程序支持和二次開發接口。3）機載計算機可搭載TX2、樹莓派、Intel NUC等多種機載計算機。
  • 視覺SLAM—關於無人機精準定位和場景重構VIO有話說
    這兩個傳感器之間具有互補性，相機能夠獲得豐富的環境信息，通過視覺匹配完成迴環檢測與迴環校正，從而有效地修正慣性測量單元的累計漂移誤差。除了VIO系統的攝像機與IMU融合技術之外，由此還可以考慮多傳感器融合的方案，又可以解決許多由於因傳感器不足而存在的問題。