【泡泡圖靈智庫】信息驅動的直接RGB-D裡程計

2021-02-13 泡泡機器人SLAM

泡泡圖靈智庫,帶你精讀機器人頂級會議文章

標題:Information-Driven Direct RGB-D Odometry

作者:   Alejandro Fontán,Javier Civera etl.

來源:CVPR 2020(oral)

編譯:Weirse

審核:wyc

這是泡泡圖靈智庫推送的第 501 篇文章,歡迎個人轉發朋友圈;其他機構或自媒體如需轉載,後臺留言申請授權

        大家好,今天為大家帶來的文章是——Information-Driven Direct RGB-D Odometry

本文提出了一種基於資訊理論方法的直接RGB-D裡程計。其目的是只選擇信息量最大的測量值,以減少優化問題對精度的影響最小。通常情況下,視覺裡程計/SLAM跟蹤數百個點,在高配臺式PC機上實現實時性能。減少其計算佔用空間將有助於在小型機器人和AR/VR眼鏡等低端平臺上實現裡程計和SLAM。我們的實驗結果表明,本文的新的基於信息的選擇原則使得跟蹤點的數量減少一個數量級(減少到只有24個),達到了與當前技術水平類似的精度(有時優於它),同時減少了10倍的計算需求。

Prpject:rmc.dlr.de/rm/en/staff/alejandro.fontanvillacampa/IDNav

本文主要有以下貢獻:

本文的目標是在精度損失可以忽略不計的情況下,大幅減少直接RGB-D裡程計的計算量,主要有以下貢獻:

提出了一種新的有效的基於信息的局部束調整和姿態跟蹤優化準則。。

提出基於信息觀測值的直接視覺裡程計方法。

實驗結果表明在不顯著降低精度的情況下實現跟蹤特徵數量的減少。

1.引言

大多數直接方法都是密集或半密集的方法,目的是儘可能多地使用像素。為了達到實時性能,它們依賴於高端計算平臺或使用次優近似。本文提出的

圖1 上圖:我們的RGB-D裡程計(ID-RGBDO)在兩種情況下估計的軌跡和地圖:跟蹤500個圖像點(藍色),並且只跟蹤24個信息最豐富的點(洋紅色),節省了大量的計算量。兩者之間的區別幾乎是不明顯的。底部:500點案例(藍點)和24個信息最豐富的案例(洋紅色方塊)的樣本幀和軌跡

圖2說明了一個點周圍的微分區域是如何隨視點變化的。這種變化δA可以建模為圖像點piin幀i相對於參考關鍵幀j中相應點的坐標pjo的導數的行列式:

資訊理論提供了一種量化和形式化與信息相關的所有過程的方法。在SLAM的背景下,多元高斯的特例是完全有基礎。本文提出的信息驅動公式基於以下經典的信息度量。

Differential entropy :

3.1信息點選擇

相機姿態熵取決於其協方差矩陣∑x的行列式,如等式(11)所示。每個點p與∆p∧x共同構成信息矩陣∧x,該矩陣可作為整組點p的Jacobian連續加和獲得:

從一個具有區域自適應梯度閾值的預濾波高梯度像素byangride開始對屬於Canny邊的點進行優先排序,但也將一些點保留在梯度較弱的區域(步驟2)。遵循算法為每個自由度(Jx的6列中的每一列)選擇具有最大導數的像點p,並用它們建立初始信息矩陣。然後迭代選擇第三步函數的點。

考慮離群值並丟棄光度誤差超過分布標準偏差三倍的點。這減少了閉塞和錯誤匹配對裡程計準確性和魯棒性的影響。

4. ID-RGBDO-窗口優化

4.1 Keyframe creation

本文提出關鍵幀的創建與相機姿勢的熵減少∆H相關聯,利用協方差矩陣上的Schur補,獨立地得到了每個自由度x∈x的熵約化。設置緊跟在關鍵幀後面的第一幀的熵H∗(x0)作為參考。這意味著,本質上,當在相機的至少一個自由度中觀察到某個熵衰減時,我們的系統會創建一個新的關鍵幀。

在這個信息框架內,為關鍵幀創建過程建立一個閾值似乎有些自相矛盾。然而,與其他定義多個模糊閾值的系統不同,值得注意的是,熵減量允許我們使用與跟蹤信息相關的單個值。分解每個特定自由度的信息可以增加健壯性和準確性,因為聚合的信息可能會用某些自由度中較高的信息值來補償某些自由度中的低信息值。

4.2關鍵幀邊緣化

本文沒有簡單地從優化中去掉關鍵幀和點,為了保留大部分信息,我們用光度誤差的線性化表達式代替非線性項然後可以在y上編寫一個二次函數,該函數可在所有後續優化和邊緣化操作期間添加到光度誤差中,替換相應的非線性項:

圖2點信息選擇。所有序列中累積的平移關鍵幀到幀錯誤(K2FE)。不同的線對應於點選擇模式

圖3 準確度與熵。左圖:累積的K2FE。從黑色到藍色的顏色退化表明熵降低程度更高。右圖:累積的K2FE與絕對熵值。

圖4 左:平移關鍵幀幀錯誤(K2FE)與熵減少。中心:點數與熵減少。右圖:K2FE與點數。三種不同的顏色代表三種不同的序列。

2.Computational Performance

在一臺搭載英特爾酷睿i7-7500U CPU、2.70GHz和8GB內存的筆記本電腦上進行所有實驗。圖7顯示了跟蹤成本(有無信息點選擇)與圖像點數的線性關係。從通常跟蹤數百個點到我們的最小設置24個點,時間減少了5到10倍。還請注意,與總跟蹤成本相比,我們的信息點選擇算法引入的開銷很小,特別是對於較少的點。

圖 5 跟蹤成本。觀察其與點數的線性增長,因此使用少量點的方便性。也請注意我們的信息點選擇帶來的小開銷。

Abstract 

This paper presents an information-theoretic approach to point selection for direct RGB-D odometry. The aim is to select only the most informative measurements, in order to reduce the optimization problem with a minimal impact in the accuracy. It is usual practice in visual odometry/SLAM to track several hundreds of points, achieving real-time performance in high-end desktop PCs. Reducing their computational footprint will facilitate the implementation of odometry and SLAM in low-end platforms such as small robots and AR/VR glasses. Our experimental results show that our novel information-based selection criteria allows us to reduce the number of tracked points an order of magnitude (down to only 24 of them), achieving an accuracy similar to the state of the art (sometimes outperforming it) while reducing 10× the computational demand.

如果你對本文感興趣,想要下載完整文章進行閱讀,可以關注【泡泡機器人SLAM】公眾號

點擊閱讀原文,提取碼: xiqn ,即可獲取本文下載連結。

歡迎來到泡泡論壇,這裡有大牛為你解答關於SLAM的任何疑惑。

有想問的問題,或者想刷帖回答問題,泡泡論壇歡迎你!

泡泡網站:www.paopaorobot.org

泡泡論壇:http://paopaorobot.org/bbs/

泡泡機器人SLAM的原創內容均由泡泡機器人的成員花費大量心血製作而成,希望大家珍惜我們的勞動成果,轉載請務必註明出自【泡泡機器人SLAM】微信公眾號,否則侵權必究!同時,我們也歡迎各位轉載到自己的朋友圈,讓更多的人能進入到SLAM這個領域中,讓我們共同為推進中國的SLAM事業而努力!

商業合作及轉載請聯繫liufuqiang_robot@hotmail.com

相關焦點

  • 【泡泡圖靈智庫】LIC-Fusion: 雷射雷達-慣導-相機裡程計
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:LIC-Fusion: LiDAR-Inertial-Camera Odometry作者:Xingxing Zuo, Patrick Genevayy, Woosik Leey, Yong Liu, and Guoquan Huang。
  • 【泡泡圖靈智庫】簡併態敏感的成像聲吶SLAM
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Degeneracy-aware Imaging Sonar SLAM作者:Eric Westman and Michael Kaess來源:arxiv 2018編譯:田貴彬審核:  wanyc提取碼: pyij這是泡泡圖靈智庫推送的第
  • 【泡泡圖靈智庫】Rovins:魯棒全向視覺-慣導導航系統
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:ROVINS: Robust Omnidirectional  Visual Inertial Navigation System作者: Hochang Seok1 and Jongwoo Lim來源:IROS2020提取碼: 38ga編譯:Cirstan
  • 【泡泡圖靈智庫】邁向更好的泛化:無PoseNet聯合深度-位姿學習
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Towards Better Generalization: Joint Depth-Pose Learning without PoseNet作者:Wang Zhao,Shaohui Liu,Yezhi Shu,Yong-Jin Liu來源:CVPR 2020編譯:陳聖倫
  • 【泡泡圖靈智庫】基於符號距離場函數子地圖的全局一致體素建圖系統
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Voxgraph: Globally Consistent, Volumetric Mapping using Signed Distance Function Submaps作者:Victor Reijgwart, Alexander Millane, Helen Oleynikova, Roland
  • 【泡泡圖靈智庫】單目圖像和稀疏雷達數據深度估計
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Depth Estimation from Monocular Images and Sparse Radar Data作者: Juan-Ting Lin1, Dengxin Dai1, and Luc Van Gool1機構:1Computer Vision Lab, ETH Zurich, Switzerland
  • 【泡泡圖靈智庫】single view stereo matching
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Single view stereo matching作者:Yue Luo, Jimmy Ren, Mude Lin, Jiahao Pang, Wenxiu Sun, Hongsheng Li, Liang Lin來源:2018 CVPR播音員:編譯:韓騰飛
  • 【泡泡圖靈智庫】面向高性能的固態雷射-慣性裡程計與建圖
    在前端,基於特徵的輕量級雷射裡程計提供快速的運動估計用於自適應選擇關鍵幀。在後端,通過邊緣化執行基於關鍵幀滑動窗口的分層優化,用於直接融合慣性測量數據和雷射測量數據。針對新發布的固態雷射雷達Livox  Horizon,提出了一種新的特徵提取方法,用於在預處理過程中處理其不規則掃描模式。
  • 【泡泡圖靈智庫】概率回歸的視覺追蹤
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Probabilistic Regression for Visual Tracking作者:Martin Danelljan機構:Computer Vision Lab, D-ITET, ETH Zurich, Switzerland來源:CVPR 2020編譯:董爾群審核:wyc這是泡泡圖靈智庫推送的第
  • 推薦閱讀 | 端到端EKF的深度視覺-慣導裡程計
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Towards End-to-end Learning of Visual Inertial Odometry with an EKF作者:Chunshang Li,Steven L.
  • 【泡泡圖靈智庫】基於RGBD的自主工業樓梯定位的履帶機器人
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Autonomous RGBD-based Industrial Staircase Localization from Tracked Robots作者:Jérémy Fourre、Vincent Vauchey、Yohan Dupuis、Xavier Savatier來源:IROS
  • 【泡泡圖靈智庫】利用平面和點線特徵的VIO
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Leveraging Planar Regularities for Point Line Visual-Inertial Odometry作者:李鑫 Yijia He; etc.
  • 【泡泡一分鐘】利用點和線特徵的雷射雷達單目視覺裡程計
    694 篇文章,歡迎個人轉發朋友圈;其他機構或自媒體如需轉載,後臺留言申請授權我們介紹了一種新的雷射雷達-單目視覺裡程計方法,利用點和線的特點。與以前的基於點的雷射雷達視覺裡程計相比,我們的方法通過在姿態估計中引入點和線特徵來利用更多的環境結構信息。我們為點和線深度提取提供了一種穩健的方法,並將提取的深度公式化為點-線束調整的先驗因子。該方法大大降低了特徵的三維模糊度,從而提高了姿態估計精度。此外,我們還提供了一種純視覺的運動跟蹤方法和一種新穎的比例校正方案,從而實現了一個高效、高精度的三維視覺裡程計系統。
  • 【泡泡圖靈智庫】基於條件生成網絡的多模態形狀補全
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Multimodal Shape Completion via Conditional Generative Adversarial Networks作者:Rundi Wu , Xuelin Chen , Yixin Zhuang, and Baoquan Chen機構:北京大學,山東大學
  • 【泡泡一分鐘】LOL:在3D點雲地圖中僅使用雷射雷達的裡程計和定位
    Majdik來源:2020 IEEE International Conference on Robotics and Automation (ICRA)編譯:孫欽審核:柴毅,王靖淇這是泡泡一分鐘推送的第 619 篇文章,歡迎個人轉發朋友圈;其他機構或自媒體如需轉載,後臺留言申請授權在本文中,我們解決了在城鎮環境中行駛的,配備雷射雷達的車輛的裡程計和定位
  • 【泡泡圖靈智庫】稀疏雷射點雲中地面檢測的提升
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:On Enhancing Ground Surface Detection from Sparse Lidar Point Cloud作者:Bo Li來源:IROS 2019編譯:阮建源審核:萬應才,李鑫歡迎個人轉發朋友圈;其他機構或自媒體如需轉載
  • 【泡泡圖靈智庫】在變化環境中魯棒的視覺定位的2實體RANSAC
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:2-Entity RANSAC for robust visual localization in changing environment作者:Yanmei Jiao, Yue Wang, Bo Fu, Xiaqing Ding, Qimeng Tan, Lei Chen and Rong Xiong
  • 【泡泡圖靈智庫】Detect-SLAM:目標檢測和SLAM相互收益
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:Detect-SLAM: Making Object Detection and SLAM Mutually Beneficial作者:Fangwei Zhong  Sheng Wang  Ziqi Zhang Chen Zhou  Yizhou Wang (Peking University)
  • 【泡泡圖靈智庫】SDRSAC:基於半正定隨機採樣方法的無須點對應的魯邦點雲估計(無音頻)
    泡泡圖靈智庫,帶你精讀機器人頂級會議文章標題:SDRSAC: Semidefinite-Based Randomized Approach for Robust Point Cloud Registration without Correspondences作者:Huu M.
  • 【泡泡圖靈智庫】基於貪心特徵選取的高效雷射雷達SLAM
    Peng Yun , Linxin Jiang ,Lujia Wang , Ming Liu會議:ICRA2021編輯:周福男審核:張海晗這是泡泡圖靈智庫推送的第我們把特徵選擇描述為保留信息矩陣譜屬性的基數約束下的組合優化問題。隨機貪心策略被用來近似實時最優解。為了避免病態估計,我們還提出了評價環境退化以及在線修改特徵數目的通用策略。提出的特徵選擇器集成到了多雷射雷達SLAM中。我們使用大量不同場景的實驗驗證了這個增強後的系統。相比於SOTA的L- SLAM系統,我們的方法展示出了低定位誤差和高運行速率。