【泡泡一分鐘】通過幾何感知課程學習來學習單目視覺裡程計

2021-02-19 泡泡機器人SLAM

每天一分鐘,帶你讀遍機器人頂級會議文章

標題:Learning Monocular Visual Odometry through Geometry-Aware Curriculum Learning

作者:Muhamad Risqi U. Saputra, Pedro P. B. de Gusmao, Sen Wang, Andrew Markham, and Niki Trigoni

來源:IEEE International Conference on Robotics and Automation (ICRA),2019

編譯:楊雨生

審核:黃思宇,孫欽

歡迎個人轉發朋友圈;其他機構或自媒體如需轉載,後臺留言申請授權

受人類和動物認知過程的啟發,課程學習(CL)在訓練數據時逐步增加訓練樣本的難度。在本文中,作者探討了將課程學習應用到複雜幾何任務上的問題,例如估計單目視覺裡程計的軌跡。不同於現有的課程學習方法,作者提出一種新的課程學習策略來學習單目視覺裡程計中的幾何信息,通過在訓練的過程中逐步增加訓練對象的難度。針對這樣一個目標,作者提出一個幾何感知目標函數,通過聯合優化相對變換誤差,和小窗口中的複合變換誤差(作者稱之為bounded pose  regression loss)。作者設計了CL-VO網絡來解決所提出的問題,這個網絡由一個級聯光流網絡,加上其後面連接著由可微分窗口組成層組成的循環網絡構成。作者在三個真實世界的數據集上進行了測試,其所提出的CL-VO與feature-based VO 和learning-based VO相比,表現出來更好的效果。

圖1  上圖是作者所提出的CL-VO網絡結構圖,首先是級聯光流網絡,然後接著是循環網絡,最後是全連接層。

圖2  上圖是作者提出的CL-VO網絡中,添加了windowed composition layer。

圖3  上圖是作者在KITTI數據集上進行實驗的效果。

表1  CL-VO與其他方法在KITTI數據集上的誤差比較。

Abstract

Inspired by the cognitive process of humans and animals, Curriculum Learning (CL) trains a model by gradually increasing the difficulty of the training data. In this paper, we study whether CL can be applied to complex geometry problems like estimating monocular Visual Odometry (VO). Unlike existing CL approaches, we present a novel CL strategy for learning the geometry of monocular VO by gradually making the learning objective more difficult during training. To this end, we propose a novel geometry-aware objective function by jointly optimizing relative and composite transformations over small windows via bounded pose regression loss. A cascade optical flow network followed by recurrent network with a differentiable windowed composition layer, termed CL-VO, is devised to learn the proposed objective. Evaluation on three real-world datasets shows superior performance of CL-VO over state-of-the-art feature-based and learning-based VO.

如果你對本文感興趣,請點擊點擊閱讀原文下載完整文章,如想查看更多文章請關注【泡泡機器人SLAM】公眾號(paopaorobot_slam)

歡迎來到泡泡論壇,這裡有大牛為你解答關於SLAM的任何疑惑。

有想問的問題,或者想刷帖回答問題,泡泡論壇歡迎你!

泡泡網站:www.paopaorobot.org

泡泡論壇:http://paopaorobot.org/bbs/

泡泡機器人SLAM的原創內容均由泡泡機器人的成員花費大量心血製作而成,希望大家珍惜我們的勞動成果,轉載請務必註明出自【泡泡機器人SLAM】微信公眾號,否則侵權必究!同時,我們也歡迎各位轉載到自己的朋友圈,讓更多的人能進入到SLAM這個領域中,讓我們共同為推進中國的SLAM事業而努力!

商業合作及轉載請聯繫liufuqiang_robot@hotmail.com

相關焦點

  • ICRA 2020:重新探索視覺裡程計,從何學起? | 將門好聲音
    粘煌熒,這次分享的是剛被機器人會議ICRA-2020接收的「視覺裡程計(Visual Odometry,VO)」工作。Ian Reid,澳大利亞機器人視覺中心(ACRV)以及澳大利亞機器學習研究所(AIML)成員。研究方向包括傳統幾何與深度學習的結合,自監督學習的深度估計,3D重建。個人主頁:huangying-zhan.github.ioEmail: huangying.zhan@adelaide.edu.au
  • 綜述|深度學習在SLAM定位與建圖中的應用(近250篇參考文獻)
    」本文全面總結了通過深度學習實現定位與建圖的工作,廣泛覆蓋了從裡程計估計、建圖到全局重定位以及同步定位建圖技術(SLAM),並於近期發布綜述文章,梳理了超過250篇相關論文,希望能幫助大家更好的了解這一新興領域。
  • 一個超乾貨的3D視覺學習社區
    我想請問一下在單目三維重建過程中,對投影儀的標定,一般用什麼來評價所用方法對投影儀標定精度的有效性? ……姿態估計篇目前做物體6D姿態估計的網絡中,有沒有應用深度補全來提升精度以及提升遮擋下的識別效果的呢?如何自己製作6D位姿估計的深度學習的數據集?
  • 【泡泡機器人原創專欄】SLAM/VIO學習總結
    下圖是港科沈紹劼老師團隊利用VIO實現的無人機導航和單目稠密重建的工作(視頻連結【1】)。單目視覺 SLAM 算法存在一些本身框架無法克服的缺陷,首先是尺度的問題 ,單目 SLAM 處理的圖像幀丟失了環境的深度信息,即使通過對極約束和三角化恢復了空間路標點的三維信息,但是這個過程的深度恢復的刻度是任意的,並不是實際的物理尺度,導致的結果就是單目SLAM 估計出的運動軌跡即使形狀吻合但是尺寸大小卻不是實際軌跡尺寸;由於基於視覺特徵點進行三角化的精度和幀間位移是有關係的,當相機進行近似旋轉運動的時候
  • 有效距離1600米,發布多目視覺立體感知技術,智加科技是如何做到的?
    近日,智加科技發布了最新的多目視覺立體感知方案——有效距離達到1英裡(1600米)的立體視覺感知技術,可以精準判斷物體的位置和速度,結合多傳感器融合方案將大幅提升系統安全性。 值得注意的是,有效距離1600米在自動駕駛領域內是個什麼樣的概念?
  • 最新語義視覺SLAM綜述:面向應用的移動機器人自主導航解決方案
    如圖所示,視覺裡程計和迴環檢測模塊同時接收某些傳感器所提供的輸入。這裡,視覺裡程計的功能是提供預先的機器人位姿估計,迴環檢測模塊的功能是提供場景相似度。獲得到的機器人位姿或場景相似度信息,作為後續機器人全局優化位姿和地標,以及繪製移動軌跡和環境地圖的源信息。數學上,前端任務和後端任務可以被分別抽象為「數據關聯」問題和「狀態估計」問題。
  • 【泡泡一分鐘】基於學習的地下環境自主探索路徑規劃
    每天一分鐘,帶你讀遍機器人頂級會議文章標題:Learning-based Path Planning for Autonomous Exploration of Subterranean Environments作者:Russell Reinhart, Tung Dang, Emily Hand, Christos Papachristos, and
  • 一種基於深度學習的視覺觸覺感知方法
    圖為研究人員介紹的基於視覺的觸覺感知策略為了有效地與周圍環境互動,機器人應該能夠像人類一樣,通過觸摸來識別不同物體的特徵。這將使他們能夠更有效地抓住和管理物體,利用傳感器收集的反饋來調整他們的抓取和操作策略。考慮到這一點,世界各地的研究小組一直在努力開發技術,通過分析傳感器收集的數據,賦予機器人觸覺,其中許多數據是基於深度學習架構的使用。雖然其中一些方法很有前途,但它們通常需要大量的訓練數據,而且並不總是能夠很好地泛化以前不可見的對象。
  • 碩士研究生階段如何學習slam機器人?
    4.可以自己模仿寫一個視覺裡程計對於雷射SLAM其實我也推薦先看視覺SLAM十四講,因為SLAM間結構和原理相似,且視覺SLAM有這樣好的入門教材沒有不看的理由。同時由於相機的觀測模型相比雷射雷達會更複雜一些,所以互相轉換起來會比較快。
  • 卡內基梅隆大學機器人學院博士後胡耀鈺:基於深度學習的雙目深度...
    傳統多視圖幾何的三維重建,按照深度圖的獲取方式可以分為主動式三維重建和被動式三維重建。被動式三維重建是依靠多視圖幾何原理基於視差進行計算,按照採集設備的不同可以分為單目視覺、雙目視覺和多目視覺。單目視覺使用單一攝像頭作為採集設備,依靠一段時間內獲得的連續圖像的視差來重建三維環境,然而單張圖像可能對應無數真實物理世界場景,因此從圖像中估計深度進而實現三維重建的難度較大。雙目視覺則主要利用左右相機得到的兩幅校正圖像找到左右圖片的匹配點,然後根據幾何原理恢復出環境的三維信息,其可以較為精確的恢復深度信息。
  • 3D視覺從入門到精通系統學習教程
    目前我們的星球嘉賓已經陸續為我們的星球成員帶去了線上課程,包括:基於深度學習物體抓取位置估計、相機標定的基本原理與經驗分享...後期會陸續針對星球裡的內容,進行進一步講解與指導。正文我們生活在三維空間中,如何智能地感知和探索外部環境一直是個熱點難題。
  • 自動駕駛技術之——3D感知環境的深度學習方法
    立體視覺利用多臺攝像機,通過測量被感知物體位置的變化來計算深度信息(來源:愛丁堡大學)1、立體視覺將兩個或以上攝像機相對於彼此固定在特定位置,並使用此設置捕獲場景的不同圖像,匹配相應的像素學習多視圖輸入使用3D數據的多視圖表示是使2D深度學習技術適應3D的最簡單方法。這是將3D感知問題轉換為2D感知問題的一種聰明方式,但仍然允許您推斷對象的3D幾何結構。使用這種想法的早期基於深度學習的工作是Su等人的多視圖CNN一種簡單而有效的架構,可以從3D對象的多個2D視圖中學習特徵描述符。
  • 單目視覺ADAS的技術與體驗升級之路|雷鋒網公開課
    以下分享也許可以解答您的疑問:ADAS的實現途徑;單目視覺ADAS的基本原理;單目視覺ADAS的技術難點(數據樣本積累、算法、晶片、攝像頭及前後裝等);視覺ADAS的發展趨勢。目前,基於單目視覺的測距方法集中於兩類:其一,就是通過光學幾何模型(即小孔成像模型)建立測試對象世界坐標與圖像像素坐標間的幾何關係,結合攝像頭內、外參的標定結果,便可以得到與前方車輛或障礙物間的距離;其二,就是在通過採集的圖像樣本
  • 一文帶你了解基於視覺的機器人抓取自學習(Robot Learning)
    文中實驗表明,這種用於任務抓取的自我監督方法明顯優於直接增強圖像學習方法和先前的表徵學習方法。從小時候開始,即使從未有人明確地教過如何做,人們依舊能夠識別並收拾取自己喜歡的物品。根據認知發展研究,這種與世界中的物體相互交互的能力,在人類感知和操縱物體的能力形成的過程中起著重要的作用。通過與周圍世界的互動,人們可以通過自我監督來學習:知道自己採取了什麼行動,並且從結果中學到了什麼知識。
  • 視覺SLAM技術以及其應用詳解
    相比於單目,雙目相機通過多個相機之間的基線,估計空間點的位置。與單目不同的是,立體視覺既可以在運動時估計深度,亦可在靜止時估計,消除了單目視覺的許多麻煩。不過,雙目或多目相機配置與標定均較為複雜,其深度量程也隨雙目的基線與解析度限制。通過雙目圖像計算像素距離,是一件非常消耗計算量的事情,現在多用FPGA來完成。
  • 重用地圖的單目視覺慣導SLAM系統
    摘要近些年來有很多優秀的視覺慣導融合的裡程計系統,計算高精度和魯棒性的傳感器的增量運動。本文作者提出了一個新穎的基於緊耦合的帶有閉環檢測的視覺慣導SLAM系統,他可以在已經建圖的地方重用地圖達到0漂移的定位精度。這個系統可以用在所有的相機上,這裡主要介紹存在尺度不確定性的單目相機。本文也提出了一個新穎的IMU初始化的方法可以在短時間內計算很高精度的尺度,重力方向,速度,加速度計和陀螺儀的偏置。在11個序列的飛行數據集上進行了測試,尺度誤差達到1%(釐米級)精度。
  • 3D視覺傳感技術
    被動測距法被動測距技術不需要人為地設置輻射源,只利用場景在自然光照下的二維圖像來重建景物的三維信息,具有適應性強、實現手段靈活、造價低的優點。但是這種方法是用低維信號來計算高維信號的,所以其使用的算法複雜。被動測距按照使用的視覺傳感器數量可分為單目視覺、雙目立體視覺和多目視覺三大類。
  • DLO:用於2.5D室外環境的直接法LiDAR裡程計
    ,本論文創新提出了一種基於2.5D雷射地圖的直接法裡程計,算法具有很高的精確性和實時性。在沒有全球導航衛星系統的情況下,無人駕駛汽車必須能夠通過傳感器對環境的感知來對自己實現定位。SLAM算法通過在駕駛期間觀察環境地標來構建地圖,並且實時地將當前的感知信息與地圖相關聯,最佳的估計自己的位姿。在SLAM系統中,前端裡程計是重要的組成部分,它通過逐幀之間的匹配來估計相對的位姿變換,從而實現航位推算。視覺裡程(VO)主要的方法可以分為間接和直接法。
  • 在手機上實現實時的單目3D重建
    回覆:OpenCV,下載OpenCV資料及練習代碼回覆:MVG,下載計算機視覺中的多視圖幾何,英文原版及中譯本回覆:ML,下載機器學習書籍及實戰資料回覆:PCL,下載點雲庫PCL學習教程本文轉自泡泡機器人,已授權
  • 恭喜中國第十五批初級認證視覺引導師通過認證!
    (以上認證序號為考試抽籤序號,排名不分先後)中國視覺引導師系統認證 中國視覺引導師專業系統課程的認證是在所有學員經過了至少100小時的專業學習和實踐之後,由上海泡泡創意設計諮詢有限公司為認證學員做出的審核評估,通過認證的學員將正式成為中國初級認證視覺引導師。