MonoRec:無需雷射雷達,只需單個相機就可以實現三維場景的稠密重建

2021-02-14 慧天地

點擊圖片上方藍色字體「慧天地」即可訂閱

文章轉載自微信公眾號點雲PCL，標題：MonoRec: Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera，作者：Felix Wimbauer1 Nan Yang1,2 Lukas von Stumberg1 Niclas Zeller1,2 Daniel Cremers1，編譯：點雲PCL，版權歸原作者及刊載媒體所有。

在本文中，我們提出了MonoRec，一種半監督的單目密集重建架構，該方案可在動態環境中根據單個移動攝像機預測深度圖。MonoRec提出了一種新型的多階段訓練方案，該方案可以不需要LiDAR深度值的半監督損失公式。在KITTI數據集上仔細評估了MonoRec，並表明與多視圖和單視圖方法相比，它具有最先進的性能。通過在KITTI上訓練的模型，我們進一步證明了MonoRec能夠很好地推廣到牛津RobotCar數據集和手持攝像機記錄的更具挑戰性的TUM-Mono數據集上。

多視圖立體視覺（MVS）方法基於具有已知姿勢的一組圖像來估計3D環境的稠密點雲。在過去的幾年中，基於經典的優化方法已經開發出很多種方案來解決MVS問題。

基於單目的深度預測僅依賴於單個圖像，單目深度預測通常在訓練期間仍然消耗視頻序列或立體圖像。它的目的是解決與本文提出的類似的問題，即對包括靜態和動態對象的3D場景進行稠密點雲重構。

為了結合具有深度的MVS和單目深度預測的優勢，我們提出了MonoRec，這是一種新穎的單目密集重建架構，由MaskModule和DepthModule組成。使用成本量對來自多個連續圖像的信息進行編碼，這些成本量是基於結構相似性指標度量（SSIM）而不是像以前的工作一樣基於絕對差之和（SAD）構建的。MaskModule能夠識別運動像素並降低成本量中的相應體素。因此，與其他MVS方法相比，MonoRec不受移動物體上的偽影的影響，因此可提供靜態和動態物體的準確深度估計。與KITTI數據集上的其他MVS和單目深度預測方法相比，通過提出的多階段訓練方案，MonoRec可以實現最先進的性能。下圖顯示了該方法生成的密集點雲

MonoRec可以通過單個移動相機提供了高質量的稠密重建的點雲。該圖顯示了通過簡單地累積預測的深度圖來進行大規模室外點雲重建（KITTI數據集）的示例。

MonoRec使用一組連續的圖像幀和相應的相機位姿來預測給定關鍵幀的稠密深度圖。MonoRec結構結合了MaskModule和DepthModule。MaskModule預測可提高深度精度的運動對象mask，並允許我們消除3D重建中的噪聲。DepthModule根據mask的代價來預測深度圖。

細化損失：a）MaskModule細化和b）DepthModule細化損失函數。

MonoRec與KITTI測試集中的其他方法之間的比較。「數據集」列顯示了相應方法使用的訓練數據集，評估結果表明，該的方法總體上取得了最佳性能。

運動對象深度估計的比較：與其他MVS方法相比，MonoRec能夠預測可能的深度。此外，深度預測在場景的靜態區域中具有較少的噪聲和偽像

本文簡單MonoRec，這是一種深度學習架構，僅通過單個移動相機即可估算出精確3D重建後的稠密點雲。論文首先建議使用SSIM作為光度測量來構建成本量。為了處理室外場景中常見的動態對象，提出了一種新穎的MaskModule，它可以根據輸入成本量預測移動對象mask。使用預測的mask，使用提出的DepthModule能夠估計靜態和動態對象的準確深度。此外，我們提出了一種新穎的多階段訓練方案以及用於訓練深度預測的半監督損失公式。綜合起來，MonoRec能夠在KITTI上定性和定量地勝過最新的MVS和單目深度預測方法，並且在Oxford Oxford RobotCar和TUM-Mono上表現較好。這種從單個移動攝像機中恢復準確的3D稠密點雲的能力將有助於將攝像機確立為智能系統的先導傳感器。

點擊文末「閱讀原文」即可查看原文章。

微信號：huitiandi321

郵箱：geomaticshtd@163.com

歡迎關注慧天地同名新浪微博：

《慧天地》敬告

《慧天地》公眾號聚焦國內外時空信息科技前沿、行業發展動態、跨界融合趨勢，探索企業核心競爭力，傳播測繪地理信息文化，為測繪、地信、遙感等相關專業的同學提供日常學習、考研就業一站式服務，旨在打造政產學研用精準對接的平臺。《慧天地》高度重視版權，對於原創、委託發布的稿件，會煩請作者、委託方親自審核通過後才正式推發；對於來自網站、期刊、書籍、微博、微信公眾號等媒介的稿件，會在作者欄或者文章開頭顯著標明出處，以表達對作者和推文引用平臺版權的充分尊重和感謝；對於來源於網絡作者不明的優質作品，轉載時如出現侵權，請後臺留言，我們會及時刪除。感謝大家一直以來對《慧天地》的關注和支持！

相關焦點

  • 使用 OpenMVG+PMVS實現視覺三維重建
    我們知道，照相機的原理是將一個三維場景投影到二維平面。所謂視覺三維重建，顧名思義就是從已有的二維圖像中復原原始三維場景。首先，通過多角度拍攝或者從視頻中提取得到一組圖像序列，將這些圖像序列作為三維重建系統的輸入；然後分析多個視角的圖像，根據紋理特徵提取出稀疏特徵點（稀疏點雲），通過這些特徵點估計相機位置和參數；在得到相機參數並完成特徵點匹配後，就可以獲得更稠密的點雲（這些點可以附帶顏色，從遠處看就像還原了物體本身一樣，但從近處能明顯看出它們只是一些點）；最後根據這些點重建物體表面，並進行紋理映射，就還原出三維場景和物體了
  • CMRNet++:在雷射雷達地圖中與地圖和相機無關的單目視覺定位
    雖然基於雷射雷達的方法通常可以實現足夠精確的定位，但由於相關的高成本，它們的採用主要受到阻礙。另一方面，基於攝像頭的方法更有希望在自主車輛中廣泛採用，因為它們非常便宜。雖然從歷史上看，基於相機的方法的性能不如基於雷射雷達的方法，但計算機視覺和機器學習的最新進展大大縮小了這一差距。
  • SLAM和三維重建有什麼區別?
    Qiang回答中很多人提SLAM比三維重建多了一個L（location），我想也許可以稍微深入一點。我們看一下定義：（1）SLAM：同步定位與地圖構建；定誰的位？相機的位，相機在機器人身上，就是定機器人的位。建誰的地圖？相機經過地方的地圖。二者結合，才能確定機器人在某個地圖中的具體位置，和這個場景（地圖）下的連續運動軌跡。
  • 僅需一部攝像機即可實現基於AI的3D重建
    RGB相機即可捕獲3D場景。該方法稱為Atlas，主要有兩步AI過程，該過程從平面2D圖像生成3D環，無需另使用立體攝像機或特殊的雷達系統對環境進行先前的3D分析。研究人員認為，基於AI的2D圖像的重建比基於3D數據的方法更有效。在左側，你可以看到完整的3D模型，在圖集重建的中間，正3D模型是使用MVDepthNet創建的。為圖像分析而優化的神經網絡將各個2D圖像彼此獨立地分割，並基於相機數據創建簡單的3D模型。
  • 直播 | 三維重建自監督網絡JDACS-MS模型詳解、結果測評與訓練技巧
    有6年三維重建、圖形圖像項目經驗，曾主導參與多個基於視覺的物體、人臉、人體三維重建項目。之前的MVS無監督網絡中Loss的設計都是基於匹配點顏色一致性的假設，但這種假設在實際場景中往往並不成立，因此本論文作者在自監督網絡中引入了協同分割和數據增強分支可以有效解決上述假設的局限性。網絡框架如下圖：
  • 利用飛行時間相機對玉米植物進行三維重建
    可對玉米植物進行三維重建，植物表型資訊介紹如下。眾所周知，對具有複雜結構的植物進行點雲配準和拼接是一項具有挑戰性的任務，然而研究人員發現，利用3D相機的優勢本研究提出了一種用於玉米作物行三維（3-D）重建的方法，該方法使用高解析度3-D圖像，通過最先進的軟體將其映射到彩色圖像中。
  • 稠密的無人機雷射雷達點雲數據處理與分析方法與工具科普系列(五)
    目前，在多數的相關高校，雷射雷達測量原理、方法與應用未作為本科生必修專業課程，而僅僅是面向碩士或博士的選修課、或者相關選修課的相關章節。對於相關測繪、遙感、地理信息系統專業的多數人員而言，雷射雷達僅僅停留在聽說過、看到過 、貌似知道一點的狀態。
  • 系列篇|三維重建之純格雷碼三維重建
    儘管如此，由于格雷碼本身的特性，穩定性高，抗反光效果比較好，在精度需求不是特別高的情況下，還是有適用場景的。尤其是景深範圍大的時候，相位很容易出現模糊，可是對於黑白條紋的格雷碼適應的景深就能夠大一些。本文就簡單介紹下如何使用純格雷碼進行三維重建，並得到一個精度尚可的點雲（至少不出現重建平面時明顯斷層/分層現象）。
  • 可實現雷射雷達經濟化生產!
    儘管現在的許多汽車已經具有一些自動駕駛輔助功能，例如增強的巡航控制和自動車道居中，但真正的自動駕駛汽車就是要創造一輛無需駕駛員親自操作負責，汽車可以完全自動控制車輛，全程檢測交通環境，實現所有的駕駛目標。在過去的15年左右的時間裡，工程師和廠商已經意識到，要做到這一點，汽車需要的不僅是傳統的攝像頭和雷達，而是一項新技術：雷射雷達。
  • 三維視覺之結構光原理詳解
    主動光源L緩慢掃過待測物體，在此過程中，相機記錄對應的掃描過程，最後，依據相機和光源在該過程中的相對位姿和相機內參等參數，就可以重建出待測物體的三維結構。其中，  為投影裝置的朝向。  則需要通過對應像素的像素坐標  和焦距f來確定。
  • 【泡泡點雲時空】雷射雷達輔助的運動恢復結構
    ，然而最先進的SfM算法在某些場景中不能保證足夠魯棒，例如，以監測為目的的圖像常常是近距離拍攝獲取圖像細節紋理，導致圖像間很少的重疊，因此降低了運動評估的精度，這篇文章中我們提出了雷射雷達增強的SfM流程，聯合使用的雷射雷達和雙目相機圖像來評估傳感器狀態，我們展示了聯合雷射雷達幫助圖像高效的拒絕錯誤的匹配，很大程度的提高了大規模重建中模型的一致性，實驗在不同的環境中進行測試，同時與最先進的SfM方法進行對比
  • 3D雷射掃描儀設計及數據處理
    掃描控制系統實現了對掃描範圍以及掃描精度的控制和設定，數據處理系統針對採集到的原始數據，經過坐標的映射將相對坐標轉換到全局坐標，並進行點雲濾波，利用最小二乘進行曲面光滑，最終進行三角網格重建。經過多次實驗結果證明，該系統可以對一般幾何複雜度的三維場景進行較好的重建。
  • 自動駕駛相機-雷射雷達深度融合綜述及展望
    本文是，加拿大滑鐵盧大學CogDrive實驗室，對當前最新的基於深度學習的相機-雷射雷達融合(camera-LiDAR Fusion)方法的綜述。
  • R3LIVE:一個實時魯棒、帶有RGB顏色信息的雷射雷達-慣性-視覺緊耦合系統(香港大學)
    R3LIVE 包含兩個子系統，即雷射雷達-慣性裡程計 (LIO) 和視覺-慣性裡程計 (VIO)。LIO 子系統 (FAST-LIO) 利用 LiDAR 和慣性傳感器的測量結果構建全局地圖（即 3D 點的位置）的幾何結構。VIO 子系統利用視覺-慣性傳感器的數據來渲染地圖的紋理（即 3D 點的顏色）。更具體地說，VIO 子系統通過最小化幀到地圖的光度誤差來直接有效地融合視覺數據。
  • 主流雷射雷達分類及原理
    優點：▪ 價格貴：靠增加收發模塊的數量實現高線束，元器件成本高，主機廠難以接受▪ 難過車規：旋轉部件體積/重量龐大，難以滿足車規的嚴苛要求混合固態雷射雷達混合固態雷射雷達用「微動」器件來代替宏觀機械式掃描器，在微觀尺度上實現雷達發射端的雷射掃描。旋轉幅度和體積的減小，可有效提高系統可靠性，降低成本。
  • 三維雷射掃描儀技術原理及應用
    三維雷射掃描獲得的原始數據為點雲數據。 點雲數據是大量掃描離散點的結合。三維雷射掃描的主要特點是實時性、主動性、適應性好。三維雷射掃描數據經過簡單的處理就可以直接使用， 無需複雜的費時費力的數據後處理； 且無需和被測物體接觸， 可以在很多複雜環境下應用； 並且可以和 GPS等集合起來實現更強、 更多的應用。三維雷射掃描技術作為目前發展迅猛的新技術，必定會在諸多領域得到更深入和廣泛的應用。
  • 三維雷射掃描儀
    三維雷射掃描技術能夠提供掃描物體表面的三維點雲數據，可以用於建立高精度高解析度的地形、建築物、構築物數字模型。三維雷射掃描技術是上世紀九十年代中期開始出現的一項高新技術，是繼GPS空間定位系統之後又一項測繪技術新突破。它具有三維測量和快速掃描兩項基本功能，通過高速雷射掃描測量的方法，大面積高解析度地快速獲取被測對象表面的三維坐標數據。
  • iPhone 8或將新增三維雷射掃描,而你所不知道的工業三維掃描技術!
    近日的消息稱，即將面世的iPhone 8或將新增三維雷射掃描模塊，通過新款雷射傳感器和前置相機附近的紅外傳感器，實現人臉識別功能，
  • 攝影測量和雷射雷達測量哪個好?答案在這
    具體地說，它以雷射作為信號源，由雷射器發射出的脈衝雷射，打到地面的樹木、道路、橋梁和建築物上，引起散射，一部分光波會反射到雷射雷達的接收器上，根據雷射測距原理計算，就得到從雷射雷達到目標點的距離，脈衝雷射不斷地掃描目標物，就可以得到目標物上全部目標點的數據，用此數據進行成像處理後，就可得到精確的三維立體圖像。