在移動平臺上基於RGBD相機實現實時高質量的物體三維掃描重建是增強現實應用中的關鍵技術之一。現有的重建方法一方面受限於移動平臺上的算力以及內存資源，難以對大型物體進行高質量的掃描重建，另一方面，目前消費級的深度傳感器所獲取到的深度信息存在不同程度的缺失、錯誤以及過於平滑的問題，導致最終生成的模型幾何精度不高。為了解決這些問題，商湯研究院和浙江大學 CAD&CG 國家重點實驗室合作提出了一套針對移動平臺的高質量物體三維掃描重建方案，主要包括：將IMU與ICP以及視覺信息相結合，實現相機6自由度位姿的準確估計、一種自適應調節體素的TSDF方法以解決移動端掃描大物體時的內存不足問題、一種結合深度先驗的多視圖立體匹配方法以及一種高效的Shape-from-Shading方法來提升重建模型的幾何精度與細節。我們在iPad Pro 2020上實現了整套重建方案，對比結果表明我們的方法能在移動平臺上實現實時的三維物體掃描重建，重建模型的完整度以及精度均優於現有的模型重建方法。
1) 提出了一種將ICP與IMU鬆耦合的方法，實現相機6自由度位姿的準確估計；
2) 提出了一種體素自適應調節的TSDF方法以解決移動端掃描大物體時所面臨的內存不足問題；
3) 提出了一種結合深度先驗的多視圖立體匹配方法以提升深度圖的精度與完整度；
4) 提出了一種高效的Shape-from-Shading方法，提升重建模型的幾何精度與細節。
目前主要的靜態物體重建方法可以分為兩類：基於RGBD相機的三維掃描重建與基於圖像的多視圖重建。
1.基於RGBD相機的三維掃描重建
此類方法以KinectFusion為代表，對輸入的深度圖利用ICP求解相機位姿，並將深度圖融合成一個全局的TSDF模型，類似的工作還有InfiniTAM以及BundleFusion，但由於計算複雜度以及內存佔用的原因，它們只能在PC端運行。此外，還有結合用戶手操作的交互式掃描重建方法以及基於非剛性註冊的物體掃描重建，這類方法大多適用於小物體重建。
2.基於圖像的多視圖重建
此類方法致力於在行動裝置上實現基於單目RGB視頻的物體掃描重建，他們利用多視圖立體匹配的方法恢復出單幀的深度並將深度融合成TSDF模型或者Surfel模型。總體而言，這類方法重建出的模型在模型精度以及完整度上與基於RGBD相機的重建方法相比還有一定差距。
如圖1所示，我們的重建系統要求用戶配備一個帶有RGBD攝像頭的移動計算設備，並將待掃描的物體放置在一個水平面上。用戶開始掃描後，系統將自動分割出物體區域並實時求解相機位姿，深度傳感器獲取到的深度數據將被融合成TSDF模型並渲染供用戶作實時預覽。掃描結束後，系統將對所有的關鍵幀進行全局BA並結合多視圖立體匹配方法來優化關鍵幀的深度，最終融合出的TSDF模型經由泊松重建、Shape-from-Shading以及紋理貼圖後，得到最終帶紋理的重建模型。
移動平臺算力有限，我們提出將ICP與IMU進行鬆耦合來提升相機位姿求解的魯棒性與精度。我們首先利用初始兩幀的ICP結果對IMU模塊進行初始化，IMU初始化完成後即可依據輸入的IMU數據為當前幀提供位姿預測，我們再將IMU的預測值加入ICP能量項來求解當前幀的相機位姿ξ，當前幀位姿求解完成後，其結果將作為約束來進一步優化IMU的狀態量。原本的ICP能量項考慮了兩幀之間的顏色差：
圖2.(a)Open3D ICP. (b)引入IMU. (c)(d)加入LBA以及Loop Closure.
移動平臺上內存有限，必須約束TSDF模型的大小，我們提出一種自適應調節體素的TSDF方法，當其內存佔用量達到閾值時，系統將自動創建一個新的TSDF，其體素大小為舊體素的1.5倍，新體素的符號距離以及權重無需重新計算，可通過舊體素三線性插值高效獲取。這個策略可保證TSDF模型的內存佔用不會超過用戶設定的閾值，從而在行動裝置上能支持大物體的掃描重建。
圖3.(a)關鍵幀. (b)dToF單幀深度以及融合後的模型. (c)SGM單幀深度. (d)結合深度先驗的SGM及其模型.
消費級的深度傳感器例如dToF，其獲取的深度存在不同程度的錯誤以及過平滑問題，我們提出一種結合深度先驗的SGM方法，利用視覺信息來提升深度圖的精度，其效果如圖3所示。
Shape-from-Shading可以提升重建模型的幾何細節，但目前已有的實現方案無論是計算複雜度還是內存佔用都遠無法在移動平臺上實施。不同於現有方案，我們直接在重建好的模型上優化三角面片的法向量，再結合方法更新模型頂點。以圖4中的「David」為例，我們的方法在iPad Pro2020 CPU上耗時3.24秒，優化後模型精度RMSE/MAE為3.12mm/2.473mm。而Intrinsic3D在PC端Intel Core i7 7700K CPU上耗時81分鐘得到略優的結果，RMSE/MAE為2.89mm與2.16mm。
我們用iPad Pro2020錄製了四組測試數據來對比我們的方案與現有的方案在模型精度上的差異，ground truth由商業掃描儀獲取。表格1以及圖5顯示我們的方法在模型精度以及完整度上都取得了最優結果。
圖5.與現有SOTA方法的模型對比.
(b)Open3D.(c)KinectFusion.(d)InfiniTAM.(e)BundleFusion.(f)3D Scanner App.(g)我們的方法.(h)GT.
表格2統計了算法各個步驟在iPad Pro2020上的耗時，我們的方法在大物體「worker」上也達到了實時。
論文信息——
Mobile3DScanner: An Online 3D Scanner for High-quality Object Reconstruction with a Mobile Device
作者：項驍駿，姜翰青，章國鋒，餘亦豪，李辰宸，楊幸彬，陳丹鵬，鮑虎軍
收錄於Special issue of TVCG for ISMAR 2021 Journal
論文連結:
http://www.cad.zju.edu.cn/home/gfzhang/papers/mobile3dscanner/mobile3dscanner_ismar2021.pdf
論文主頁:
https://zju3dv.github.io/mobile3dscanner.github.io/
* 本文轉自ZJAI-AR分會成果分享。因篇幅排版需要，該轉載對所轉載的網絡公開素材進行了適當刪減及修改。