一個簡單的在線三維重建服務框架

2022-01-06 馳道通達

基於圖像的三維重建技術SFM(Structure from Motion)已相對成熟,例如在傾斜攝影領域應用廣泛,而且成熟的商業軟體Context Capture,PhotoScan(MetaShape),開源的例如colmap、VisualSFM等等。三維重建計算量很大,對於大規模的場景計算需要很高的計算資源,往往也只能通過桌面端操作上傳圖像。想要快速基於拍攝的圖片獲得三維模型,又不想回到室內操作,那麼就需要上雲,就需要一套自動化程度相對較高、圖像採集操作簡單、具備模型可視化的方法,但是如果要部署一個計算性能很高的雲伺服器,成本又實在太高了,買不起...。

幾個問題:1)圖像採集、上傳要便捷、例如手機採集圖片直接上傳;2)需要模型可視化;3)伺服器不能負擔太重,能夠擴展計算資源;4)簡單。

針對這幾個問題的考慮,設計了一套在線三維重建服務框架。之前對SFM的整體框架已較為熟悉,於是基於開源的SFM程序,做了些修改作為計算服務,再寫一套數據的API+鑑權,周末花了兩天時間把這個做了初步實現了。

三維重建服務的基本流程如下:圖片採集=>圖像處理(特徵提取、特徵匹配、稀疏重建、密集重建)=>生成指定格式的模型;使用者來說,只需要上傳圖片(控制點坐標),然後等待結果即可。

sfm流程

基本方案:搭建數據服務平臺,數據採集、數據存儲、數據處理各自獨立,通過數據API接口實現添加任意數量的計算節點,在每個計算節點上部署自動化的三維重建服務,例如在自己的電腦上部署,或是在區域網內部署,計算任務完成後自動同步本地數據,前端可隨時隨地查看。

框架包含:應用伺服器(數據API接口+web前端)、公共存儲伺服器(例如:OSS)、計算節點(可按需配置),數據傳輸通過Token鑑權,計算節點主動查詢待計算的任務並下載圖像集合進行處理,並對主要步驟處理狀態進行上報並同步上傳處理的結果文件,前端查詢任務狀態,訪問相應的數據。

框架示意圖

實現:

前端:Vuejs+threejs

接口服務:python+uvicorn

三維重建計算:python+OpenSfM,只能在linux系統上運行,可以使用Windows的linux子系統部署。

demo

基於編寫的公共數據接口開發了一個簡單的前端demo:四個基本操作,創建項目、上傳圖片、提交任務、刷新。兩個數據可視化:圖片列表、三維重建結果瀏覽。若是在手機端打開web頁面可是直接拍照上傳。三維重建服務包含了稀疏重建和密集重建。

SFM前端-圖像集合管理SFM前端-三維重建結果瀏覽

前端展示相機位姿、相機對應的圖片

圖像+相機位姿SfM前端-稠密點雲瀏覽

SFM前端的交互效果

後續進一步完善後會考慮部署、共享

相關焦點

  • 計算機視覺方向簡介 | 深度學習視覺三維重建
    真正意義上的計算機視覺要超越識別,感知三維環境。我們活在三維空間裡,要做到交互和感知,就必須將世界恢復到三維。所以,在識別的基礎上,計算機視覺下一步必須走向三維重建。本文筆者將帶大家初步了解三維重建的相關內容以及算法。在計算機視覺中, 三維重建是指根據單視圖或者多視圖的圖像重建三維信息的過程. 由於單視頻的信息不完全,因此三維重建需要利用經驗知識.
  • 一分鐘詳解三維重建學習路線
    三維重建在計算機視覺中是十分重要的,其中涉及很多的技術內容,為了後來人能少走彎路,也為了對自己的知識框架系統總結,特記錄自己的學習路線。
  • 【工具】實景、實物三維重建雲平臺---Altizure
    Altizure是深圳珠科創新技術有限公司開發的實景、實物三維重建雲平臺。
  • ACM TOG:基於多臺RGBD相機的三維全景圖及場景重建
    三維場景重建技術是獲取三維場景幾何信息的主要技術之一,是實現對三維場景理解和分析的基礎技術,一直以來是計算機圖形學、計算機視覺和智慧機器人等領域的基本研究課題。三維場景重建技術主要分兩類:自由式掃描三維重建和全景式掃描三維重建。自由式掃描三維重建對場景的掃描過程不做限定,通過準確的相機位姿估計或者視覺SLAM技術,實現三維場景的重建。
  • 【技術綜述】基於3DMM的三維人臉重建技術總結
    基於圖像的人臉三維重建在人臉分析與娛樂領域裡有巨大的應用場景,同時它也可以用於提升人臉關鍵點檢測,人臉識別,人臉編輯等很多任務。本文重點介紹其中基於3DMM模型的核心技術及其研究進展。作者&編輯 | 言有三人臉三維重建就是建立人臉的三維模型,它相對於二維人臉圖像多了一個維度,在電影,遊戲等領域應用廣泛。
  • 結構光三維重建原理
    ,其特點是能夠精確快速地實現被測物體三維信息計算。對比雙目立體視覺重建方法,結構光也是利用兩個位姿的光學元件通過三角測量實現三維重建,但由於主 動投射結構光圖案至被測物體,使得像素點之間的匹配更加容易和準確。本文所 述結構光方法均選擇多頻外差原理實現絕對相位求解,相較於其它結構光方法, 該方法測量的精度和抗幹擾能力更高。
  • ISMAR 2020 Best Paper | 商湯提出手機端實時單目三維重建系統
    商湯研究院和浙江大學 CAD&CG 國家重點實驗室合作研發了一個手機端實時單目三維重建系統 Mobile3DRecon。與現有的基於 RGBD 的在線三維重建或離線生成表面網格的系統不同,該系統結合前端位姿跟蹤結果,允許用戶使用單目攝像頭在線重建場景表面網格。在深度估計方面,提出結合多視圖半全局匹配算法和深度神經網絡優化後處理過程魯棒地估計場景深度。
  • 三維重建技術深度解析
    基於不同類型區分每一套算法,以此把整合所有三維重建流水線功能,保證每套算法的緊湊性、可重用性與可執行性。三維重建流程   3-D reconstruction process本文使用Kinect採集景物的點雲數據,經過深度圖像增強、點雲計算與配準、數據融合、表面生成等步驟,完成對景物的三維重建。
  • 三維重建系列之COLMAP: Structure-from-Motion Revisited
    本文主要改進了文獻[3]提出的方法,具體操作如下:圖像與地圖點根據重建過程中是否受到最新幀點影響分為兩類。對於比較大的重建問題,最新的重建幀僅會影響其鄰近的圖像以及地圖點,很大一部分圖像/點並不會發生改變。
  • 移動端三維重建APP匯總LiDAR掃描技巧
    相信有很多小夥伴已經嘗試了iPhone 12 Pro上的LiDAR功能了吧,經常有小夥伴來抱怨:我移動端三維重建使用什麼APP啊,這麼多APP我怎麼選啊,另外為什麼我的重建結果很垃圾啊.最近發布的許多3D重建應用程式都利用了這一新功能(LiDAR)。作者已經測試了幾乎所有的程序,下面是一篇關於作者常用的一些三維重建應用程式的匯總以及一些iPhone雷射雷達掃描的技巧。
  • 商湯提出手機端實時單目三維重建系統,實現逼真AR效果和交互
    商湯研究院和浙江大學 CAD&CG 國家重點實驗室合作研發了一個手機端實時單目三維重建系統 Mobile3DRecon。與現有的基於 RGBD 的在線三維重建或離線生成表面網格的系統不同,該系統結合前端位姿跟蹤結果,允許用戶使用單目攝像頭在線重建場景表面網格。在深度估計方面,提出結合多視圖半全局匹配算法和深度神經網絡優化後處理過程魯棒地估計場景深度。
  • 三維重建 3D reconstruction 有哪些實用算法?
    如果只想看現階段效果最好的三維重建算法,請拉到文章最後(如有更好的算法,還請告知)。帝國理工的Newcombe等人在2011年提出的KinectFusion,可在不需要RGB圖而只用深度圖的情況下就能實時地建立三維模型。KinectFusion算法首次實現了基於廉價消費類相機的實時剛體重建,在當時是非常有影響力的工作,它極大的推動了實時稠密三維重建的商業化進程。
  • BundleFusion 三維重建-編譯與使用
    「 BundleFusion算法可以實現三維的實時重建,本文主要是編譯和運行。
  • 上帝視角任意切換:三維重建和圖像渲染是怎麼結合的?
    從PhotoSynth謝幕講起2017年2月6日,微軟正式關閉了PhotoSynth的網站和相關服務。這可能是世界上第一個3D圖像創作、分享應用,它的落幕可能有微軟自身商業策略的調整,可能也和產品本身實際為微軟帶來的收益不符有關。但無論如何,這個系統在我看來堪稱是三維重建和圖像渲染、瀏覽技術的經典作品。因此這一篇文章就從它講起。
  • 【泡泡點雲時空】R-MVSNet:高解析度多視圖三維重建網絡
    深度學習已經被證明在多視圖三維重建(MVS)中可以取得很好的效果,但是,現有的基於深度學習的三維重建方法最大的限制是尺度問題,大量的內存需求導致這些方法無法被應用在大尺度場景中。在本文中,我們提出了一種基於循環神經網絡的方法R-MVSNet,以適應各種尺度的環境。
  • ImagePy 三維分析及可視化解決方案
    在此之前我們先對圖像做一個三維平滑,以及一個garmma矯正。三維平滑用最小的半徑,否則細血管會被淹沒,garmma是對亮度做一個指數形式非線性映射,類似ps裡面的曲線調整,這樣可以保留亮部,抑制暗部。
  • 三維視覺、SLAM方向國內外頂尖實驗室匯總
    在此,我們為大家匯總了全球頂級的三維視覺、SLAM方向的研究機構,並對他們主要的研究成果做了簡單匯總,從這些匯總中你可以:歡迎轉發給更多的朋友~歐洲英國倫敦大學帝國理工學院 Dyson 機器人實驗室http://www.imperial.ac.uk/dyson-robotics-lab簡介:倫敦帝國理工學院戴森機器人實驗室成立於2014年,由Andrew
  • Facebook AI 正在升維突破:教AI像人類一樣理解三維世界
    圖 | 將視頻中的沙發和椅子三維化(來源:Facebook)為了實現這一目標,研究人員不僅開發了新的算法,還整合了多個最新研究成果,包括用來預測 3D 形狀的 Mesh R-CNN 神經網絡框架,用來提取和重建
  • 高質量的三維模型重建軟體Agisoft Metashape Pro v1.5.0
    多視點三維重建軟體Agisoft Metashape Pro v1.5.0 AMPED 中文破解版Agisoft宣布將以新名稱Metashape
  • 最強戰隊 | 三維視覺、SLAM方向全球頂尖實驗室匯總
    在此,我們為大家匯總了全球頂級的三維視覺、SLAM方向的研究機構,並對他們主要的研究成果做了簡單匯總,從這些匯總中你可以:歡迎轉發給更多的朋友~實驗室主要成就(http://www.imperial.ac.uk/dyson-robotics-lab/projects/):ElasticFusion:一個實時的稠密的視覺SLAM系統,可以利用RGB-D相機來對房間進行全局一致的三維稠密重建。