引導語：本文為「3D視覺創新應用（三維重建）競賽」作品集系列之一，該作品由來自杭州電子科技大學團隊完成，團隊成員：路榮豐、許成浩、呂坤、徐浙峰、朱尊傑 。全文約2688個字，閱讀時長約5分鐘，旨在為更多開發者提供學習參考。
一、背景介紹（產品化及未來市場潛力描述）
隨著AI技術的蓬勃發展以及新型設備的不斷湧現，三維重建成為計算機圖形學領域的熱點研究課題。主要任務是基於各種傳感器釆集的數據，採用多視圖幾何、概率統計學和優化理論等數學工具，對現實物理世界進行三維建模，建立起現實世界和虛擬世界的橋梁。因此，三維重建在製造、醫療、影視製作、文物保護、增強現實、虛擬實境、定位導航等眾多不用的領域有著廣泛的應用。
其中，基於實時三維場景重建技術在增強現實中的應用和發展尤為迅速，包括室內的增強現實遊戲、機器人導航、AR家具看房等等。而我們的技術成功將一套成熟的基於Intel Realsense ZR300 的快速實時室內靜態場景重建（室內重建）技術從PC端移植到移動端。我們通過使用奧比中光所提供的的Zora P1嵌入式開發板和Astra Pro RGBD攝像頭組成了實時重建系統的數據實時採集端，並通過自主設計的WiFi數據傳輸模塊將採集的數據實時傳遞至上位機，通過上位機處理完成實時重建的任務，最終取得理想的效果。
在我們的系統中，我們可以任意地重建我們想要重建的任何室內靜態場景。在保證準確度和實時性的情況下，我們可以實現全局一致的重建。相比於此前多數基於PC端的工作，我們在開發板上實現了這一功能，實為首創性工作。我們以用戶為出發點，做到了簡單、便捷、高還原度，並且可以做到遠程實時交互的場景三維重建，應用場景廣泛。我們的這一技術可以快速應用移植到開發端實現產品化，不需要進行額外的操作，並且用戶熟悉使用過程極為便捷簡單。
目前基於實時三維場景重建技術在增強現實中的應用和發展尤為迅速，尤其是有關室內重建領域的技術更迭更是快速，但多數研究還停留於PC端，移動端的發展還處於一片藍海，尤其是在開發板上實現這一功能並達到較為理想的效果更是少之又少。通過在開發板上的技術移植和開發，可以更大程度的在實現相同效果的同時降低技術成本，並且本產品還可以作為教學產品供初始學習探索有關室內重建領域的同學們使用和開發，未來市場潛力巨大。
二、設計方案：
方案一：
該方案我們通過使用奧比中光的Zora P1嵌入式開發板和Astra Pro RGBD攝像頭來組成室內靜態場景和靜止人的重建系統。在硬體上完全使用主辦方所提供的產品和附件，開發套件使用度極高，但此時的受嵌入式板子算力和運行內存的限制，重建的速度不夠理想。
設備使用情況：使用Astra Pro RGBD來進行深度信息的採集，完全由Zora P1嵌入式開發板負責系統的重建工作。
系統架構：由Astra Pro RGBD進行數據採集，在Zora P1上進行實時重建工作。
方案二：
該方案我們通過使用奧比中光的Zora P1嵌入式開發板和Astra Pro RGBD攝像頭組成了實時重建系統的數據實時採集端，並通過設計WiFi數據傳輸模塊，將採集的數據實時傳遞至上位機，通過上位機處理完成實時重建的任務，可以取得很理想的效果。最大程度上利用開發了主辦方所提供的產品及其配件，開發套件使用程度極高。
設備使用情況：利用奧比中光的Zora P1嵌入式開發板和Astra Pro RGBD攝像頭共同組成了實時重建系統的數據實時採集端，同時使用了Zora P1嵌入式開發板上的WIFI模塊。
系統架構：（1）由奧比中光的Zora P1嵌入式開發板和Astra Pro RGBD攝像頭組成了實時重建系統的數據實時採集端；（2）利用開發板上的WIFI模塊和連由網際網路的上位機進行網絡通信；（3）利用上位機中的算力等資源進行完成實時重建任務。
三、項目創新點描述及技術優勢
1.利用主辦方所提供統一設備完成了有關於室內靜態場景的實時三維重建，並取得了理想效果。
2.關於實時重建部分的算法我們參考了InfiniTAM，並在其原有基礎上做了更為完善的修改與創新，最終能夠使我們的算法可以在所提供的嵌入式開發板中完美運行。
3.由於受開發板算力和運行內存的影響（且無GPU），我們對系統進行一定程度的工程優化，使得在完全依賴於嵌入式開發板的情況下重建速度達到2幀/s。
4.考慮到重建系統的實時性，我們通過開發板完成深度數據的採集任務，並利用WiFi模塊將數據實時傳遞至算力和內存更高的上位機中，從而完成實時重建，並取得了很好的效果。
5.我們通過端雲協同作業，最終達到了在有移動網際網路的環境下的遠程效果實現，即通過使用該設備進行實時重建任務的同時可以使得遠程處於辦公室的人在PC端實時同步觀測到三維重建的效果。
四、測試結果：
我們所取得的室內場景重建效果如下圖所示，顯然，在基於這一開發板的環境下，我們實現了很好的重建效果。
圖1：重建結果預覽圖和實時重建效果圖
圖2：真實環境照片
圖一右上窗口顯示了實時重建的效果圖，左側主窗口顯示的是切換了一個更廣的視角點，來對整個重建的結果進行預覽。圖二為重建的真實環境的照片。
但由於官方提供的OpenNI的SDK中為提供RGB信息的讀取，所以暫未進行顏色的渲染。
圖三、實時重建演示圖
五、部署環境
代碼運行所需環境配置：
伺服器端：Ubuntu18.04
嵌入式端：armbin
·cmake（3.2或以上）
·OpenNI（奧比中光提供版本）
·OpenGL（3.0或以上）
·libpng（1.6或以上）
·librealsense
六、研發過程記錄
1. 熟悉主辦方所提供的Zora P1嵌入式開發板和Astra Pro RGBD攝像頭的使用方法，並在系統中配置相應所需環境。
2. 通過利用張正友標定法來完成Astra Pro RGBD相機的標定任務。
3. 參考InfiniTAM-V2進行算法上的精修和創新，最終將其直接運用於Zora P1嵌入式開發板和armbin系統。
4. 系統測試階段：進行有關實時重建速度和重建精度的分析。
5. 在受開發板的運行內存的影響下，最大程度上提升速度，秉持最簡單最適用的原則最終達到了2幀/s。
6. 為更好的完成實時重建系統，我們設計了一個wifi傳輸模塊，將嵌入式開發板所採集到的深度圖，實時的傳輸到上位機中，最終在上位機中完成實時重建任務，並達到了很好的效果。
七、演示Demo
在「3D視覺工坊」公眾號後臺回覆：3D視覺，即可下載 3D視覺相關資料乾貨，涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點雲後處理、多視圖幾何等方向。在「3D視覺工坊」公眾號後臺回覆：3D視覺github資源匯總，即可下載包括結構光、標定源碼、缺陷檢測源碼、深度估計與深度補全源碼、點雲處理相關源碼、立體匹配源碼、單目、雙目3D檢測、基於點雲的3D檢測、6D姿態估計匯總等。在「3D視覺工坊」公眾號後臺回覆：相機標定，即可下載獨家相機標定學習課件與視頻網址；後臺回覆：立體匹配，即可下載獨家立體匹配學習課件與視頻網址。