基於生成對抗網絡的三維點雲自動修復

2020-12-08 騰訊網

近年來，離散點雲 (PointCloud) 數據由於其數據獲取容易、能夠有效表示複雜三維形狀、無需維護拓撲連接關係等優點得到普遍重視和廣泛應用。為了在對點雲形狀修復補全中能保持形狀的精細結構信息，最近研究者提出了一種能夠自動修復補全三維點雲形狀的生成對抗網絡結構。針對形狀缺失的稠密點雲和稀疏點雲數據，該網絡在修復補全形狀缺失部分的同時能有效保持輸入點雲形狀的精細結構信息。《中國科學: 信息科學》在2020年第50卷第5期刊登了這一研究。

論文信息

基於生成對抗網絡的點雲形狀保結構補全

繆永偉1*, 劉家宗1, 陳佳慧1, 舒振宇2

1.浙江理工大學信息學院, 杭州 310018

2.浙江大學寧波理工學院 計算機與數據工程學院, 寧波 315100

中國科學: 信息科學, 2020, 50(5): 675-691

針對稠密點雲數據集的修復補全效果比較(第1列為輸入的缺失模型, 第2~4列為利用PCN方法、FoldingNet方法和本研究方法的修復補全效果，第5列為真實模型)

一、研究背景

三維模型的數位化修復是計算機圖形學與數字幾何處理領域的重要問題, 其在數位化文物修復、數位化產品設計與製造、數字博物館和虛擬場景漫遊等行業得到普遍重視。在數字幾何處理和3D計算機視覺中, 離散點雲數據由於其數據獲取容易、能夠有效表示複雜三維形狀、無需維護拓撲連接關係等優點得到廣泛應用。

二、原理簡述

受生成對抗網絡在二維圖像生成領域方面工作的啟發, 本文使用生成對抗網絡框架提出了一種三維點雲形狀的修復補全網絡結構. 該網絡由基於PointNet的生成器和基於摺疊的解碼器構成. 其中生成器的目的是生成幾乎與真實點雲一致的完整點雲模型. 判別器的目的是判別出輸入的完整點雲是來自生成器生成的數據還是真實點雲數據. 通過生成器不斷試圖「欺騙」判別器, 判別器將接受生成點雲和真實點雲並產生判定結果, 利用判定結果計算誤差並利用梯度下降法對神經網絡參數進行調整優化, 最終使生成器生成足以「以假亂真」的修復補全後的點雲形狀數據高質量樣本.

點雲形狀補全網絡的總體結構如下圖所示, 其中神經網絡生成器以包含N個離散點的點雲模型作為輸入, 經過編碼器編碼得到其特徵碼字並作為解碼器的輸入, 解碼器通過2次摺疊操作生成M個離散點作為點雲模型的缺失部分. 圖中各感知器下方括號中的數字表示每層感知器的輸出維度. 本文方法利用獲取的缺失數據和完整模型的樣本的大規模合成數據集, 訓練神經網絡直接從缺失點雲模型預測完整點雲模型, 通過監督學習策略有效解決三維點雲形狀的修復補全問題. 該方法以三維離散點雲數據作為輸入, 採用自編碼器並結合生成對抗網絡框架, 同時利用Wasserstein距離優化使得該網絡訓練穩定且能生成豐富的補全樣例.

點雲形狀保結構補全網絡

三、主要實驗結果

為了說明本文提出的點雲形狀保結構補全網絡的魯棒性, 本文在密集數據集上測試了不同缺失程度的點雲形狀利用該網絡的修復補全效果. 下圖給出了數據缺失程度達25%, 50%, 75%的點雲模型修復補全結果, 其修復效果表明本文方法在不同的缺失程度下均能夠較好地保持輸入點雲形狀的結構信息, 該3種缺失數據補全後的點雲模型與真實點雲模型的ECD值分別為0.00138, 0.00290 和0.00560. 實驗表明, 本文網絡對不同程度的損失輸入依然能較好地補全缺失部分, 具有較強的魯棒性.

針對不同缺失程度的點雲模型修復補全效果

此外, 利用深度神經網絡進行點雲形狀補全的前提是能夠提取輸入點雲數據的內在特徵, 並在特徵空間進行操作以處理數據集涵蓋的分布範圍數據. 因此, 該方法應具有生成與數據集中模型不同的模型數據的能力. 為了更好地驗證本文提出的點雲形狀保結構補全網絡的泛化性, 需要一個不同類別物體下具有多個模型的數據集, 以便網絡能夠充分地學習某種類別物體的特徵空間, 並對不在此數據集中的缺失模型數據進行補全. 由於ModelNet40數據集具有40種不同種類的模型, 每種類別大約有20~130個不同數量的模型. 本文將其處理成稀疏數據集的格式, 對每一種類別均挑選出一個模型不作為訓練集數據. 圖5給出了對不存在於訓練數據集的具有25%, 50%, 75%缺失數據的點雲模型(如瓶子、顯示器、吉他、椅子)進行泛化性補全實驗的結果, 其修復補全效果表明本文提出的點雲形狀保結構補全網絡仍能對不在訓練數據集中的點雲形狀進行有效補全, 可見本文網絡具有很好的泛化性.

模型泛化性補全實驗

四、總結及討論

針對三維點雲形狀的修復補全, 本文提出了一種有效的點雲形狀補全神經網絡, 該網絡直接以離散點雲數據作為輸入, 通過生成對抗網絡框架實現三維形狀的修復補全. 該網絡的生成器採用自編碼器架構, 由於其結合了輸入點雲數據的結構信息, 能夠生成保持輸入點雲的精細結構特徵的修復點雲; 判別器則通過優化減少生成點雲數據和真實點雲數據之間的Wasserstein距離並用以指導生成器的不斷優化, 最終實現輸入點雲形狀的保結構修復補全. 實驗表明本文提出的點雲形狀補全網絡針對稠密點雲數據集和稀疏點雲數據集均取得了較好的修復補全效果, 在修復形狀的同時很好地保持了原有形狀的精細結構信息, 並且對於不同程度的模型缺失, 具有很好的魯棒性.

然而, 本文網絡結構中編碼器生成高維碼字時僅考慮了模型各採樣點的全局特徵, 而忽略了其局部特徵, 對於某些局部採樣點稀疏且結構非常精細的模型缺失部位, 利用本文方法難以達到預期的修補效果. 未來將考慮準確提取各採樣點特徵並結合其局部特徵, 以實現異常稀疏點雲形狀的魯棒修復.

相關焦點

  • 基於層級圖網絡的圖卷積:用點雲完成3D目標檢測
    本文提出了一種基於層級圖網絡（HGNet）的圖卷積（GConv），可以直接將點雲作為輸入來預測 3D 的邊界框。形狀注意圖卷積（SA－GConv）可以通過劍魔點的位置星系來描述物體形狀，基於 SA－GConv 的 U 形網絡可以通過改進的 voting 模塊獲取多層級的特徵進而生成候選，然後一個基於圖卷積的候選推理模塊考慮全局的場景語義來對邊界框進行預測。
  • 18個生成對抗網絡(GAN)的絕妙應用!你確定不收藏一下?
    圖片來源：pexels.com/@gravitylicious生成對抗網絡（GAN）是生成模型的一種神經網絡架構。生成模型指在現存樣本的基礎上，使用模型來生成新案例，比如，基於現存的照片集生成一組與其相似卻有細微差異的新照片。GAN是使用兩個神經網絡模型訓練而成的一種生成模型。其中一個稱為「生成器」或「生成網絡」模型，可學習生成新的可用案例。另一個稱為「判別器」或「判別網絡」，可學習判別生成的案例與實際案例。
  • 港城大提出任意比例的上採樣方法, 實現自由三維點雲稠密重建
    但在現有技術條件下，獲取準確稠密的三維點雲還是一項耗時耗力的工作。這一領域的研究人員一直致力於利用軟體的計算手段來代替硬體，從稀疏的低解析度的點雲中獲取稠密的高解析度的點雲結果。　　3D點雲上採樣問題通常被視為圖像超分辨在三維領域的對應問題，人們從圖像超分辨領域借鑑了很多技術處理這一領域的問題。但由於點雲與生俱來的非規則性和非均勻性，這些基於規則圖像的方法無法發揮出應有的能力。
  • CVPR2017精彩論文解讀:直接處理三維點雲的深度學習模型
    2.點雲具有稀疏性。在機器人和自動駕駛的場景中，雷射雷達的採樣點覆蓋相對於場景的尺度來講，具有很強的稀疏性。在KITTI數據集中，如果把原始的雷射雷達點雲投影到對應的彩色圖像上，大概只有3%的像素才有對應的雷達點。
  • 基於GANs無監督回歸三維參數化人臉模型
    傳統的三維人臉重建基於迭代方法[2]，即針對輸入人臉，利用人臉關鍵點，反覆調整基向量的參數使得三維人臉渲染後提取的人臉關鍵點與二維人臉關鍵點接近，以此達到具有輸入人臉特徵的三維人臉網格。然而，該方法較為依賴人臉關鍵點的檢測結果，在人臉姿勢較大或有遮擋物時，效果較差，迭代過程耗時也較長。
  • 一文看懂生成對抗網絡
    對於人類來說，我們對這個世界所了解的知識可能很快就會忘記，比如我們所處的三維環境中，物體能夠交互，移動，碰撞；什麼動物會飛，什麼動物吃草等等。這些巨大的並且不斷擴大的信息現在是很容易被機器獲取的，問題的關鍵是怎麼設計模型和算法讓機器更好的去分析和理解這些數據中所蘊含的寶藏。Generative models(生成模型)現在被認為是能夠實現這一目標的最有前景的方法之一。
  • 生成式對抗網絡GAN的高級議題
    生成對抗網絡（GAN）就是一個幫你實現的新朋友。"GAN是過去10年機器學習中最有趣的想法。"最近引入了生成對抗網作為訓練生成模型的新方法，即創建能夠生成數據的模型。它們由兩個"對抗"模式：生成模型G獲得數據和判別模型D來估計訓練數據提供的樣本的準確性。G和D可能是一個非線性映射函數，如多層感知。在生成對抗網絡（GAN）中，我們有兩個神經網絡在零和遊戲中相互對抗，其中第一個網絡，即生成器，其任務是欺騙第二個網絡，即鑑別器。
  • 三角獸被 EMNLP 錄取論文精華導讀:基於對抗學習的生成式對話...
    論文中提出了一種新的對話文本對抗生成學習框架，目的是解決文本生成過程中的採樣操作帶來的誤差無法反向傳導的實際問題，從而實現基於對抗學習的聊天回復生成模型。，從而達到對於任何用戶 query 都能夠自動生成回復的目的。如
  • 生成對抗網絡的最新研究進展
    ，生成對抗網絡是一類功能強大、應用廣泛的神經網絡。生成對抗網絡的工作原理給定一組目標樣本，生成器試圖生成一些能夠欺騙判別器、使判別器相信它們是真實的樣本。判別器試圖從假（生成）樣本中解析真實（目標）樣本。
  • 當三維圖像認知發揮到極致,如何助力自動駕駛的高性能環境感知?
    1、圖像認知心理學看圖釋義是當前的研究熱點，是以圖像生成圖像，但我們在國際首次開啟了文字語義生成圖像的模式上圖所示，為三維場景中對車的3D似物性檢測需要滿足的條件，首先它應當有較高的點雲佔有率；其二，其中應該包含較低的自由體素；其三，符合最初對物體的高度先驗；其四，要滿足與鄰近區域的高對比度
  • 北大、斯坦福提出基於動態圖網絡學習的三維部件拼裝
    儘管目前已有很多工作利用深度學習方法進行部件拼裝，然而這些方法都至少有以下幾個局限性之一：1.每個部件的幾何形狀都可以任意生成，沒有限制；2.假設了每個部件初始的時候都是已經旋轉好了的；3.假設機器人知道關於整個三維幾何形狀的先驗知識。
  • Survey | 基於生成模型的分子設計
    近幾年，基於數據驅動的人工智慧方法，尤其是生成模型，逐漸被用於解決各個領域的逆向設計，並在分子反向設計和藥物發現中展現出了光明的前景。簡而言之，生成模型的作用是捕獲數據分布的潛在規則。取給定空間中的部分數據點集合{Xi}作為訓練集，訓練生成模型匹配真實數據分布，使生成的數據Y∼類似於實際數據X∼。
  • 賈佳亞等提出Fast Point R-CNN,利用點雲快速高效檢測3D目標
    選自arXiv作者：Yilun Chen、Shu Liu、Xiaoyong Shen、Jiaya Jia機器之心編譯參與：韓放、一鳴本文提出了一個統一、高效且有效的，基於點雲的三維目標檢測框架。其兩階段方法採用體素表示和原始點雲數據並充分利用了它們的優勢。
  • GAN(生成對抗網絡)萬字長文綜述
    GAN的基本介紹生成對抗網絡（GAN，Generative Adversarial Networks）作為一種優秀的生成式模型，引爆了許多圖像生成的有趣應用。GAN的基本概念GAN（Generative Adversarial Networks）從其名字可以看出，是一種生成式的，對抗網絡。再具體一點，就是通過對抗的方式，去學習數據分布的生成式模型。所謂的對抗，指的是生成網絡和判別網絡的互相對抗。
  • 萬字綜述之生成對抗網絡(GAN)
    文章目錄如下：GAN的基本介紹生成對抗網絡（GAN，Generative Adversarial Networks）作為一種優秀的生成式模型，引爆了許多圖像生成的有趣應用。GAN的基本概念GAN（Generative Adversarial Networks）從其名字可以看出，是一種生成式的，對抗網絡。再具體一點，就是通過對抗的方式，去學習數據分布的生成式模型。所謂的對抗，指的是生成網絡和判別網絡的互相對抗。
  • 揭秘騰訊變臉魔法,生成對抗網絡GAN的威力是什麼?
    隨著GAN網絡在生成質量上的不斷提高，它越來越頻繁地落地到社交娛樂場景中，給用戶帶去最直觀、新鮮的AI體驗。左右互搏生成完美圖片，AI界的"網紅"技術那麼使得新型變臉特效得以實現的生成式對抗網絡 GAN，究竟是什麼？它是由美國科學家Ian Goodfellow發明，試圖讓計算機自己生成逼真圖片的AI技術。
  • 今日Paper|點雲分類框架;多模式Transformer;神經網絡;有序神經元等
    目錄用於行人重識別的三元組在線實例匹配丟失用於DSTC8 AVSD挑戰的帶指針網絡的多模式TransformerPointAugment：一種自動增強的點雲分類框架尋找稀疏、可訓練的神經網絡這篇論文介紹該團隊向第八屆對話系統技術挑戰賽（Dialogue System Technology Challenge）提交的AVSD參賽作品，採用了點積方式來結合輸入視頻的文本和非文本特徵，通過在每個生成步驟中採用指針網絡指向來自多個源序列的Tokens，進一步增強對話代理的生成能力。
  • 自動駕駛新驅動力:點雲算法如何釋放雷射雷達威力?
    毫米波雷達、攝像頭和雷射雷達這三個傳感器，有一些重合點。這是由傳感器本身的性質決定，他們有各自不可或缺的功能。毫米波雷達主要用還是在障礙物檢測；攝像頭很難得到三維物體的模型，包括它對於環境的幹擾也比較依賴這個光照的影響，但攝像頭對物體分類和跟蹤是非常好的；雷射雷達普遍用於定位、障礙物檢測、物體分類、動態物體跟蹤等應用。
  • 不到200 行代碼,教你如何用 Keras 搭建生成對抗網絡(GAN)
    雖然 GAN 的核心思想看起來非常簡單，但要搭建一個真正可用的 GAN 網絡卻並不容易。因為畢竟在 GAN 中有兩個相互耦合的深度神經網絡，同時對這兩個網絡進行梯度的反向傳播，也就比一般場景困難兩倍。為此，本文將以深度卷積生成對抗網絡（Deep Convolutional GAN，DCGAN）為例，介紹如何基於 Keras 2.0 框架，以 Tensorflow 為後端，在 200 行代碼內搭建一個真實可用的 GAN 模型，並以該模型為基礎自動生成 MNIST 手寫體數字。
  • 古建築修復三維雷射掃描_三維掃描古建築修繕解決方案
    三維雷射掃描技術具有高精度、高效率、多元化、多方位等優點，當下在古建築修繕過程中有著突出的應用價值。我國作為擁有著悠久歷史的國家，有著眾多的古建築，通過這種先進的描技術，其可對古建築進行精準的測繪，並將模型在計算機予以精準的建立，為修復工作的開展提供著巨大的幫助作用。