三維人臉重建是指通過一張或多張同一個人的照片來構建該人的三維人臉網格。該課題一直是計算機視覺和圖形學的熱門關注焦點，擁有廣泛的應用場景，如人臉身份識別、醫學方案展示、三維人臉動畫等。
在三維人臉重建領域，VETTER T和BLANTZ V在1999年提出的三維人臉參數化模型(3DMM)[1]具有重要意義。3DMM採集了200位實驗對象的臉部雷射掃描數據集，並對該數據集進行主成分分析(PCA)。通過對PCA所提取的基向量進行線性組合從而構成一張新的人臉。
傳統的三維人臉重建基於迭代方法[2]，即針對輸入人臉，利用人臉關鍵點，反覆調整基向量的參數使得三維人臉渲染後提取的人臉關鍵點與二維人臉關鍵點接近，以此達到具有輸入人臉特徵的三維人臉網格。然而，該方法較為依賴人臉關鍵點的檢測結果，在人臉姿勢較大或有遮擋物時，效果較差，迭代過程耗時也較長。
近年來，隨著深度學習的不斷發展，越來越多的研究開始運用基於回歸的方法重建三維人臉。然而，在神經網絡的訓練過程中，一個亟需解決的問題便是三維人臉訓練數據稀少。針對這一問題，部分研究提出利用合成數據[3-4]，即先隨機初始化3DMM的參數作為參照的三維人臉，而後將該三維人臉投影成的二維人臉作為輸入數據，進而擴大訓練數據集。因為合成數據投影形成的二維圖片不能反映真實世界的複雜度，故GENOVA K[5]提議採用真實圖片及合成圖片的混合數據集進行兩步訓練。TEWARI A[6]利用編碼解碼器結構直接從單張圖片重建三維人臉，解碼器是基於專業知識精心設計的，但可擴展性較低。TRAN A T[7]等人提議利用迭代方法形成的三維人臉作為神經網絡所需的配對三維人臉數據進行訓練。
本文基於前人的思想，提出採用GANs神經網絡回歸3DMM模型參數進行三維人臉重建任務。在解決三維人臉數據稀少問題上，本文提出兩種並列的監督信號：(1)二維監督信號：利用三維人臉投影后的二維人臉與輸入的二維人臉身份差異及皮膚顏色差異，來提供二維層面的監督信號，使得二者相近；(2)三維監督信號：利用重構的三維人臉頂點分布與普遍三維人臉頂點分布差異，來提供三維層面的監督信號，以使得重構後的三維人臉具備真實感人臉形狀。由於僅依賴二維監督信號可能會導致一些重構後三維人臉頂點離正常人臉頂點偏差較大，雖然投影結果依舊初具人臉形狀，仍能被系統識別，但視覺感受卻與普遍人臉形狀相差較大。其原因在於缺少三維監督信號，使得重構後的三維人臉頂點分布近似於普遍三維人臉頂點分布。本文擬採用生成對抗網絡(GANs)[8]來提供三維監督信號，利用生成器及判別器的對抗生成，指引人臉頂點分布接近於真實感人臉頂點分布。
作者信息:
張星星1，李金龍2
(1.中國科學技術大學 軟體學院，安徽 合肥230026；
2.中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)