10月19日，騰訊優圖實驗室高級研究員瑋劍在優tech線上沙龍，圍繞《3D人臉重建技術的研究與應用實例》這一主題進行了直播分享，講述了優圖自建3D人臉基底及3D人臉技術應用實例。
01
3D人臉重建技術應用廣泛，優圖推出可移動端實時的3DMM人臉重建技術
3D人臉重建技術是指從一張或多張2D圖像中恢復出人臉的3D形狀和紋理。3D人臉重建技術不僅廣泛應用於泛娛樂、AR、VR、影視製作等領域，而且在各種人臉相關的研究業務中均有著非常重要的作用。
3D人臉重建如此重要，如何更好地重建？目前常見的方法包括合成分析法、基於3DMM的方法以及深度網絡端到端的方法。優圖對傳統3DMM方法進行了改進優化，推出可移動端實時的3DMM人臉重建技術。
3DMM的全稱是3D Morphable Model，即可形變的模型，它可以將任意的3D人臉模型表示為一個平均臉和形狀、表情維度的線性組合。基於3DMM方法的整體流水線如下：當我們拿到一張輸入圖片後，首先做人臉檢測配準，得到人臉的2D關鍵點坐標，以這些坐標點為約束，求出3DMM所需的姿態投影、形狀以及表情參數，最終輸出3D重建的結果。
為了提升重建的效果並且保證移動端可實時運行，優圖對傳統的3DMM方法進行了改進優化，引入更多精準、快速的約束，提升重建的精度；深入挖掘視頻流中前後幀的信息，讓幀間更加穩定的同時，也對形狀參數極致的優化；加入表情非負約束，使得重建出的表情以及Avatar驅動效果更加真實自然。在工程上也做了大量的向量化運算及並行計算，以減少求解時的耗時。
02
已有基底存在不足，優圖自建3D人臉基底
3D人臉基底是基於3DMM算法的技術根基，而現有的3D人臉基底在人臉形狀表情的表達能力、人種分布以及三維網格拓撲等方面存在諸多不足。基於此，優圖自己採集構建了一個主要針對中國人的3DMM人臉基底，不僅具有更強更細膩的表達能力，並且拓撲更加科學。
在採集階段，優圖採用3D結構光採集設備，可以重建出毫米級別的人臉3D形狀和紋理。採集時，每個被採集者共採集30種特定的表情。
編輯製作拓撲一致的3D人臉基底，需要經過3D關鍵點標註、非剛性配準、表情擴增等步驟。為了更快速高效的完成，減少人工參與，優圖開發了自動化工具，使得每個步驟都可以由計算機完成。最終，我們參考FACS系統，並結合實際業務需求，自建了包含43種表情的3D人臉基底。
03
3D人臉技術在泛娛樂場景的豐富應用
基於3DMM的重建算法中每一個待求參數（姿態投影、形狀、表情）都有其在實際場景的物理含義。因此從這些參數的物理含義出發，將這些參數自由組合或者交叉應用，可以實現豐富的泛娛樂應用。
例如，有了頭部的3D姿態之後，便可以添加3D帽子等掛件，與2D掛件相比，3D的方法真實感更強，甚至無法分辨是真實的還是虛擬的。對於表情參數，可以將視頻中人物的面部表情遷移到Avatar中，實現虛擬人物的驅動。
對於與人臉身份相關的形狀參數，可以應用到動畫、遊戲等人臉模板中，生成與輸入人臉身份相似的動畫人臉。也可以對不同人臉的重建參數相互融合，將人物A的表情遷移到人物B上，從而達到「活照片」的效果。
目前，優圖基於3DMM的人臉重建技術已經應用於微視、手Q、天天P圖等多個產品中，為用戶提供更加豐富有趣的泛娛樂3D特效體驗。
未來，優圖將通過豐富基底的年齡組合併增加紋理維度持續優化自建3D人臉基底。探索更有趣的泛娛樂玩法應用落地，如Relighting、3D風格化、動漫化等。此外，我們也在積累探索前沿技術，聚焦於高清Multiview的重建，半監督弱監督的網絡訓練，以及將3D和GAN進行技術結合。