新AI技術現身頂會:只需一張大頭照,就能生成逼真3D人臉

2020-12-23 DeepTech深科技

如果只有一張圖片，怎麼創建出一個人逼真的數位化身？

在 2020 年計算機視覺與模式識別會議（CVPR）期間，倫敦帝國學院和 AI 面部分析初創公司 FaceSoft.io 的研究人員介紹了一種 「AvatarMe」 技術，該技術能夠僅僅通過一張普通的圖像或照片，就重建逼真的 3D 半身像。更厲害的是，不僅能從低解析度目標生成真實的 4K x 6K 解析度的 3D 人臉，而且還可進行細緻的光線反射。

圖｜3D 人臉重建和實時渲染效果（來源：GitHub）

從視頻會議、虛擬實境到影視遊戲，渲染 3D 人臉都有著數不盡的應用場景，儘管可以在沒有 AI 的情況下擬合出幾何形狀，但是需要更多的信息才能在任意場景中渲染人臉。

為了提取這些信息，研究人員使用一個有 168 盞 LED 燈和 9 個單眼相機的採樣裝置，拍攝了 200 張人臉的毛孔級反射圖，然後他們用這些數據訓練了一個人工智慧模型 GANFIT，它可以從紋理合成逼真的人臉圖，同時優化渲染和輸出之間的「身份匹配」。

與其他生成性對抗網絡（GANs）類似，GANFIT 是一個由兩部分組成的模型：一個生成樣本的生成器和一個試圖區分生成樣本和真實樣本的鑑別器。生成器和鑑別器各自的能力互補，直到鑑別器無法將真實的例子與合成的例子區分開來。

此外，AvatarMe 的另一個組件則負責增強紋理的解析度，還有一個單獨的模塊從被照明的紋理中預測皮膚結構（如毛孔、皺紋或頭髮）中每個像素的反射率，甚至估計表面細節（如細皺紋、疤痕和皮膚毛孔）。

研究人員說，在實驗中，AvatarMe 在最終的渲染中沒有產生任何偽影，並成功地處理了像太陽鏡這樣的 「極端」 案例和遮擋，反射率是一致的，即使在不同的環境中，系統都 「真實地」 照亮了被攝體。

圖｜不同場景下可以自適應的人臉光線反射（來源：GitHub）

三維人臉和幾何紋理的重建是當前計算機視覺、圖形和機器學習交叉領域中最受歡迎的方向，這項研究的關鍵工作之一，是對三維可變形模型（3DMM）擬合法的改進。

在優化渲染和輸入之間的身份匹配的同時，將 3DMM 擬合到 「野生」 輸入圖像，併合成完整的 UV 紋理。

紋理被上採樣 8 次，以合成合理的高頻細節。然後，研究人員使用圖像轉換網絡對紋理進行照明，並獲得具有高頻細節的漫反射反照率，使用單獨的網絡從漫反射反照率和 3DMM 形狀法線推斷出鏡面反射率、漫反射法線和鏡面法線。此外，網絡是在 512x512 補丁上訓練的，推斷過程則是在 1536x1536 補丁上進行。最後，將面部形狀和一貫推斷出的反射率傳遞給頭部模型，呈現出在任何環境中實時渲染的效果。

圖｜AvatarMe 的基本方法框架（來源：GitHub）

如何增強細節？核心是基於補丁的圖像到圖像轉換。照明任務、去光以及從給定的輸入圖像（UV）中推斷漫反射和鏡面反射分量的任務可以表述為域適應問題，研究人員選擇的模型是 pix2pixHD，它在高解析度數據的圖像到圖像轉換中顯示了令人印象深刻的結果。

為了實現皮膚的真實感繪製，研究人員分別對所需幾何體的漫反射、鏡面反射反照率以及法線進行建模。因此，在給定一幅無約束的人臉圖像作為輸入的情況下，他們就能推斷出人臉的幾何參數以及漫反射反照率（AD）、漫反射法線（ND）、鏡面反射反照率（as）和鏡面反射法線（NS）。

圖｜a、圖像輸入；b、基礎重建；c、超解析度；d、去光；e、最終渲染（來源：GitHub）

這個細節優化過程還是存在一定小坎坷的。例如，為了訓練算法模型，研究人員捕獲的數據具有非常高的解析度（超過 4K），因此不能用於使用 pix2pixHD 進行 「原樣」 訓練，因為硬體限制（即使是在 32GB 的 GPU 上，也無法以原始格式擬合此類高解析度數據）。此外，pix2pixHD 只考慮紋理信息，不能利用形狀法線和深度形式的幾何細節來提高生成的漫反射和鏡面反射組件的質量。

所以，為了克服上述問題，研發人員將原始高解析度數據分割成 512×512 像素的小塊進行訓練，在推斷過程中，由於網絡是完全卷積的，則補丁可以更大（例如 1536×1536 像素）。

AvatarMe 並非沒有局限性，這個局限性就是現在美國科技公司都在極力呼籲的 「種族歧視」 問題。

論文中提到，由於訓練數據集沒有包含來自某些種族的主題示例，因此在嘗試重建膚色較深的面孔時會導致效果不佳，且由於所需數據與 3DMM 模型的微小對準誤差，重建的鏡面反照率和法線有時會顯示出一些高頻孔隙細節的輕微模糊。最後，面部重建的精度跟輸入的照片質量息息相關，一張光線充足、解析度較高的照片會產生更精確的結果。

研究人員表示，在業內，這是用任何肖像圖像（包括黑白照片和手繪圖）實現 「可渲染」 人臉的第一種方法，作為一種最新的 3D 人臉生成和實時渲染 AI 系統，AvatarMe 有望使以前需要人工設計的過程逐步自動化。

相關焦點

  • 從平面到立體|3D人臉建模只需一張照片
    你能否想像一張肖像照，即可一鍵生成細膩逼真的3D人臉模型？知象光電研究團隊通過自有3D人臉資料庫中匯集的大量樣本數據，搭建神經網絡訓練，利用深度學習終於突破了從人臉二維圖像恢復三維模型的關鍵技術。這項技術支持通過單張二維肖像圖像取得高解析度的深度圖像，進而恢復出三維點雲數據，輸出逼真的3D人臉模型。利用這項技術恢復出的3D人臉模型有著非常真實的色彩和精準的尺寸，擁有良好的視覺體驗。它可以幫助使用者突破二維圖像的限制，降低建模成本，提高建模效率，在3D列印、醫療整形、遊戲娛樂、視頻通訊等領域擁有十分廣闊的應用前景。
  • 讓簡筆畫生成逼真人臉!中科院發新AI論文,能用於警察破案
    智東西（公眾號：zhidxcom）編 | 董溫淑智東西6月18日消息，近日，中國科學院北京分院的研究團隊研發出一個AI人像生成模型。該模型可以依據簡筆畫生成逼真的人臉肖像。這項研究發表在學術網站arXiv上，論文標題為《深度人臉畫像：從草圖深度生成人臉圖像（DeepFaceDrawing: Deep Generation of Face Images from Sketches）》。今年七月份，這項技術將在計算機圖形學頂會SIGGRAPH會議上展出。
  • 黑科技:3D人臉建模可以多簡單?一張照片就搞定!
    完成3D人臉建模，只需要一張肖像照，這種從平面世界直接穿越到3D空間的魔幻操作，就是知象光電團隊帶來的黑科技給你的surprise。3D人臉建模技術——3DfacePro瀏覽器版本過低，暫不支持視頻播放知象光電研究團隊通過大量樣本數據，利用深度學習，研發出將人臉二維圖像恢復為三維模型的技術——3DfacePro。
  • 3D人臉重建
    研究人員在所有同步態中提取了8個原型功能連接狀態，分別對應於默認模式網絡、中央執行網絡、背外側注意網絡、帶狀蓋網絡、左/右腹外側額頂網絡、腹側視覺網絡和右側額顳網絡。當處於不同空間位置的兩個物體交替呈現時，會產生一種錯覺性運動知覺——似動（apparent motion），這種似動知覺會影響出現在似動路徑上的刺激的探測率（似動掩蔽現象）。作者採用了fMRI技術和群體感受野的方法，測量了似動掩蔽現象過程中V1/V2的血氧水平依賴（BOLD）活動。
  • 創建三維頭像只需一張自拍,AI 技術即將開啟 3D 社交時代?
    加州初創公司推出智能 3D 模型軟體 Loom.ai ，利用機器學習和計算機視覺技術，根據用戶 2D 平面照片，生成 3D 頭像。該公司表示，該技術能做到：口說無憑，我們來看看實際效果。開發者上傳了一幫名人的照片，給 Loom.ai 站臺。結果成了這個樣子：
  • 讓簡筆畫生成逼真人臉!中科院放大招,能用於警察破案
    智東西6月18日消息，近日，中國科學院北京分院的研究團隊研發出一個AI人像生成模型。該模型可以依據簡筆畫生成逼真的人臉肖像。利用這一模型，沒有繪畫經驗的人也可以很容易地得到逼真圖像。這項研究發表在學術網站arXiv上，論文標題為《深度人臉畫像：從草圖深度生成人臉圖像（DeepFaceDrawing: Deep Generation of Face Images from Sketches）》。今年七月份，這項技術將在計算機圖形學頂會SIGGRAPH會議上展出。
  • 簡筆畫就能分析出疑犯像?中科院AI生成模型,人臉識別的正確用法
    近日，中國科學院北京分院的研究團隊研發出一個AI人像生成模型。該模型可以依據簡筆畫生成逼真的人臉肖像。這在日常當中，可以被人當做娛樂遊戲來進行消遣，但是其實它有更重要的作用，那就是幫助警察叔叔了解嫌疑犯的面容形象。
  • 照片網絡公開賣,一張圖攻破人臉識別?
    小李招收徒弟時打出的廣告，也特別強調了這一點——只需一張照片，就可以實現人臉識別認證秒過，而且還可以按照要求做出身份證正反面、手持身份證等全套資料，進而實現註冊帳號、解封帳號、額度提升、支付轉帳等各類業務。
  • 人臉識別技術被攻克,你的臉將不再受你自己控制!
    小李招收徒弟時打出的廣告，也特別強調了這一點——只需一張照片，就可以實現人臉識別認證秒過，而且還可以按照要求做出身份證正反面、手持身份證等全套資料，進而實現註冊帳號、解封帳號、額度提升、支付轉帳等各類業務。
  • 日本出售逼真的3D仿真人臉面具
    打開APP 日本出售逼真的3D仿真人臉面具 站長之家 發表於 2020-12-18 11:09:32 近年來，隨著科技發展，人臉識別技術已經非常成熟了，人臉識別的數據安全性也一直被很多人質疑。
  • 谷歌AI一鍵生成定製版3D遊戲神獸,可在線體驗!
    Googel研究人員認為，這些怪獸的創作往往需要遊戲美術師有高度的藝術創造力和技術知識，而AI可以充當畫筆，幫助他們節省藝術創作的時間，比如一鍵完成3D渲染，甚至還可以增強他們的創造力。假如遊戲中有100種動物，每種動物都可以相互融合，那麼它會給任何藝術家帶來很大的工作量，但這對於機器學習來說，是很輕鬆的事。那麼，它是如何做到的呢？
  • GAN如此簡單的PyTorch實現,一張臉生成72種表情(附代碼)
    編譯：三石、肖琴、大明【新智元導讀】隨著GAN的發展，單憑一張圖像就能自動將面部表情生成動畫已不是難事。但近期在Reddit和GitHub熱議的新款GANimation，卻將此技術提到新的高度。GANimation構建了一種人臉解剖結構（anatomically）上連續的面部表情合成方法，能夠在連續區域中呈現圖像，並能處理複雜背景和光照條件下的圖像。
  • 秒變「迪士尼在逃公主」:一鍵切換 「漫畫臉」AI 效果太過逼真
    上傳一張照片，就可以擁有自己的動漫形象？現在一個名為 「Toonify yourself」的 AI 工具就可以辦到，而且效果非常逼真。它不僅呈現出效果逼真，操作起來還非常簡單，只需在模型中上傳一張照片即可！據了解，這款工具剛剛發布就完成了 25 萬次服務，非常受用戶歡迎，還有網友評論稱：研發者可以考慮考慮商業化的問題了。那麼，這款工具是如何實現的呢？
  • AI人工智慧+面部照片3D建模,3D版捏臉美顏軟體羽跡試試成功面世
    近日，羽跡科技在市面推出了一款3D美顏軟體——羽跡試試,利用AI技術將2D的人臉照片快速生成對應的3D人臉模型，無需任何輔助設備即可在手機端生成3D人臉模型，並在此基礎上可以進行模擬整形的應用場景。這種技術的精準度和響應速度已經在醫美市場引起廣泛的關注。
  • AI 換臉技術——DeepFakes 概述
    他利用了深度學習和AI新技術，在成人電影中把演員的臉替換成某個藝人的臉，從而製作成了這個看上去以假亂真的視頻。從視頻發布以後的好幾個星期，網絡上不斷有人發表文章和報導，抨擊這一「換臉」技術，稱這種技術將會對社會產生很多負面的影響。
  • 搜狗3D AI合成主播背後:遊戲裡的CG效果,只需一段文本就能生成
    搜狗AI交互技術部總理陳偉介紹，3D AI合成主播「新小微」以新華社記者趙琬微為原型，首先通過掃描還原、面部肌肉驅動、表情肢體捕捉等技術，生產出高度還原真人髮膚的逼真數字人模型；同時結合多模態建模技術，使用語音、圖像、文本、3D肌肉運動數據等多模態信息完成聯合建模訓練生成現在我們看到的3D AI合成主播。
  • 秒變「迪士尼在逃公主」,這款一鍵切換「漫畫臉」AI,因效果太過...
    它不僅呈現出效果逼真，操作起來還非常簡單，只需在模型中上傳一張照片即可！據了解，這款工具剛剛發布就完成了25萬次服務，非常受用戶歡迎，還有網友評論稱：研發者可以考慮考慮商業化的問題了。那麼，這款工具是如何實現的呢？
  • 3D人臉模型月銷量上千單:誰在列印,誰在幫打?
    普通人是否就能夠「造臉」過關？一、千元就可列印逼真人臉模型想要知道面具可否代替人臉解鎖手機、刷臉支付之前，先要了解普通人是否可以製作出一個逼真的人臉面具或模型。在網上搜索「人臉面具」一詞，懂懂筆記找到了多家聲稱可以製作「人臉模型」「人臉蠟像」的商家。
  • 日本出售3D仿真人臉面具 網友驚呼:逼真到嚇人!
    站長之家（ChinaZ.com）12月17日 消息:近年來，隨著科技發展，人臉識別技術已經非常成熟了，人臉識別的數據安全性也一直被很多人質疑。日前，日本東京一家商鋪已開始開售3D逼真人臉面具，還可以定製，一副6000多元。
  • 網易伏羲實驗室李仁傑:遊戲AI技術賦能中華文化出海
    例如,遊戲推動了CPU、GPU等硬體發展,催生出包括直播在內的新模式,同時也是很多新技術的應用載體。會上,李仁傑還分享了伏羲實驗室在形象、語言、動作、互動、開發效率、未成年人保護等方面的「AI+遊戲」實際應用案例。例如,製作一段15秒的遊戲動畫視頻,一位資深技術美術需花費2小時工時,而通過伏羲智能動畫平臺,AI只需3分鐘就能完成,節省97%時間,效率提升30倍。