GitHub熱榜：一張照片實現高清3D人體建模，Demo可玩

2020-11-07 量子位

魚羊 發自 凹非寺
量子位 報導 | 公眾號 QbitAI

手動對人體進行3D建模並非易事。

但現在，只給AI一張高清照片，它還真就能分分鐘搞定這件事。

甚至還挺高清，衣服褶皺、面部表情，細節一點不少。

這項新研究來自南加州大學和Facebook，中選CVPR 2020。

並且已經在GitHub上開源，標星3.6k，還在一天內就漲了207顆星，登上GitHub熱榜。

一起來看看，這究竟是如何實現的。

多級像素對齊隱式函數

這隻AI名叫PIFuHD，其基礎框架是ICCV 2019上已經登場的像素對齊隱式函數PIFu。不過，PIFu以解析度為512×512的圖像作為輸入，輸出的3D模型解析度不高。

為了得到高解析度的輸出，在這項研究中，研究人員在PIFu的基礎之上，額外疊加了一個像素對齊的預測模塊。

如圖所示，頂部粗層次像素對齊預測器捕捉全局的3D結構。高解析度的細節則由下面的Fine模塊添加。

具體而言，fine模塊將1024×1024的圖像作為輸入，並將其編碼成高解析度的圖像特徵（512×512）。

此後，高解析度特徵嵌入和第一個模塊中得到的3D嵌入被結合起來，用以預測佔位概率場。

為了進一步提高重建的質量和保真度，該方法還會在圖像空間中預測正反兩面的法線圖，並將其作為額外的輸入反饋給網絡。

細節捕捉高手

所以，跟前輩們相比，PIFuHD究竟進步了多少？

研究人員在People Snapshot dataset數據集上將其與此前的SOTA方法進行了定性比較。

可以明顯看出，由於PIFuHD充分利用了基礎形狀和精細形狀，能夠直接在像素級別上預測3D幾何形狀，它對輸入圖像的細節把握更加精準，重建出來的3D人體模型解析度更高。

Demo可玩

論文代碼已經開源，並且，研究團隊還在Colab上提供了在線試玩。

輸入一張你自己的照片，幾分鐘之內就能收穫一個數字3D的你。

真·3D建模師福音。

結合可以讓3D模型動起來的Mixamo食用，網友們都玩嗨了。

趕快上手玩起來吧~

最後，附上作者簡介。

論文一作齋藤俊輔（Shunsuke Saito），目前在Facebook Reality Labs擔任研究科學家，致力於深度人類數位化的有效數據表徵研究。

他在南加州大學工作期間，曾與計算機圖形學領域知名華人教授黎顥合作。

傳送門

GitHub地址：
https://github.com/facebookresearch/pifuhd

Demo地址：
https://colab.research.google.com/drive/11z58bl3meSzo6kFqkahMa35G5jmh2Wgt?usp=sharing#scrollTo=afwL_-ROCmDf


— 完 —

量子位 QbitAI · 頭條號籤約

關注我們，第一時間獲知前沿科技動態

相關焦點

  • 給AI一張高清照片,分分鐘還你細節滿滿的3D人體模型
    給AI一張高清照片，分分鐘還你細節滿滿的3D人體模型 2020-11-07 18:12 來源：澎湃新聞·澎湃號·湃客
  • 一張圖實現3D人臉建模！中科院博士ECCV的新研究
    但是，如果只有測試者的一張靜態圖片呢那麼，3DDFA-V2最關鍵的照片轉小視頻的功能是如何實現的呢？我們將噪聲建模為 P(X)=x+N（0，2）， 其中 E=a2I2、運動模糊。運動模糊可以表示為 M(X)=K*x，其中K是卷積核（算子*表示卷積）。3、平面內旋轉。
  • 一張圖實現3D人臉建模！中科院博士ECCV的新研究 | 開源
    但是，如果只有測試者的一張靜態圖片呢還有動態的3D人臉建模那麼，3DDFA-V2最關鍵的照片轉小視頻的功能是如何實現的呢？我們將噪聲建模為 P(X)=x+N（0，2）， 其中 E=a2I2、運動模糊。運動模糊可以表示為 M(X)=K*x，其中K是卷積核（算子*表示卷積）。
  • Github霸榜:從零開始學3D著色器編程
    新智元原創 來源：Github編輯：元子【新智元導讀】這篇教程是今日GitHub趨勢榜第一，一天便達到了1500星。主要介紹了通過使用Panda3D遊戲引擎和OpenGL著色語言來為3D遊戲添加紋理，法線貼圖，泛光，環境遮擋等等。教程內容十分豐富，動圖也非常生動。
  • 僅憑一張照片就能生成3D人體模型
    僅憑一張照片就能生成3D人體模型近日，重慶中科雲從科技有限公司（以下簡稱雲從科技）提出一種新型DenseBody框架，可直接從彩色照片中獲取3D人體姿勢和形狀。而此基於單幀圖像的3D人體重建技術，將原有最低誤差降低30%，刷新了世界紀錄。
  • 3D建模軟體哪個好?3D建模軟體排行榜
    傳送門：3D MAX　　二、moi3d三維建模MOI3.0是一款精準的三維建模軟體，別看它的體積不大，但功能上卻非常強大，能夠讓你的建模工程更高效更快捷，對於那些對CAD軟體頭疼的人來講，MOI3.0是一個非常不錯的選擇，它與犀牛的結合更是完美，它們的生成格式甚至是完全相同的，熟悉上手後能夠做出精細的模型，可以繪製各種直線曲線矩形多邊形，繪製圓弧橢圓等圖形
  • AI人工智慧+面部照片3D建模,3D版捏臉美顏軟體羽跡試試成功面世
    近日，羽跡科技在市面推出了一款3D美顏軟體——羽跡試試,利用AI技術將2D的人臉照片快速生成對應的3D人臉模型，無需任何輔助設備即可在手機端生成3D人臉模型，並在此基礎上可以進行模擬整形的應用場景。這種技術的精準度和響應速度已經在醫美市場引起廣泛的關注。
  • 一部手機即可完成3D人體建模 雲從科技又破三項世界紀錄
    3月19日，入駐兩江數字經濟產業園的重慶中科雲從科技有限公司（以下簡稱雲從科技）宣布，其基於單幀圖像的3D人體重建技術同時在Human3.6M、Surreal和UP-3D三個全球權威數據集上刷新世界紀錄。這意味著，一部手機即可完成3D人體建模。
  • 32000張照片拼出一張超高清月球(組圖)
    波蘭的業餘攝影愛好者Bartosz Wojczyński用5、6個小時吧32000張照片拼成了一張超高清的月球特寫。而在自家陽臺拍攝這些照片只用了半個小時。波蘭的業餘攝影愛好者Bartosz Wojczyński用5、6個小時吧32000張照片拼成了一張超高清的月球特寫。而在自家陽臺拍攝這些照片只用了半個小時。
  • 3D高清街景地圖帶你玩香港
    ■生活風向標　　科技日報訊 （郭津）近日，國內街景地圖的領軍者騰訊地圖成為首家獲得審批通過的可提供港澳街景測繪的地圖，用戶通過PC或手機版的騰訊地圖搜索香港，進入街景模式即可體驗到類似真實的遊香港體驗，其街景覆蓋了主要區域，可供用戶瀏覽使用。
  • 谷歌ALBERT模型V2+中文版來了,GitHub熱榜第二
    不僅如此，還橫掃各大「性能榜」，在SQuAD和RACE測試上創造了新的SOTA。而最近，谷歌開源了中文版本和Version 2，項目還登上了GitHub熱榜第二。run_classifier.py可對各個 GLUE 基準測試任務進行微調和評估。
  • 評分卡建模工具之變量聚類
    評分卡建模流程中常見的變量選擇和這步什麼關係？具體怎麼實現的？注意: 後續建模如果需要對模型的可解釋性要求高，壓縮時並不會使用主成分之類的簇成分。而是結合對變量的業務理解和 ratio結果從低到高(和自己所屬的類相關性高，和其他類相關性低)，直接從類中選取原始變量作為這類變量的代表，實現變量篩選。這樣選取的變量就滿足可解釋性要求，又可以避免變量相關性給建模帶來的困難。
  • 這才是月球真面目,攝影師用50000張月亮照片,合成291M高清照!
    科學家拍攝5萬張照片，攝影師拼出291M高清照！自古以來人們就對於月亮這顆星球充滿了幻想，與我們平時所看到的星星不同，在地球上看起來月亮的體積更大一些，這是由於它和地球之間的距離足夠近，夜晚我們抬頭所看到的月亮，抑或是明亮的圓盤狀，也可能是一輪彎彎的月牙，這就是月球在我們心目當中的大致形象。
  • 谷歌EfficientNet縮放模型,PyTorch實現出爐,登上GitHub熱榜
    現在，哈佛數學系小哥哥Luke Melas-Kyriazi開源了自己的PyTorch實現，包含與訓練模型和Demo。帖子一出，就收到了眾多PyTorch用戶的歡迎，在Reddit上拿到了超過170個點讚，不少用戶都準備上手嘗試了：等不及想把它merge到torchvision裡！在GitHub上也登上了熱榜。
  • 基於HTML5 的 WebGL 3D 版俄羅斯方塊
    前言摘要：2D 的俄羅斯方塊已經被人玩爛了，突發奇想就做了個 3D 的遊戲機，用來玩俄羅斯方塊。。。實現的基本想法是先在 2D 上實現俄羅斯方塊小遊戲，然後使用 3D 建模功能創建一個 3D 街機模型，最後將 2D 小遊戲貼到 3D 模型上。
  • Get華為P30系列3D建模功能 讓照片「動」起來
    Get華為P30系列3D建模功能 讓照片「動」起來 2019年04月09日 10:25作者：黃頁編輯：黃頁 然而事實上，大部分手機在手持拍攝的情況下，是很難拍攝出完美的暗光照片的，且並非所有的手機都能有超級夜景功能加持，也就無法隨手一拍「引爆」朋友圈了。
  • 傳回的一張高清照片,顛覆人類認知!
    傳回的一張高清照片，顛覆人類認知！自從人類進入太空後，才知道宇宙是多麼廣闊。人類就宛如微不足道的螞蟻，在地球上轉瞬即逝，沒有留下任何印記。上個世紀蘇聯利用發射器將人類送入了太空，從另一個意義上來說，人類已經步入一個全新的時代，自此之後各個國家也開始積極的制定太空計劃，並且向太空不斷發射探測器。宇宙是無邊無際的，其中蘊含太多的未知秘密。
  • 看得見的熱:紅外熱像儀高清視頻
    △ 《看得見的熱》  ©美麗科學孫悟空火眼金睛，從科學上講，是不是因為他可以看見紅外線？