機器之心
選自arXiv
作者：ZHAN XU等
機器之心編譯
參與：魔王
這篇SIGGRAPH 2020 論文提出基於輸入角色模型生成動畫骨架綁定結果的端到端自動化方法 RigNet，這或許能幫助加速動畫製作流程。
在動畫製作中，骨架綁定（Rigging）與動畫密切相關。
什麼是動畫骨架綁定呢？基於 3D 蒙皮創建骨骼。動畫模型中的關節就像現實中人的關節一樣，兩個關節組成一段骨骼，幾段骨骼組成一個骨架。綁定就是把模型綁定到骨骼上邊，通過骨骼來控制模型的運動。
如下圖所示，綠色球即為關節，藍色線段為骨骼，多個骨骼構成了骨架。
給定 3D 角色蒙皮，RigNet 生成動畫骨骼和蒙皮權重。
Rigging 本身是一項專門技術，骨架綁定結果的好壞對動畫的質量有很大影響。那麼，有沒有什麼辦法可以簡化該過程呢？
最近，來自麻薩諸塞大學阿默斯特分校和多倫多大學的研究者提出了一種基於輸入角色模型生成動畫骨架綁定結果的端到端自動化方法 RigNet，並以其優秀效果在 reddit 上引發大量關注。
我們先來看 RigNet 的效果：
圖中角色動作敏捷，關節活動自然，左搖右晃時身體協調性也不錯。
走路、蹦跳、前躍、跳舞、飛翔，這些角色的動作都很自然。
以及找亮點！有沒有發現加魯魯獸？
reddit 網友紛紛表示「效果很好，求代碼」。
論文連結：https://arxiv.org/abs/2005.00559
項目頁面：https://zhan-xu.github.io/rig-net/
代碼（暫未發布）：https://github.com/zhan-xu/RigNet
了解了效果，接下來我們來看看 RigNet 是如何做到的。
給出表示某個鉸接式角色的 3D 模型作為輸入，RigNet 能夠預測角色的骨架，且骨架的關節位置和拓撲結構與動畫師的預期相匹配。此外，RigNet 還可以基於預測的骨架估計蒙皮權重。
該方法基於深度架構構建而成，此架構可以直接在蒙皮（mesh）表徵上運行，無需對形狀類別和結構進行假設。該架構的訓練數據包含大量不同的骨架綁定模型，及其蒙皮、骨架和對應的蒙皮權重。
端到端自動動畫骨架綁定方法：RigNet
給定某個角色的 3D 蒙皮作為輸入，RigNet 可以基於其底層關節結構和幾何來預測動畫骨架和蒙皮。動畫師可對骨架和蒙皮權重進行編輯，以便通過標準建模和動畫製作流程進行細化。
RigNet 的整體架構如下圖 4 所示，它可以直接在蒙皮表徵上運行，在訓練或測試過程中無需事先了解角色的類別、部件結構或骨骼關節類別。該方法唯一需要的假設是，輸入訓練和測試形狀需要具備一致的方向：直立、面朝前方。
圖 4：（上）RigNet 流程概覽。（下）GMEdgeNet 架構及其圖卷積層（GMEdgeConv）。
上圖展示了 RigNet 方法的流程：
給定一個輸入 3D 模型，使用圖神經網絡 GMEdgeNet 預測頂點相對相鄰關節發生的變化；
使用另一個具備分離參數的 GMEdgeNet 網絡，預測蒙皮的注意力函數，這有助於找出與關節預測更為相關的區域（紅色越重表示注意力越強，替換後的頂點也會根據注意力著色）；
受蒙皮注意力的驅動，聚類模塊檢測出所有關節，即圖中綠色球；
現在關節已經檢測出來了，使用神經模塊 BoneNet 來預測每對關節的相連概率；
使用另一個模塊 RootNet 提取根關節（root joint）；
最小生成樹（MST）算法利用 BoneNet 和 RootNet，構建動畫骨架；
最後，GMEdgeNet 模塊基於預測到的骨架生成蒙皮權重。
骨骼關節預測
該架構的第一個模塊用於預測關節位置，可用於後續的動畫骨架生成。它學習替換候選關節位置的蒙皮幾何（圖 4a）。該模塊基於圖神經網絡構建，從蒙皮中提取拓撲和幾何特徵，以學習這些替換。
在這一階段，該架構的主要思路是：學習輸入蒙皮的權重函數，用於找出與關節位置更相關的區域（圖 4b）。實驗表明，這帶來了更加精確的骨架。替換後的蒙皮幾何能夠圍繞候選關節位置形成集簇。
研究者提出一種可微聚類機制，利用神經蒙皮注意力來提取關節位置（圖 4c）。
骨骼連接預測
該架構的第二個模塊學習哪些關節對應該與骨骼相連。
該模塊以之前步驟中得到的預測關節作為輸入，包括學得的形狀和骨骼表徵，然後輸出每個關節對是否與骨骼相連的概率（圖 4d）。
研究者發現，學得的關節和形狀表徵對於骨骼估計很重要，因為骨骼連接不僅依賴關節位置，還依賴整體的形狀和骨骼幾何。
接下來，將得到的骨骼概率作為最小生成樹的輸入，即使用概率最高的骨骼構建樹結構骨架。該步驟從另一個神經模塊得到的根關節開始（圖 4e）。
該階段所使用模塊 BoneNet 的架構。
蒙皮預測
給定預測到的骨架（圖 4f），該架構中的最後一個模塊為每個蒙皮頂點生成權重向量，用以表示不同骨骼對頂點的影響程度（圖 4g）。雖然該研究提出的方法受到 NeuroSkinning 的啟發，但在架構、骨骼和形狀表徵、從頂點到骨骼的體積測地距離使用方面都有重要差別。
訓練和泛化
該架構使用了多個損失函數進行訓練，這些損失函數用來衡量關節位置偏移、骨骼連接和蒙皮權重差異。
訓練輸入角色不管從結構、數量還是移動部分的幾何來看都具備極大的多樣性，如人形物、二足動物、四足動物、魚、玩具、虛構角色等。同樣地，測試集也具備類似的多樣性。
研究者觀察到，該方法能夠泛化到具備不同數量關節部位的角色中。
圖 10：該方法基於測試模型得到的不同結構和形態的骨骼。
效果怎麼樣
研究者對他們提出的方法與其他用於動畫骨架和蒙皮預測的方法進行了定量和定性評估。下表 1 展示了不同方法之間骨架提取的評估度量。本研究提出的方法在所有度量上均優於其他方法。
表 1：與其他骨架預測方法的比較。
圖 8：與其他骨架提取方法的效果對比圖。
下表 2 展示了蒙皮的評估度量。結果顯示，該研究提出的方法在所有度量上均優於 BBW、GeoVoxel 和 NeuroSkinning 方法。
表2：與其他蒙皮預測方法的比較。
圖 9：與其他蒙皮預測方法的效果對比圖。
作者簡介
該研究的作者為 ZHAN XU、YANG ZHOU、EVANGELOS KALOGERAKIS、CHRIS LANDRETH 和 KARAN SINGH，來自麻薩諸塞大學阿默斯特分校和多倫多大學。
其中第一作者 ZHAN XU 是麻薩諸塞大學阿默斯特分校的博士在讀學生，導師為 Evangelos Kalogerakis。研究方向為視覺計算，計算機圖形學、計算機視覺和機器學習的交叉領域。
第二作者 Yang Zhou 本科畢業於上海交大，導師為林巍嶢教授。現在麻薩諸塞大學阿默斯特分校讀博，導師為 Evangelos Kalogerakis。其研究方向為計算機圖形學和機器學習，研究興趣是：利用深度學習技術幫助藝術家、動畫師做出更好的設計。
前不久他和 Adobe、虎牙的研究人員合作提出了一種使單張照片張嘴說話的新方法 MakeItTalk，該方法不僅能讓真人頭像說話，還可以讓卡通、油畫、素描、日漫中的人像說話（參見論文《MakeItTalk: Speaker-Aware Talking Head Animation》）。
本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。
✄------------------------------------------------
加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com
投稿或尋求報導：content@jiqizhixin.com
廣告 & 商務合作：bd@jiqizhixin.com
原標題：《操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架綁定》
閱讀原文