CVPR2020 Oral | 動態多尺度圖表達3D人體骨架運動,實現精準預測...

　　新智元推薦

　　編輯：白峰

　　【新智元導讀】上海交大、三菱電機實驗室聯合提出將人體骨架建模為一個可學習的多尺度圖，並且對不同層次的特徵，多尺度圖呈現動態變化。通過學習綜合的多尺度特徵表達，DMGNN實現了更準確的未來運動預測，超越SOTA。

　　現有的基於3D人體骨架的運動預測方法往往不考慮身體不同部位之間的關聯關係，或是僅考慮單一尺度的關節點關係。

　　然而，很多時候是一組關節一起運動，抽象地表達動作的整體特徵；相反，如果過度關注細節的關節，模型的整體性能也容易被複雜的運動影響。這種新的動態多尺度圖神經網絡（DMGNN），實現了更精準的運動預測。

　　動態多尺度圖建模3D人體骨架

　　基於3D人體骨架的運動預測目的是基於觀測的人體骨架運動序列生成未來的姿態，被廣泛應用於眾多領域如人機互動、自動駕駛和行人跟蹤等。

　　現有方法通常無法顯式地挖掘不同身體部位之間的關係或約束，或者僅構建了單一尺度下關節點之間的關係，卻不足以反應一組運動的關節，例如，在行走中，包含多個關節的上肢和下肢之間的交互運動至關重要，不應該過度關注手指和腳趾。

　　行走

　　拍照

　　買東西

　　本文提出一種多尺度圖用來描述不同尺度下的人體部位和人體結構。每個多尺度圖包含兩個子圖：單尺度圖和跨尺度圖。

　　單尺度圖逐步抽象人體骨骼；跨尺度圖連接相鄰的兩個單尺度圖。多尺度圖是可訓練的，並且在不同的網絡層中呈現動態變化，可靈活的表達不同層級的身體部位之間的關聯關係。

　　基於多尺度圖，作者提出動態多尺度圖神經網絡（DMGNN），其整體框架為一個編碼器-解碼器結構，分別用於提取運動特徵和生成未來姿態。

　　編碼器的核心是一系列基本組分「多尺度圖計算單元」（MGCU），解碼器核心是「基於圖的門控循環單元」（G-GRU）。

　　基於動態多尺度圖的運動預測算法

　　動態多尺度圖

　　為了建模人體中綜合的關聯關係，作者提出建立多尺度圖，其中圖的節點是不同尺度下的身體部位，邊為身體部位之前的關係。

　　多尺度圖包含兩個子圖：單尺度圖和跨尺度圖，其中單尺度圖用於描述單個尺度中的人體內部關聯，而跨尺度圖連接了不同 的單尺度圖，描述了不同尺度中的身體部位的相互作用。

　　例如，在粗尺度中的「上肢」節點可與細尺度中的「手」和「肘」建立連接。基於人類先驗，多尺度圖由一種預定義的物理性質的連接作為初始化，在模型的訓練過程中被自適應地調整；針對網絡不同層中的人體特徵，多尺度圖呈現動態變化，靈活地描述不同層級中的人體表達。

　　模型框架

　　動態圖神經網絡包含一個編碼器和一個解碼器，其中編碼器內部包含串聯的的動態多尺度圖計算單元（MGCU），用來逐層地提取人體運動的多尺度特徵。每個MGCU包含多個單尺度圖卷積塊（SS-GCB）和跨尺度融合模塊（CS-FB）

　　其中SS-GCB利用單尺度圖的空間圖卷積以及時間卷積提取單個尺度中運動的時空特徵；CS-FB通過兩個相鄰尺度中的特徵表達，學習兩個尺度中不同身體部位之間的關聯關係，以構建跨尺度圖，並實現兩個尺度中特徵的交替融合。

　　解碼器中包含了基於圖的門控循環單元（G-GRU），可以利用圖卷積增強動作隱含特徵中的信息傳播，以更準確地生成未來姿態。

　　此外，本文還提出了差分算子，用來獲取運動的速度、加速度等高階特徵，有效地輔助運動預測。

　　目標函數

　　DMGNN通過L1 loss進行訓練，原因主要是相比於L2 loss，L1 loss在loss小的情況下保持足夠大的梯度，在loss大的情況下降低了梯度爆炸的情況，可訓練模型生成更準確的預測。

　　Human3.6M和CMU Mocap數據集驗證效果超SOTA

　　作者在Human3.6M和CMU Mocap兩個數據集上進行了實驗，通過計算預測結果與真實序列之間的平均角度誤差進行定量評價，通過展示生成樣本進行定性評價。

　　Human3.6實驗結果

　　在短期預測中，可以超過絕大多數state-of-the-art方法。在長期預測中，DMGNN可達到十分具有競爭力的表現。

　　CMU Mocap實驗結果

　　在短期和長期預測中，DMGNN均可超過大多數state-of-the-art方法。

　　實驗結果可視化

　　通過生成樣本可視化，可以看出，相比於眾多前人工作，DMGNN可以生成準確且合理的未來動作；而其他方法，容易在短期或長期出現較大的誤差或偏移。

　　消融實驗

　　通過改變不同的身體尺度，可以發現：

　　1）當利用3個尺度時，模型的表達效果最優；

　　2）當尺度過少時，模型沒有足夠的抽象能力，無法準確把握動作的整體特徵，故表達效果不夠強；

　　3）當尺度過多時，模型引入了過多抽象的特徵表達，而動作預測本身對抽象和精度的要求都很高，過於粗化的特徵反而影響了模型的預測能力。

　　通過定量和定性的實驗分析，本文證明了DMGNN對比state-of-the-art方法，可以實現準確且合理的短期或長期人體運動預測。

　　本文作者：Maosen Li, Siheng Chen, Ya Zhang等

　　論文地址：https://arxiv.org/abs/2003.08802

　　項目地址：https://github.com/limaosen0/DMGNN（待完善）

　　視頻連結：https://www.bilibili.com/video/BV1hf4y1U7Ri

本文首發於微信公眾號：新智元。文章內容屬作者個人觀點，不代表和訊網立場。投資者據此操作，風險請自擔。

（責任編輯：季麗亞 HN003）