一個被稱為「模式自適應神經網絡」的新神經網絡架構

2020-12-21 電子發燒友

一個被稱為「模式自適應神經網絡」的新神經網絡架構

李倩 發表於 2018-06-04 10:11:07

針對四足動物的動畫生成問題，愛丁堡大學的研究人員開發了一個被稱為「模式自適應神經網絡」的新神經網絡架構，它可以從實際的運動數據學習，生成非常自然的動畫。團隊在今天開源了所有代碼、數據和編譯的demo。

創作四足動物動畫是計算機動畫行業一個特別困難的問題。四足動物動畫在電腦遊戲和電影中的應用很重要，同時也是機器人領域的一個具有挑戰性的話題。傳統方法製作四足動物動畫時，動畫師必須經過特殊培訓，設計出各種複雜的動作，然後利用各種DCC軟體進行動作捕捉。

針對四足動物的動畫生成問題，來自愛丁堡大學HE ZHANG、SEBASTIAN STARKE、TAKU KOMURA和Adobe Research的JUN SAITO等人的團隊開發了一個被稱為「模式自適應神經網絡」的新神經網絡架構，它可以從實際的運動數據學習，生成自然的動畫。系統不需要對相位或運動步態進行標記，而是從非結構化的運動捕獲數據，以端到端的方式學習。

整個研究使用 Unity3D / Tensorflow 完成，並且團隊在今天開源了所有代碼、數據和編譯的demo。

模式自適應神經網絡

四足動物運動的多模態造成了動畫製作的複雜性。四足動物有多種移動模式，例如步行、踱步、快走、慢跑、疾跑等，運動時其軀幹和四肢的相位變化非常複雜。

圖：不同的四足運動模式。橫條表示每條腿的站立相位。右側的圖像表示步態周期中腳接觸的順序。

目前還沒有以數據驅動的方式系統地構建四足動物運動控制器的工作。除了上面提到的運動複雜性外，困難還來源於四足動物與人類不同，無法進行受控的數據採集。因此，捕獲的數據往往不是結構化的。使用這些數據設計角色控制器時，工程師需要手動/半自動地提取步態周期和轉換，再將它們拼接在一起，調整motion trees和有限狀態機的參數。因此，傳統的方法要麼效率低，要麼不精確。

上圖展示了基於動作捕捉實現的動畫製作，但捕捉的動畫是非結構化的，而且隨機動作太過廣泛。捕捉的數據不是很精準，動作存在很多噪波，細節的地方還需要後期修正。

上圖是通過標準神經網絡生成的動畫，但會產生失真和明顯的滑步。

上圖的動畫由相位函數神經網絡（Phase-Functioned Neural Networks）的方式生成，優點是動作精準，但是當兩個動作進行融合時動作顯得僵硬，而且操控不是那麼靈敏。

這個新研究提出了一種新的網絡架構——模式自適應神經網絡（Mode-Adaptive Neural Networks ，MANN），它可以從大量的非結構化四足動物運動捕獲數據中學習運動控制器。

MANN架構圖示，由門控網絡和運動預測網絡組成。

這個系統由運動預測網絡和門控網絡組成。在每一幀處，運動預測網絡在給定的前一幀的狀態和用戶提供控制信號的情況下計算當前幀的角色狀態。門控網絡通過選擇和混合所謂的專家權重（expert weights），動態地更新運動預測網絡的權重，每個expert weight都專門針對特定的運動。

MANN與以前方法的對比

這種架構提供了靈活性，使得系統能夠在廣泛的非周期動作和周期性的無標記步態類型中學習一致的特徵。這個框架可以將開發人員從冗長而困難的相位標記工作中解放出來。特別是，我們的模型不需要單獨的標籤來區分不同的步態，這種區分即使對人類來說也很難，因此，可以在數據預處理過程避免步態錯誤。

該研究的貢獻可概括如下：

提出第一個構建數據驅動的四足角色控制器的系統方法，它可以合成具有各種運動模式和動作轉換的高質量動畫。

提出一種新穎的端到端神經網絡架構，可以從非結構化的四足動物運動捕捉數據中學習，而無需提供相位和運動步態標籤。

通過與現有方法進行比較，對所提出的架構進行了全面評估。

數據準備和結果

研究人員使用狗的動作捕捉（Dog Motion Capture）作為訓練數據。這些數據包含各種運動模式，例如步行、踱步、小跑、跑步等，以及其他類型的動作，例如坐、站、閒散，躺著和跳躍。通過鏡像將數據規模加倍。

實驗中使用的狗模型的骨架結構。由27塊骨頭組成，總共有81個自由度。

表1：狗運動數據集和運動類型

四足動物在不平坦地形上行走

沿預定的地面軌跡的行走。可以觀察到，即使在突然轉彎的情況下，它也能很好地沿著曲線運動。

值得一提的是，這個研究延續自去年該團隊所做的「用於角色控制的 Phase-Functioned 神經網絡」（PFNN）工作，當時在SIGGRAPH 2017大會演示，同樣令人印象深刻。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • SIGGRAPH 2018 | 自適應神經網絡模擬運動軌跡,四足動物旋轉跳躍...
    本期論文提出了一種用於四足運動合成的新型數據驅動方法，並稱之為自適應神經網絡。該系統可以實現，根據控制命令產生逼真的運動動畫和穩定的轉換過程。與傳統的關鍵幀動畫不同，這項系統不需要單獨創建動畫剪輯或動畫圖形，而是能夠直接通過數據學習這些動畫。由於四足動物的腳步類型複雜，標記運動模型通常需要專業知識和大量的數據來校準和預處理。
  • 小白必看:神經網絡入門指南
    讀了這篇文章，你將能夠走進任何一個會議，用你新獲得的流行詞在午餐桌上大放異彩！如果你在過去幾年裡打開過瀏覽器，你一共見過「神經網絡」這個詞（幾百次）了。在這篇短文中，我將給你一些關於神經網絡和其領域的一些知識。在接下來的5分鐘裡，你可能不會成為這個領域的世界專家，但你會經歷一個不平凡的入門階段。
  • 一圖抵千言:帶你了解最直觀的神經網絡架構可視化
    神經網絡是複雜、多維、非線性的數組運算。如何在避免過於複雜或重複的情況下呈現深度學習模型架構的重要特徵呢？又該以何種方式清晰直觀、啟發性地呈現它們呢？（好看也是加分項！）無論研究還是教學項目對此都沒有固定標準。本文我們就來了解一下可視化整個神經網絡架構和特定模塊的工具和技巧。
  • 神經網絡如同青蛙的智力
    神經網絡模型屬於一種較為智能的判別過程，對於變量類型並沒有過多要求，可以有效地識別事物的不同特徵以及模式，例如不完全的信息、複雜的非線性特徵等等。通常，工作中使用的神經網絡模型為弱能的神經網絡，其智能程度猶如青蛙、老鼠的智力。
  • 深度學習元老Yann Lecun詳解卷積神經網絡
    卷積神經網絡（Convolutional Neural Network）是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元，對於大型圖像處理有出色表現。早在20世紀80年代末，Yann LeCun就作為貝爾實驗室的研究員提出了卷積網絡技術，並展示如何使用它來大幅度提高手寫識別能力。上世紀末本世紀初，當神經網絡失寵時Yann LeCun是少數幾名一直堅持的科學家之一。他於2003年成為紐約大學教授，並從此引領了深度學習的發展，目前任職於Facebook FAIR實驗室。
  • 小怪獸來襲Synaptics AudioSmart發布首款神經網絡DSP晶片AS33970
    近日，Synaptics AudioSmart團隊 （原音頻晶片廠商Conexant科勝訊）發布了一款基於神經網絡架構的低功耗四核DSP晶片，代號大溪地（Tahiti）, 型號為AS33970， 這是神經網絡晶片首次應用在TWS以及無線頭戴耳機市場。
  • Hinton等人新研究:如何更好地測量神經網絡表示相似性
    近期很多研究試圖通過對比神經網絡表示來理解神經網絡的行為。谷歌大腦 Simon Kornblith、Geoffrey Hinton 等人的一項新研究引入了 centered kernel alignment (CKA) 作為相似性指數，並分析 CKA、線性回歸、典型相關分析（CCA）等相關方法之間的關係，證明 CKA 優於其他相似性指數。
  • 光神經網絡,正在照亮智能計算的未來
    如果問一個問題——能夠進行深度神經網絡計算的晶片有哪些？大家給出的答案可能五花八門：CPU、GPU、DSP、NPU……過去幾年裡，電子計算已經成為實現人工智慧算法——尤其是深度神經網絡模型——最重要的算力支撐。
  • 神經網絡的叛離:32年前從心理學與生理學分離的瞬間
    本來神經計算學就不僅僅只考慮像神經網絡這樣大腦的神經模型，它還研究諸如神經元放電模式代表什麼信息這樣的「神經活動解釋」類的課題，有必要特別指出計算神經科學其實是個很大的領域。簡單來說，這是支撐神經網絡的生理學部分。
  • 神經網絡還能創造新知識?
    例如，著名的手寫體數字識別教程很容易執行，但其背後的邏輯還是隱藏在神經網絡下，僅能通過層次化結構、權值和激活函數略知一二。本文通過神經網絡透明原則來揭示其「黑盒知識」，為此來檢驗一個布爾異或函數的神經網絡。首先，利用已知異或屬性過程構造了一個自底向上的神經網絡，即清晰包含已知的代數關係。
  • 用循環神經網絡進行文件無損壓縮:史丹福大學提出DeepZip
    史丹福大學的研究者最近提交的論文中，循環神經網絡捕捉長期依賴關係的優勢被用於無損壓縮任務中，這種被稱為 DeepZip 的技術已在文本和基因組數據文件中得到了實驗。研究人員稱，其結果頗具潛力。在克勞德·香農的一個經典研究中，這位先驅者指出，熵率是給定數據源可能達到的最佳壓縮比，同時也給出了一種實現方法（儘管不甚實際）。J. Rissanen 提出了算術編碼，這是一個實現已知分布熵邊界的有效方法。對於未知分布的數據源（如文本和 DNA），他還設計了算術編碼的自適應變體，它可以通過嘗試學習條件 k-gram 模型的分布來進行壓縮。
  • 從GPU、TPU到FPGA及其它:一文讀懂神經網絡硬體平臺戰局
    近日，多家公司的技術顧問 Matt Hurd 在其博客上發表了一篇全面評點各種神經網絡硬體平臺的長文，機器之心對本文進行了編譯介紹。這是我幾周前做的一個傳統的 90 年代風格的性別識別神經網絡的很好的隱藏節點。
  • 如何使用神經網絡彈奏出帶情感的音樂?
    神經網絡在音樂方面的應用已經不是一個新鮮的話題了。在音頻檢索領域中，人們一直在嘗試著用神經網絡對一系列音樂元素進行建模 [1]，例如和弦、音高等等。正如作者所提及的，人們在 1943 年開始用神經網絡解決語音識別的問題。但是在那個年代，沒有足夠的計算能力來得到較好的結果，所以神經網絡的方法在那個時候並不流行。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    「團」圖的一個完全子圖。「環」也是一種連通的子圖，其中每個頂點都恰好有兩個鄰點，不包含環的圖被稱為「森林」。一個連通的森林被稱為「樹」。「子森林」是一個無環子圖，「子樹」是一個連通的子森林。對於給定的頂點 v，它的鄰居節點的集合被表示為 N_v。圖同構：令 G = (V, E) 和 G′ = (V′, E′) 為兩個圖。若
  • 開源神經網絡框架Caffe2全介紹
    這個不斷嘗試和逼進的過程，我們稱為訓練你可能需要在移動端／伺服器端／物聯網設備／嵌入式系統上部署你的神經網絡算法那麼Caffe2作為一個神經網絡框架，為你提供了模型搭建、訓練、和跨平臺的部署。簡而言之，全包辦了。
  • 深度神經決策樹:深度神經網絡和樹模型結合的新模型
    這種模型不僅具有了基於樹模型的可解釋性的優點，同時還可以利用神經網絡中的梯度下降法來進行訓練，並可方便地利用現有的神經網絡框架實現，將使得神經網絡的過程得以用樹的方式得到有效的解釋。 愛丁堡大學的研究人員們基於樹和神經網絡的結構提出了一種新型的模型——深度神經決策樹(DNDT)，並探索了樹和網絡之間的相互作用。DNDT是一種具有特殊結構的神經網絡，任意一種配置下的DNDT都對應著決策樹，這使其具有了可解釋性。
  • 極驗發布全國首個專注於圖神經網絡的書籍,《深入淺出圖神經網絡...
    圖神經網絡是當前 AI 領域最為火爆的研究熱點之一，學術界與工業界各大公司紛紛投入大量資源研究。它在因果推理上擁有巨大潛力，有望解決深度學習無法處理的關係推理、可解釋性等一系列問題，而這些問題被業界認為是能夠推動 AI 出現實質性進展的關鍵。
  • 圖神經網絡的十大學習資源分享
    字幕組雙語原文：【乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行。
  • Bengio 團隊力作:GNN 對比基準橫空出世,圖神經網絡的「ImageNet...
    然而，正如計算機視覺的崛起有賴於 ImageNet 的誕生，圖神經網絡也急需一個全球學者公認的統一對比基準。近日，Bengio 大神帶領其團隊發布了新的圖神經網絡對比基準測試框架以及附帶的 6 個標準化數據集。大家可以開始盡情刷榜了！
  • 如何對神經網絡人工智慧硬體進行優化設計?
    其實，說白了就是原來有處理單元（ALU/EXU）現在一個加法器，現在變成了N個了。對應神經網絡的計算，原來要M次展開的乘累加，現在只要M/N次，對應的時鐘和時間都顯著地降低。 其實，SIMD並不是到了神經網絡再興起的新玩樣兒，早在MP3的年代，SIMD處理器就廣泛地使用在各類信號處理晶片中。所以關於SIMD指令也早有了需要行業標準。以下，我們就來看一個SIMD指令集實例——ARM NEON，厲害了word令在上一編中，我們簡單提到了史上第一個攻城掠地的RISC-ARM。