伏羲AI動畫創作矩陣再添大將:視頻動捕迎高效未來!

2020-12-01 葉子豬遊戲網

一直以來,伏羲AI實驗室致力於打造AI智能動畫創作產品矩陣。經過團隊的努力,1項成果已商用:AI表情捕捉;2項成果已上線:AI音樂舞蹈、AI視頻動捕;4項成果即將上線:AI造型師、AI視頻剪輯、AI手勢遷移、AI智能鏡頭。

而這次,讓我們將目光聚焦到網易伏羲AI實驗室歷時3年打造,基於海量數據和AI研發突破完成的業界領先的AI視頻動捕技術!該技術降低了動作製作的成本,提升了動作製作的效率和自由度,只需輸入視頻,即可得到還原度超高的3D動作!

一、AI加盟動畫製作:高效與便捷

在AI加盟動畫製作之前,傳統動畫製作流程已經持續十多年之久,普遍具有成本投入高、製作周期長、人力投入大等問題特點。在傳統動畫製作過程中,動畫製作人員常常遇到製作周期被壓縮、產能效率低,導致經常需要加班趕進度的困境。

隨著動捕技術不斷發展成熟,業界開始嘗試使用動捕技術來提高動畫生產的效率,然而結果依舊不盡人意,主要原因有以下三點:

1.工作量大:表情動畫、攝像機動畫等仍然需要手動K幀進行調整。

2.反覆性高:部分分部動作不能完全同步,仍需後期重新匹配。

3.設備使用受限:動捕設備往往比較昂貴且複雜,一般製作方無法發揮其全部性能。

面對種種行業瓶頸,伏羲再次精準出擊,嘗試AI加盟動畫製作,以達到高效與便捷的效果目的。加入AI技術之後,動畫製作無需再受專業設備和場地限制,也不再需要特定演員,僅僅通過視頻的上傳或使用普通攝像頭便可完成表情或動作的捕捉,形成動作文件。對於動畫師來說,工作著實實現了減負:只需導入編輯器完成模型的綁定即可。

然而,AI加盟的驚喜遠不止於此。從角色模型的建立角度舉例,傳統的工具蒙皮對一個角色進行蒙皮大致需要120分鐘,而基於AI的智能蒙皮技術僅需3分鐘就能完成一次操作,整整提高了97%的效率!這種效率上的飛躍無疑是顛覆性的,它將助力實現「人的解放」,推進迎接動畫製作高效便捷的未來!

二、智能視頻動捕:開創動畫製作新模式

網易伏羲AI實驗室推出的智能視頻動捕技術不僅僅只是一項新技術,還是一種動畫製作的新模式。它具有三大技術特色:一鍵生成動作、入門級門檻、廣泛的動作支持。三大特色的結合大幅提升了工作效率,節省相關適合動作的70%製作成本、80%工作時間:

(1)攝像捕捉、視頻輸入,一鍵生成動作:無需專業動捕設備,僅需普通攝像頭或上傳視頻,即可完成用戶動作的製作。

(2)動作細節深度還原,體現真正黑科技:在伏羲強大的AI算法團隊和雷火遊戲團隊的專業動畫能力加持下,AI視頻動捕可以基於視頻高精度的還原人體動作的細節,同時保持動作的美觀和流暢度,同時適合各種人物骨骼的輸出,把遊戲對接的成本降到了最低。

(3)動作支持廣泛,支持各種類型動作:不僅僅支持抬手、抬腳等簡單動作的遷移,對於舞蹈、武術等動作銜接連續的複雜動作也提供了強大的支撐。

受廣泛關注的該項技術目前也已應用落地場景,在遊戲短視頻生產與遊戲動畫製作領域、玩家UGC創作領域上「大展身手」。

1、遊戲短視頻生產與遊戲動畫製作領域

應用場景1:抖音&快手等遊戲短視頻內容製作

遊戲營銷往往能從抖音、快手等短視頻APP上捕捉到有非常有趣的熱點內容,希望可以加入到遊戲中,但是遊戲中本不具有這樣的動作,如果人工從零製作,產能將被受限。而使用AI視頻動捕,動畫師只需要輸入指定的視頻,便可以快速得到還原度超高的3D動作文件,再集成至遊戲編輯器中,完成營銷動畫內容創作,大大提升遊戲短視頻營銷產能,讓遊戲熱點營銷日更不是夢!

應用場景2:遊戲NPC休閒、表演等動作製作

為了讓遊戲世界更加真實,NPC行為成為了關鍵所在,更高動作自由度的NPC可以讓玩家有更加真實的沉浸式遊戲體驗感。但與此同時,遊戲工作室的工作內容和成本也大幅度增加了。

而有AI視頻動捕的加盟後,只需要策劃指定視頻動作,自行拍攝或者讓演員拍攝一段視頻,用AI視頻動捕就可以得到高還原度的3D動作,大幅提升動畫師完成動作製作的效率!

2、玩家UGC創作領域

應用場景:同人內容創作

近年來,網絡視頻與小說創作大熱,同人主題的作品遍地開花,越來越多的用戶希望依託遊戲素材、角色與劇情等,參與到同人主題創作中來——這引發了玩家UGC(用戶生成內容)創作熱潮。同時,UGC創作將反哺遊戲,UGC作品的創作與推廣實際上是用戶對遊戲內容的延伸與自發宣傳,玩家在獲得創作滿足的同時,遊戲也通過該渠道收穫更多的關注。因此,推動玩家UGC創作可以打造遊戲雙方雙贏局面。

目前常見的動畫UGC內容包括MMO動作劇情、舞蹈動畫視頻、對白動作視頻等,被創作的虛擬角色成為了創作者想法、心情的獨白。而UGC作品的成功與否與作品中人物動作、表情表達息息相關,因為動畫的逼真程度是作品傳播效果的關鍵影響因素。

但與此同時,動畫製作技術卻成了玩家UGC創作的門檻。普通用戶空有創作熱情,卻受限於專業技術,而使作品中的虛擬人物無法呈現生動形象的效果,影響作品的完成度與傳播度。

在傳統的創作中,動作的創建是依靠「動捕設備+人工K幀」的形式完成的,這不僅需要依靠大量昂貴和笨重的硬體,同時需要經驗豐富的專業人員進行操作捕捉。因此,傳統的UGC創作從某種程度上說並不是屬於大眾的,而是屬於專業人員的。

基於該現狀,伏羲AI實驗室致力於用AI技術降低UGC創作的門檻,使有創作興趣的普通大眾都可以參與到同人創作中來!伏羲團隊打造的智能動作、表情捕捉技術僅需普通攝像頭或者上傳動作視頻,便可完成動作、表情的捕捉,為用戶提供便捷易用、無需昂貴硬體成本的人姿捕捉。讓動作表情捕捉走出製作難、硬體昂過、環境複雜的困境。

目前伏羲團隊已和「大宋映畫」、「創幻科技」進行深度合作,為玩家和短視頻內容賽道的創作者提供優質的UGC創作工具。如伏羲智能動捕技術&「大宋映畫」依託於《逆水寒》端遊的資源,深度結合伏羲AI技術,助力用戶更加便捷快速地創作劇本,拍攝專業的動畫視頻,給予用戶超高自由度的自主編輯,讓用戶的創意不再受限於產能。

此前,伏羲AI音樂舞蹈玩法上線「大宋映畫」平臺後,充分降低了玩家舞蹈內容製作的門檻,收穫玩家累計近百萬次的請求,受到大量玩家的好評,基於該能力創作的內容也大受歡迎,成為「大宋映畫」內容創作者製作舞蹈相關內容的智能幫手!而這次,伏羲AI視頻動捕將再一次突破UGC內容製作門檻,賦予玩家更高的創作自由度,助力玩家更高效地創作更佳的作品。

高質量且豐富的UGC內容是遊戲社區繁榮的前提,此前「大宋映畫」成功舉辦的「逆水寒?大宋映畫首屆電影節」便是一個很好的證明,該電影節引起玩家強烈反響,湧現出不少精美的UGC作品。此外,玩家通過「大宋映畫」視頻編輯器製作的多個同人視頻在抖音平臺點讚數突破百萬。下面是玩家「卿沫如歸」用「大宋映畫」編輯器還原的電視劇《招搖》片段,收穫近30W的點讚:

這類高質量的內容,往往需要需要耗費大量的人力物力,但是在AI視頻動捕加盟之後,可以快速地完成翻拍需要的動作製作,極大縮減創作時間;擁有了智能動畫能力矩陣,UGC的自由度將讓玩家創作出更多更好玩有趣的視頻以表達自己的想法!

秉承為動畫創作提供更好的體驗服務的理念,伏羲AI實驗室一直在路上!團隊規劃的AI能力矩陣不僅是業界領先的創新之作,更將服務萬千動畫創作工作者,開啟智能個性的動畫時代!

同時,伏羲也將一如既往陪伴每個需要伏羲合作支持的你,歡迎聯繫 fuxi@service.netease.com,進行項目單獨對接。而後續,我們也將繼續上線AI造型師、AI視頻剪輯、AI手勢遷移與AI智能鏡頭。伏羲創新,敬請期待!

招賢納士:號外號外,網易伏羲遊戲AI實驗室誠招有志之士!目前開放AI研究員,AI系統開發,web前後端開發,遊戲AI產品策劃等各個職位,更多職位歡迎關注實驗室官網:fuxi.163.com。加入伏羲,一起用AI點亮遊戲未來。歡迎投遞gameailab@163.com!

相關焦點

  • 網易伏羲首席遊戲AI技術專家陶建容:AI賦能遊戲創造價值
    大會以「洞覺 未見」為主題,匯聚了全球最強大腦,期盼以遠見超越未見,去尋找打開未來的鑰匙。大會上,網易伏羲首席遊戲AI技術專家陶建容博士做了《人工智慧點亮遊戲未來》主題演講。陶建容表示,通過AI自動蒙皮算法,只需要3分鐘,可以節省97%的美術時間,讓美術投入更多時間到創意和創作中去。目前,網易伏羲經過三年多的探索,已經發表了70多篇遊戲和AI頂會論文,申請了100多篇遊戲和AI相關的技術專利。同時,網易伏羲的相關研究也落地服務了100多個遊戲客戶,每天AI服務調用量超過1億次。
  • 20年經驗、做過《戰神》《死亡擱淺》的光子動捕專家,怎麼理解動捕...
    瀏覽器版本過低,暫不支持視頻播放好,現在我想請問各位,這是一個什麼樣的視頻?看起來有點粗糙又有點複雜,對嗎?其實如果你有反光球、紅外線相機,要做出上面這些動畫其實並不是難事。大家想像一下,現在我們有一款遊戲要用手K(即動畫師手動製作動畫)的方式呈現出所有動畫,比如要做200分鐘動畫,那我們可能需要請到大概七八個動畫師,花費半年時間;可是如果以動捕的方式去做,我們也許只需要2-3天左右錄製,然後把這些動畫轉移到3D角色上。後續的細節清理只需要大概1個月不到,就可以達到相同,甚至於更逼真的效果。
  • 網易伏羲亮相BIGC2020,五大領域黑科技秀出AI硬實力
    此次參展,網易伏羲實驗室帶來了旗下前沿的應用技術,包括遊戲智能決策體、雲遊戲、AI音樂舞蹈、表情遷移和動作遷移、AI捏臉、虛擬詩人、AI故事接龍、有靈創作平臺、遊戲外掛檢測與防禦系統、遊戲戰鬥匹配系統、遊戲智能推薦系統、遊戲玩家行為預測服務矩陣等。這些技術的實現體現了網易伏羲在強化學習、用戶畫像、圖像動畫、虛擬人、NLP(自然語言處理)等領域的超強實力。
  • 2020網易未來大會開幕,「AI能力擔當」網易伏羲攜黑科技亮相
    2020網易未來大會開幕,「AI能力擔當」網易伏羲攜黑科技亮相發布時間:2020-12-18 14:52:10 Fri  來源:杭州網杭州網訊 12月18日,2020網易未來大會在杭州奧體博覽城「小蓮花」開幕。
  • 網易伏羲產品負責人李樂:AI賦能數字創意產業正當時,有靈AI將開放...
    在創作階段,AI可以激發創作靈感;在製作過程中,AI可以降本增效。另外,AI不僅可以豐富線下的互動體驗,還可以塑造線上沉浸式的體驗。網易伏羲成立於2017年,是國內專業從事遊戲和泛娛樂產業人工智慧研究和應用的頂尖機構。網易伏羲研究方向包括強化學習、圖像動畫、自然語言、虛擬人、用戶畫像、大數據平臺、AI計算平臺、雲遊戲等眾多領域。
  • 光子技術中心KevinWang:以動捕在遊戲開發中的優勢,看未來發展
    最後一點,如果用了動捕,就不需要動畫師去手K。第一是因為不是所有的東西都可以用來做動捕。比如紙、車子、飛機這些東西都比較難去達到動捕的效果,所以還是需要動畫師去手K做出這些無法動捕的動作。之後做出臉部、身體的動捕,也需要動畫師的幫忙,去完成這一系列的數據。
  • 動捕技術開啟國漫發展新紀元,廣州虛擬動力提供完備解決方案
    動捕技術開啟國漫發展新紀元如今,國漫發展越來越迅速,在以歐美動畫和日本動畫為主流的動畫世界格局中,國漫取得的成就顯而易見。然其成功的關鍵離不開技術的進步,而動捕技術就是動畫發展體系中不可缺少的一環。《靈籠》的優質正是源於對動捕技術的全面應用。誕生於實驗室的偶然我們回望時間的長河,動捕技術發展已有30年。其實最初,動捕技術並不是為動畫而生的,而是誕生於生物實驗室,為物理治療和康復服務。
  • 虛擬動點:從《大力水手》到《猩球崛起》,見證動捕技術飛速發展
    1914年創作了《大力水手》等知名動畫的動畫師Max Fleischer發明了轉描機技術(Rotoscoping),並將其應用在自己的系列動畫《逃出墨水池(Out of the Inkwell)》中。《逃出墨水池》中,由Max的弟弟Dave Fleischer表演拍攝的視頻就是該動畫中小丑這一形象的參考原型,也是自此,轉描機技術逐漸開始被世界各地動畫製作公司廣泛使用。1937年迪士尼公司精確地將轉描機技術運用在動畫片《白雪公主和七個小矮人》中,這也是歷史上首部運用轉描機技術生成的長篇動畫作品。
  • 《生化危機3:重製版》動捕場景對比遊戲動畫 演員賣力表演
    《生化危機3:重製版》動捕場景對比遊戲動畫 演員賣力表演 油管頻道NeoGamer分享了一段《生化危機3:重製版》幕後製作視頻
  • 武威或將再添「大將」,2條鐵路貫穿境內,未來有望崛起
    小編認為當地除了旅遊資源之外,特產美食也是十分值得介紹的,像一些手工掛麵,糯米卷糕都屬於一些特產,這些美食是十分具有一定吸引力的,因此人們都說古浪縣是一個實至名歸的大將。【武威或將再添「大將」,2條鐵路在此設站,未來有望崛起】歡迎大家對此評論。
  • 手機 電腦AI換臉 說話 唱歌賦能視頻創作!
    「以飛槳為視頻創作者賦能為核心,邀請各位有創意的視頻創作者們使用Deepfake/人臉識別/人體檢測等技術來創作視頻。利用我們的技術作出更多創意視頻,這些都是參考項目,大家可以參考學習哦B站爆火的unravel要玩嗎?飛槳Tesla V100 GPU給你白嫖,超快運行速度,一起徵服鬼畜區吧!
  • 網易未來大會主題曲發布,從創作到演唱都由AI包辦
    12月13日,2020網易未來大會發布主題曲《醒來》,這也是網易首支詞曲編唱全鏈路AI音樂作品。歌詞生動、旋律動感、歌喉驚豔,主題曲展現出AI媲美專業音樂人的創作能力和歌唱實力。據了解,《醒來》由網易伏羲、雷火音頻部提供AI技術支持,從創作到演唱,生成歌曲僅需一小時。這套技術已應用於遊戲、文旅、文創等多個領域,是網易伏羲AI技術應用落地的重要成果之一。
  • 網易伏羲9篇論文入選AI頂會AAAI,科研實力再獲國際認可
    網易伏羲實驗室再創佳績,共有9篇論文入選,研究方向涉及強化學習、虛擬人、自然語言處理(NLP)、圖像動畫、用戶畫像等領域。科研成果的集中爆發,充分顯示網易伏羲在人工智慧的多個領域已經具備國際頂尖的技術創新能力。
  • 《水果籃子》動畫重製版線下試映 愛奇藝女性向動漫再添優質新番
    3月30日,新版《水果籃子》線下試映會在北京三裡屯美嘉電影院舉辦,現場播放了新版《水果籃子》動畫前兩集和新版聲優——石見舞菜香、島崎信長、內田雄馬的訪談視頻
  • 用《爵跡》的模式去拍一部真人動捕動畫,圖啥?
    因為採取真人動捕+全實時引擎的製作模式,《凡人》動畫的人物建模、場景建模無限接近於真人影視的真實感,這讓一部分傳統動畫受眾不太能接受,「不如直接看電視劇」。「貓片在劇本創作與真人拍攝方面有經驗,原力動畫則是國內動捕和引擎製作的領軍者,正好兩家公司形成了非常好的優勢互補。」
  • 用《爵跡》的模式去拍一部真人動捕動畫,圖啥?
    因為採取真人動捕+全實時引擎的製作模式,《凡人》動畫的人物建模、場景建模無限接近於真人影視的真實感,這讓一部分傳統動畫受眾不太能接受,「不如直接看電視劇」。 另一方面,《凡人》並非傳統意義上的男頻爽文,主角韓立從平平無奇山村少年成長為一代仙尊的奮鬥過程歷盡艱辛,但因為動畫改編節奏提速,而讓書粉們認為角色的成長線不夠豐滿。
  • 好萊塢技術 《鎮魔曲》遊戲電影動捕揭秘
    此次測試遊戲推出的1300萬劇情動畫轟動業內。作為國產遊戲史上第一部八位數大製作,今天《鎮魔曲》曝光了一個視頻,揭秘了電影幕後的動作捕捉,看看好萊塢技術是如何融合東方武學的。猩球崛起自魔戒中的咕嚕一炮而紅之後,在越來越酷炫的好萊塢大片中,動捕已經成為必不可少的一部分,特別是想阿凡達、猩球崛起、霍比特人等科幻大片,更是運用了大量的動捕元素。
  • 卡通熊、高冷御姐等背後,可能都有同一個「動捕」演員
    正式進行動捕錄製前,製作團隊會為虛擬形象創建模型,並對模型進行細節處理:包括頭髮發質、裙擺衣物的自然飄動效果等等。前期建模完成後,動捕演員上場:他們全身穿戴著動捕設備,實時驅控虛擬形象進行表演錄製。後臺系統裡,莫妮卡扮演的卡通形象。
  • 伏羲、女媧的佛教藝術形象: 中華民族精神的傳承
    莫高窟第285窟(西魏)窟頂東披,伏羲、女媧的形象出現在窟頂。伏羲女媧傳說來自民眾對日神信仰,伏羲與羲和、帝俊、帝嚳、黃帝是同一人;女媧與女蛾、常儀、嫦娥、嫘祖、西王母是同一個人或神。窟頂畫風有飛動的彩雲和各種傳說中的神怪。東披畫面中央描繪兩個力士共同持一支蓮莖,上面開放一朵大蓮花,蓮花中有摩尼寶珠。在摩尼寶珠的兩側,分別畫出伏羲和女媧的形象,他們上半身是人,下半身是獸形。左側為伏羲,他一手持矩(折角尺子),一手持墨斗,身上有一圓輪,內有金烏,象徵太陽;右側為女媧手持規(圓規),身上圓輪內有蟾蜍,象徵月亮。
  • 騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020
    今天跟大家稍微聊一聊,動捕的相關資訊。在今天開始我們的話題之前,我想要跟大家一起看一段影片。這是一個關於什麼樣的視頻呢?看起來有點粗糙,又有點複雜,對嗎?其實,如果你有反光球,與紅外線相機,要做出上面這一系列看到的動畫,其實並不是個難事。那今天,讓我們進入到我們的主題《動捕》。在動捕開始之前,我先稍微做一下自我的介紹。