一直以來,伏羲AI實驗室致力於打造AI智能動畫創作產品矩陣。經過團隊的努力,1項成果已商用:AI表情捕捉;2項成果已上線:AI音樂舞蹈、AI視頻動捕;4項成果即將上線:AI造型師、AI視頻剪輯、AI手勢遷移、AI智能鏡頭。
而這次,讓我們將目光聚焦到網易伏羲AI實驗室歷時3年打造,基於海量數據和AI研發突破完成的業界領先的AI視頻動捕技術!該技術降低了動作製作的成本,提升了動作製作的效率和自由度,只需輸入視頻,即可得到還原度超高的3D動作!
一、AI加盟動畫製作:高效與便捷
在AI加盟動畫製作之前,傳統動畫製作流程已經持續十多年之久,普遍具有成本投入高、製作周期長、人力投入大等問題特點。在傳統動畫製作過程中,動畫製作人員常常遇到製作周期被壓縮、產能效率低,導致經常需要加班趕進度的困境。
隨著動捕技術不斷發展成熟,業界開始嘗試使用動捕技術來提高動畫生產的效率,然而結果依舊不盡人意,主要原因有以下三點:
1.工作量大:表情動畫、攝像機動畫等仍然需要手動K幀進行調整。
2.反覆性高:部分分部動作不能完全同步,仍需後期重新匹配。
3.設備使用受限:動捕設備往往比較昂貴且複雜,一般製作方無法發揮其全部性能。
面對種種行業瓶頸,伏羲再次精準出擊,嘗試AI加盟動畫製作,以達到高效與便捷的效果目的。加入AI技術之後,動畫製作無需再受專業設備和場地限制,也不再需要特定演員,僅僅通過視頻的上傳或使用普通攝像頭便可完成表情或動作的捕捉,形成動作文件。對於動畫師來說,工作著實實現了減負:只需導入編輯器完成模型的綁定即可。
然而,AI加盟的驚喜遠不止於此。從角色模型的建立角度舉例,傳統的工具蒙皮對一個角色進行蒙皮大致需要120分鐘,而基於AI的智能蒙皮技術僅需3分鐘就能完成一次操作,整整提高了97%的效率!這種效率上的飛躍無疑是顛覆性的,它將助力實現「人的解放」,推進迎接動畫製作高效便捷的未來!
二、智能視頻動捕:開創動畫製作新模式
網易伏羲AI實驗室推出的智能視頻動捕技術不僅僅只是一項新技術,還是一種動畫製作的新模式。它具有三大技術特色:一鍵生成動作、入門級門檻、廣泛的動作支持。三大特色的結合大幅提升了工作效率,節省相關適合動作的70%製作成本、80%工作時間:
(1)攝像捕捉、視頻輸入,一鍵生成動作:無需專業動捕設備,僅需普通攝像頭或上傳視頻,即可完成用戶動作的製作。
(2)動作細節深度還原,體現真正黑科技:在伏羲強大的AI算法團隊和雷火遊戲團隊的專業動畫能力加持下,AI視頻動捕可以基於視頻高精度的還原人體動作的細節,同時保持動作的美觀和流暢度,同時適合各種人物骨骼的輸出,把遊戲對接的成本降到了最低。
(3)動作支持廣泛,支持各種類型動作:不僅僅支持抬手、抬腳等簡單動作的遷移,對於舞蹈、武術等動作銜接連續的複雜動作也提供了強大的支撐。
受廣泛關注的該項技術目前也已應用落地場景,在遊戲短視頻生產與遊戲動畫製作領域、玩家UGC創作領域上「大展身手」。
1、遊戲短視頻生產與遊戲動畫製作領域
應用場景1:抖音&快手等遊戲短視頻內容製作
遊戲營銷往往能從抖音、快手等短視頻APP上捕捉到有非常有趣的熱點內容,希望可以加入到遊戲中,但是遊戲中本不具有這樣的動作,如果人工從零製作,產能將被受限。而使用AI視頻動捕,動畫師只需要輸入指定的視頻,便可以快速得到還原度超高的3D動作文件,再集成至遊戲編輯器中,完成營銷動畫內容創作,大大提升遊戲短視頻營銷產能,讓遊戲熱點營銷日更不是夢!
應用場景2:遊戲NPC休閒、表演等動作製作
為了讓遊戲世界更加真實,NPC行為成為了關鍵所在,更高動作自由度的NPC可以讓玩家有更加真實的沉浸式遊戲體驗感。但與此同時,遊戲工作室的工作內容和成本也大幅度增加了。
而有AI視頻動捕的加盟後,只需要策劃指定視頻動作,自行拍攝或者讓演員拍攝一段視頻,用AI視頻動捕就可以得到高還原度的3D動作,大幅提升動畫師完成動作製作的效率!
2、玩家UGC創作領域
應用場景:同人內容創作
近年來,網絡視頻與小說創作大熱,同人主題的作品遍地開花,越來越多的用戶希望依託遊戲素材、角色與劇情等,參與到同人主題創作中來——這引發了玩家UGC(用戶生成內容)創作熱潮。同時,UGC創作將反哺遊戲,UGC作品的創作與推廣實際上是用戶對遊戲內容的延伸與自發宣傳,玩家在獲得創作滿足的同時,遊戲也通過該渠道收穫更多的關注。因此,推動玩家UGC創作可以打造遊戲雙方雙贏局面。
目前常見的動畫UGC內容包括MMO動作劇情、舞蹈動畫視頻、對白動作視頻等,被創作的虛擬角色成為了創作者想法、心情的獨白。而UGC作品的成功與否與作品中人物動作、表情表達息息相關,因為動畫的逼真程度是作品傳播效果的關鍵影響因素。
但與此同時,動畫製作技術卻成了玩家UGC創作的門檻。普通用戶空有創作熱情,卻受限於專業技術,而使作品中的虛擬人物無法呈現生動形象的效果,影響作品的完成度與傳播度。
在傳統的創作中,動作的創建是依靠「動捕設備+人工K幀」的形式完成的,這不僅需要依靠大量昂貴和笨重的硬體,同時需要經驗豐富的專業人員進行操作捕捉。因此,傳統的UGC創作從某種程度上說並不是屬於大眾的,而是屬於專業人員的。
基於該現狀,伏羲AI實驗室致力於用AI技術降低UGC創作的門檻,使有創作興趣的普通大眾都可以參與到同人創作中來!伏羲團隊打造的智能動作、表情捕捉技術僅需普通攝像頭或者上傳動作視頻,便可完成動作、表情的捕捉,為用戶提供便捷易用、無需昂貴硬體成本的人姿捕捉。讓動作表情捕捉走出製作難、硬體昂過、環境複雜的困境。
目前伏羲團隊已和「大宋映畫」、「創幻科技」進行深度合作,為玩家和短視頻內容賽道的創作者提供優質的UGC創作工具。如伏羲智能動捕技術&「大宋映畫」依託於《逆水寒》端遊的資源,深度結合伏羲AI技術,助力用戶更加便捷快速地創作劇本,拍攝專業的動畫視頻,給予用戶超高自由度的自主編輯,讓用戶的創意不再受限於產能。
此前,伏羲AI音樂舞蹈玩法上線「大宋映畫」平臺後,充分降低了玩家舞蹈內容製作的門檻,收穫玩家累計近百萬次的請求,受到大量玩家的好評,基於該能力創作的內容也大受歡迎,成為「大宋映畫」內容創作者製作舞蹈相關內容的智能幫手!而這次,伏羲AI視頻動捕將再一次突破UGC內容製作門檻,賦予玩家更高的創作自由度,助力玩家更高效地創作更佳的作品。
高質量且豐富的UGC內容是遊戲社區繁榮的前提,此前「大宋映畫」成功舉辦的「逆水寒?大宋映畫首屆電影節」便是一個很好的證明,該電影節引起玩家強烈反響,湧現出不少精美的UGC作品。此外,玩家通過「大宋映畫」視頻編輯器製作的多個同人視頻在抖音平臺點讚數突破百萬。下面是玩家「卿沫如歸」用「大宋映畫」編輯器還原的電視劇《招搖》片段,收穫近30W的點讚:
這類高質量的內容,往往需要需要耗費大量的人力物力,但是在AI視頻動捕加盟之後,可以快速地完成翻拍需要的動作製作,極大縮減創作時間;擁有了智能動畫能力矩陣,UGC的自由度將讓玩家創作出更多更好玩有趣的視頻以表達自己的想法!
秉承為動畫創作提供更好的體驗服務的理念,伏羲AI實驗室一直在路上!團隊規劃的AI能力矩陣不僅是業界領先的創新之作,更將服務萬千動畫創作工作者,開啟智能個性的動畫時代!
同時,伏羲也將一如既往陪伴每個需要伏羲合作支持的你,歡迎聯繫 fuxi@service.netease.com,進行項目單獨對接。而後續,我們也將繼續上線AI造型師、AI視頻剪輯、AI手勢遷移與AI智能鏡頭。伏羲創新,敬請期待!
招賢納士:號外號外,網易伏羲遊戲AI實驗室誠招有志之士!目前開放AI研究員,AI系統開發,web前後端開發,遊戲AI產品策劃等各個職位,更多職位歡迎關注實驗室官網:fuxi.163.com。加入伏羲,一起用AI點亮遊戲未來。歡迎投遞gameailab@163.com!