...太磨人?這家公司用AI實現遠程動作捕獲 手機2D視頻輕鬆轉成3D版

2020-11-23 騰訊網

Move.ai可以利用AI，在稱為運動捕獲（motion capture）的過程中捕獲演員的3D動態展示。它使遊戲公司可以在大流行期間以遠程方式進行動作捕捉。

這是一項重要的技術進步，因為運動捕捉系統本身缺陷造成的麻煩，已導致電影製作人和視頻遊戲公司的生產停滯。Move.ai希望通過「無標記」（markerless）動作捕捉來解決此問題，從而降低成本和處理上的繁瑣過程。

該技術的靈感來源來自倫敦的一家公司，該公司之前都是捕獲體育運動員的圖像，然後將其轉換為數字動畫對象。但是隨著體育賽事按下暫停鍵，新冠大流行使該公司的這一業務陷入困境。

幸運的是，遊戲需要更好的真實感，才能讓玩家完全沉浸在這種替代現實中，並參與其中，這意味著他們需要動作捕捉。

而如今隨著機器學習和深度學習算法特效製作環節的應用，電影拍攝和特效處理的自動化操作比例大幅增加，在提高效率的同時，特效的藝術性也有了更好的保證。「AI+特效」具體涉及動作捕捉、虛擬角色構建、模擬動力學和自然現象等等多種應用場景，已經有了豐富的應用。

捕獲人像

Move.ai可以將iPhone或三星Galaxy手機上錄製的人的2D視頻轉化為3D化身。傳統的開發者創造引人入勝的圖形，要麼是通過人類藝術家的一番艱辛創作，要麼是通過複雜的動作捕捉系統來實現。對比而言，Move.ai的方案簡直不要簡易太多。

在大流行之前，一流的遊戲開發人員不得不租用那些帶有大量攝像機的動作捕捉工作室，才能保證完美捕捉演員在舞臺上的動作，並最終將這些圖像合成為他們的3D展示。攝像頭可以檢測到緊身衣上的白色標記，不過這種情況下演員的工作很辛苦，動作捕捉的舞臺和系統也很昂貴，而且必須被綠幕包圍，才能確保人物的邊緣很容易被辨別出來。

但這樣的方案的確派上了用場。演員的表現被捕捉下來，呈現為流暢的運動，使動畫師更容易根據捕捉到的圖像創建遊戲角色。這些遊戲角色移動流暢，讓玩家充分沉浸在更加真實的遊戲畫面之中。

大流行的影響

但在大流行期間，許多工作室已經關閉。他們無法安全地進行動作捕捉。於是人們利用AI開發出了一種叫做「無標記動作捕捉」（markerless motion capture）的解決方案，它可以用視頻捕捉一個人的自然動作，並用更少的設備創建一個完整的表演。

最重要的是，沒有必要穿帶有白球的緊身衣。這意味著演員們可以更好地表演，而且不會筋疲力盡。傳統的身體捕捉套裝沒有全方位的動作，如果你想要模擬戰鬥或武術場景，那就不妙了。

此時此刻，你可能會想到微軟Xbox 360遊戲機上的Kinect攝像頭技術，用於像Dance Central這樣的遊戲。但Kinect沒有捕捉到足夠多的數據，它沒有最好的人工智慧，在硬體上也沒有足夠的處理能力。

Move.ai表示，人工智慧就像一個成熟版的Kinect，可以捕獲一個人的100,000個數據點，而以往通過標記的方式一般只能捕獲10-15個數據點。而且他們表示，他們的方法比傳統的動作捕捉成本更低。

Endemano說:「我們相信我們可以將這種能力大眾化，並將其賦予每個人進行利用和創作，從做用戶生成內容的有影響力的人，到製作大型遊戲的aaa級遊戲開發者。」

Move.ai使用計算機視覺和人工智慧軟體檢查標準攝像機的視頻，以創建動畫特效表現。這個演員不受阻礙，不受拘束，所以表演得更好。例如，他們可以穿任何他們想穿的鞋子，這樣他們的步態就不會受到特殊鞋子的影響。

Endemano還表示：「當然，把它傳遞給動畫師和創作者更容易。」「我們捕捉動作，並將其投射到遊戲角色上。」

這個過程現在大部分是自動化的，所以輸出可以直接進入遊戲引擎或3D美術軟體，如Maya。Endemano說:「結果是你可以更快地得到更高質量的結果。」「你根本不需要工作室。你可以在公園裡完成這些操作和過程。」

技術起源

這項技術是由Move.ai的創始人和首席技術官蒂諾·米勒（Tino Millar）開發的。他在倫敦帝國理工學院(Imperial College)期間從事這項技術工作，並為此獲得了多項專利。他的博士學位還剩幾個月，但他決定辭職去公司工作。他覺得用攝像機來跟蹤自己的運動很有趣。

米勒說:「我們不再談論俄羅斯方塊和太空入侵者了。」「遊戲需要角色從不同的方向和角度完全沉浸其中。這帶來了許多挑戰。例如，如果你在玩《刺客信條》或《戰神》，你就需要從很多不同角度來製作角色動畫。」

他補充說，「我們已經把這個給動畫導演看了，他們說它很震撼。」

對於一個只有12個人，天使投資不到200萬美元的公司來說，這是相當令人興奮的事情。但該公司已經開始與客戶籤約。

不過接下來還有重重的挑戰在等著Move.ai。人工智慧將涉足大型遊戲工作室，這些工作室可能在開發同樣的技術，也可能沒有。Move.ai倒是看到了其他潛在的應用和機會——這項技術可以應用於體積動畫和虛擬廣告。電影和遊戲導演也可以使用這種技術來預先可視化場景和故事板，因為使用數據成本不高。

米勒說:「我在大學裡待了很多年，我們已經訓練了一個機器學習模型，以便在3D中理解人的真實形態。」「我們已經通過掃描積累了大量的3D圖形，然後我們從攝像機中給它不同的視角，然後我們訓練它能夠從那裡開始。」我們希望攝像頭能夠重現人體的3D模型。」

「作為人類，我們可以環顧四周，如果你閉上一隻眼睛，你仍然可以分辨出物體是3D的。從技術上講，你需要兩隻眼睛或攝像頭來理解3D中的一些東西。但由於我們的大腦，我們已經看到了如此多的3D物體，以至於我們現在閉上眼睛就能非常有效地確定3D物體的形態。」

有一些競爭對手已經採取了行動。人工智慧必須擊敗對手才能獲得電子遊戲客戶。幸運的是，我們周圍有很多這樣的客戶。

Endemano和Millar對這項技術在程式設計師和美工之外的人手中的潛力感到興奮。更多的人可以利用這項技術來製作遊戲，因為它簡化了整個過程。

米勒說:「人們可以在自己家裡創造出最非凡的東西。」「這種力量不應該被低估。」

編譯/前瞻經濟學人APP資訊組

原文來源：https://venturebeat.com/2020/08/27/move-ai-enables-motion-capture-without-the-hassle-for-video-game-production/

相關焦點

  • 這一次,國產2d動畫戰勝了3d動畫?
    《黑白無雙》的更新非常不穩定，屬於用愛發電的情況。《一人之下》，《從前有座靈劍山》等等都是中日合作。兩部作品日漫風格非常濃厚，有種把中國的好題材被日本人做死了的感覺。其它大ip改編的國產2d動畫，大多數口碑質量都不盡如人意。
  • 3D動畫和2D動畫比哪個製作成本高?
    #動畫#現在的動畫幾乎找不到純2d動畫了，都是3d+2d混用了，2d主日常畫面，3d主戰鬥畫面，據我所知，最早的應該是EVA開始使用三渲二用3d技術製作戰鬥畫面替代2d打鬥的，這個可以明顯看出來，EVA的戰鬥動作流暢度和同期的比起來（如犬夜叉、秀逗魔導士等）簡直不是一個次元的。
  • 3D動畫和2D動畫相比,哪一種製作成本更高呢?
    3D就是建模型，然後建立動作，不是說3d不需要人為製作，但是大部分補間是通過電腦自動生成。　　2D是針對觀眾審美視覺等直觀的傳達。所以日本雖然3D也很流行，但是多是2D動畫，或者3D轉描成2D，最終還是以2D來呈現。迪斯尼也是很多動畫都要求手繪，有些看起來是3D的也是2D繪製出來的，這個是為了表現藝術感和避免大腦疲勞。
  • 3D卷積GAN飛起!微軟「可縮放」新框架只需2D數據即可生成逼真3D模型
    新智元報導來源：VB編輯：元子將2D圖像轉換成3D圖像是一件非常困難的事情，包括Facebook，Nvidia的AI研究實驗室，以及Threedy.ai之類的初創公司都在不斷的在此領域進行探索。據悉，僅使用2D圖像進行訓練，該框架可以始終學習比現有模型更好的形狀，這對於缺乏從頭開始創建3D形狀的視頻遊戲開發人員，電子商務企業和動畫工作室可能是一個福音。與以前的工作相反，研究人員試圖利用功能齊全的工業渲染器，例如顯示數據生成圖像的軟體。為此，他們訓練了3D形狀的生成模型，以便生成與2D數據集的分布相匹配的圖像。
  • 背後是國產3D動畫和2D動畫的戰爭
    表示日本3d連載動畫多厲害如何如何，你自己孤陋寡聞罷了。那麼，請去中國各大視頻網站找幾部日本3d連載動畫出來，更不用說非常火爆的日本動畫？答案是雖然2d動畫一大堆，但是3d連載動畫基本沒有。但中國從遊戲行業轉做動畫的公司著實不少。這裡我已經沒有講成本優勢，製作優勢等等。如果中國動畫產業越做越大，吸引更多的資本和人才進入動畫這個行業。大家覺得是重新培養2d動畫人才更加划算呢？
  • 比DNF更好的3D動作網遊?沒火的原因,卻是因為做的太像單機
    在如今3d技術已經完全普及的情況下，但國內最火的動作網遊依然是2d的dnf。在其他遊戲類型發展得如火如荼時，3d動作網遊卻似乎始終沒有被國內玩家接受。難道國內真的沒有比dnf更好的3d動作網遊嗎？實際情況恰恰相反，相比2d動作網遊的一騎獨塵，在國內遊戲圈曾出現過許多優秀的3d動作網遊，甚至其中一些網遊的品質遠超dnf。2011年11月25日，一款3d動作網遊在國內正式公測。此時距離國服公測的dnf已經過去近4年時間。DNF早已經成為國內動作網遊的巨無霸，許多動作網遊都試圖挑戰其動作網遊第一的寶座。
  • 有沒有發現國漫3d多2d少?一個更好恰飯,另一個容易餓死!
    答案其實很簡單，3d國漫更好恰飯，2d國漫容易餓死。下面小編就為大家詳細分析一下，為何會有這種說法。一、做3d動畫賺不到錢，可以轉做遊戲國內3d動畫公司的退路，可比2d動畫公司要多。國內2d動畫公司破產之後，原畫師即便轉行給遊戲畫立繪，或者在網上賣壁紙，也賺不了多少錢，而且成功者寥寥無幾。
  • 都快2021年了,還有人說3D動畫不如2D?睜大眼睛看看吧
    一直以來3d動畫和2d動畫之間就有很大的爭論，尤其是以日漫為代表的2d動畫和以我國為代表的3d動漫。很多人總是覺得3d不如2d，甚至很多看日漫的人看不起看國漫的，但是我想說，這都快2021年了，還有人這樣說？那麼還請你睜大眼睛來瞧瞧如今的國漫吧！
  • 3D動畫逐漸取代2D動畫?國產動畫給了我們相反的答案
    雖然我個人也不太混歐美動畫圈，但是據我所知出色的歐美長篇動畫很多，有些方面甚至完全不輸日本。這個東亞國家和歐美國家的文化審美，佔著很大的原因。2、日本把2d動畫做到了極致，甚至成為一種動畫體系。一部學習日本2d動畫的國產2d動畫，你把它做到了極致，最多是日本動畫體系內又多一部好的作品，中國製造而已！現在全世界由歐美國家主導，國產動畫想要風行全世界，必須在西方國家有一定的影響力。西方人連日本文化和中國文化都能混淆。
  • 國漫2D好？還是3D更牛一些！
    看個人吧，有的人真的接受不了3d，覺得2d會更好一點，但是我個人覺得兩個都能接受，而且沒必要一定加上【國產】兩個字，非國產3d動畫也有垃圾，國產3d也有很多精品。比如著名的3d製作公司玄機科技，第一部作品秦時明月，講述的是秦國時期的故事，根據原書《秦時明月》改編，在國漫裡算是一直是領頭羊，不單單是因為它開闢了國漫的先河，更重要的是它的內涵讓受眾群更加廣泛。
  • 十月動畫中的一股清流,先製作3D模型,然後做成2D動畫
    所謂的3轉2，是指一種動畫製作方法，即對經常出現的角色或場景，先製作3d模型，再通過技術手段處理，製作出2d動畫的光影效果，3轉2技術現在已經很成熟了，但是業界的普遍手法都是用3轉2技術完全模擬二維動畫的特徵，比如說《黑巖射手》，其中裡世界的人物就是運用了3轉2技術由3d模型處理生成，但是如果不特意了解，觀眾基本上很難看出來，這就是充分利用3轉2技術在成本上的優勢。
  • 為什麼現在很多國漫都是3D的呢,有人說3D比2D省錢,是真的嗎
    看慣了2D再看3D肯定會感覺不適，就跟用慣了隱形眼鏡戴框架眼鏡一樣，我真心想問那些否認國漫3D動畫高質量的角度真的是客觀的嗎？同樣的價錢製作3d和2d，對比一下看看他們花多少錢不就知道哪個省錢了？為什麼大部分2d國產動畫還不錯，怎麼3d動畫就不如2d了，為什麼呢？
  • 說一說2d動畫與3d動畫,我眼中的一些看法吧
    普遍來說的話，或許2d動畫能更為大眾所接受，但頂級視效作品我只認3d，再頂級的2d動畫，哪怕是宮崎駿的作品，或是近年的君名，不論是人物表情還是長時間的環境氛圍表現，能比得上育碧、暴雪、卡普空的3dcg嗎？
  • 不吹不黑，3D動畫真的省錢嗎？
    「3d省錢論」大家不能簡單只看到「數字成本」，而要看到對比效應。這個說法應該來說技術人也會這麼說的，不是什麼鄙視鏈。「同精度作畫下」，2d永遠比3d費錢。目前大家把2d的上限基本定為陰影塊面式，（輝夜姬物語陰影都沒有就那個經費了）假如都是按幀作畫，我單幀油畫級別，甚至更精細，（並且2d動畫師作畫力基本培養成本為十年）2d耗費的成本是正無窮，而同精度3d則可以完成，並且隨著「高端技術人」的能力，越來越靠向於個人完成及降低成本。
  • 不吹不黑,3D動畫真的省錢嗎?
    這個說法應該來說技術人也會這麼說的，不是什麼鄙視鏈。「同精度作畫下」，2d永遠比3d費錢。目前大家把2d的上限基本定為陰影塊面式，（輝夜姬物語陰影都沒有就那個經費了）假如都是按幀作畫，我單幀油畫級別，甚至更精細，（並且2d動畫師作畫力基本培養成本為十年）2d耗費的成本是正無窮，而同精度3d則可以完成，並且隨著「高端技術人」的能力，越來越靠向於個人完成及降低成本。
  • 五種技術選擇:2D手遊美術實現方案分析
    關於2d手遊選擇美術實現方案的拆分匯總：不同項目中，會根據不同的需求選擇不同的美術表現方案，這裡會對不同的表現方案類型，做出一些分析和意見。 1、純序列幀動畫 在同屏單位總數可以控制在20個以下時，推薦使用2d骨骼動畫，可以對遊戲客戶端大小做出非常好的控制。 對於換裝，武器系統，2d骨骼也有先天優勢。 3、2d背景+3d角色或2d角色+3d背景等
  • LOL官博都轉他的圖!不會3D的原畫不是好的美術總監,穩!-7.GAME
    李松楠國人遊戲設計師，2004年進入遊戲行業，現任智明星通美術總監，曾在搜狐暢遊做3d角色後轉為2d角色，參與過端遊《天龍八部》《鹿鼎記》《軒轅劍》、手遊《列王紛爭》等遊戲項目工作畢業後開始在北京一家小商裝公司做一些商場裝修設計圖。後想做cg動畫，結果無意間進入了一家遊戲公司，開始了自己的遊戲生涯，第一個項目叫《至尊天下》武俠遊戲。
  • 手機 電腦AI換臉 說話 唱歌賦能視頻創作!
    「以飛槳為視頻創作者賦能為核心，邀請各位有創意的視頻創作者們使用Deepfake/人臉識別/人體檢測等技術來創作視頻。項目連結：https://aistudio.baidu.com/aistudio/projectdetail/1189026想讓川普來耍一套馬保國的閃電五連鞭舞？想讓盧本偉跳鴨子舞？人體動作模仿項目等你來挑戰！
  • 一款能玩出3D眩暈的2D橫版過關遊戲《三位一體4》
    這本是一個基督教術語，大概意思就是教徒們發現耶穌和父神的兩個身份其實是一個人，你們可以理解為多重神格，或者用電競圈的常用梗——唯一的神。　　但今天的這款遊戲則是來自芬蘭的一家獨立遊戲工作室Frozenbyte的作品，《三位一體4：夢魘王子》發售於2019的10月8日，該系列累計收入了過億美元，對於筆者來說，時至今日這依然是體驗最優秀的2d橫板過關遊戲。
  • python 人像轉漫畫
    在網上，以及一些視頻軟體裡面，我們都可以看見將人像轉變為漫畫的軟體，那我們可不可以自己來做一個呢！1、requests模塊2、某度ai接口（https://ai.baidu.com/ai-doc/IMAGEPROCESS/Mk4i6olx5）ok，材料已經準備好了，那我們來說一下思路 吧！