文章相關引用及參考:映維網
只需要一臺2D相機,甚至是一臺手機。
(映維網 2018年05月09日)如果動畫角色要感動我們,它們需要首先動起來。然而,賦予虛擬角色生命從來不是一件易事。動捕技術能夠記錄和數位化複製人體運動以創建3D動畫。我們不妨聯想一下安迪·瑟金斯在《指環王》系列中所扮演的咕嚕。
傳統動捕技術的問題是,其需要依靠大量昂貴和笨重的硬體。這同時需要經驗豐富的專業人員操作多攝像機設置,演播室環境,以及演員身穿特製的傳感器套裝。
「所有這些費用,技能和時間都令人對動捕技術望而卻步。」RADiCAL的聯合創始人兼CEO Gavan Gravesen如是說道。初創公司RADiCAL是一家位於紐約的NVIDIA Inception項目成員。Gravesen表示:「我們致力於提供全民易用性,無縫集成和快速完成,而所有這一切都是以低成本實現。」
他們基於AI的解決方案只需要遊戲開發商,3D圖形藝術家,電影製作人員和AR/VR愛好者提供一件物理硬體:一臺2D相機,甚至是一臺手機。不需要其他硬體,工作室環境或精密的傳感器設備,這大大降低了所涉及的成本和工作量。
1. 更簡單的動捕
世界任何用戶都可以通過智慧型手機或網絡直接將視頻上傳到RADiCAL的雲端中。該公司則利用人工智慧和運動科學處理視頻,檢測其中的內容,在3D空間中重現人類運動,甚至是重建相機所無法看到的內容。
RADiCAL的算法可以自動適應不同的人體比例和人體運動,然後創建一個可以在3D映射視頻主體運動的模型。儘管模型的流暢運動使得該過程看起來十分簡單,但底層卻非常複雜。
RADiCAL的聯合創始人兼CTO Anna-Chiara Bellini指出:」我們集成了深度學習,機器人技術,計算機視覺和生物力學,這需要強大的人工智慧開發環境。」
2. 利用TensorFlow處理
Bellini表示,RADiCAL面臨的第一個挑戰就是需要處理的大量數據。對於他們的算法,單張靜止圖像可能需要分析多達6GB的數據。但對於每一秒的動作,期間包含120幀內容,從而帶來了驚人的720GB數據。
Bellini及其團隊選擇了TensorFlow,將GPU編程集成到他們的研究過程中,從而為整個管道提供一個「單一執行模型」。她解釋說:「通過使用CUDA編寫的ad-hoc內核來補充TensorFlow,一個只需數小時編寫的簡單內核可以為我們節約數天的模擬時間。」
為了支持其運動模型,RADiCAL在多GPU系統上以交錯方式處理多個幀。Bellini指出:「支持多個Tesla V100 GPU的最新一代NVIDIA NVLink等技術使這一切成為了可能。」
Bellini和她的團隊使用了基於雲端的多GPU設備,她們將從構思到部署再到生產的開發周期時間減少了10倍。
她說道:「英偉達的顯卡提高了我們的工作速度,允許我們探索更多的選項,以及更有效地利用我們機器學習工程師的時間。這是一個驚人的發現。」
3. 動畫文件的應用
在處理完視頻後,RADiCAL將通過網站及其MOTiON應用程式提供與實際視頻片段並排呈現的實時3D預覽。用戶還可以下載適用於3D動畫,增強現實,虛擬實境,遊戲引擎和其他3D圖形程序,以及內容頻道格式的動畫文件。