只需一個2D攝像頭,RADiCAL利用AI實現低成本動捕

2021-01-13 Yivian虛擬實境

文章相關引用及參考:映維網

只需要一臺2D相機,甚至是一臺手機。

(映維網 2018年05月09日)如果動畫角色要感動我們,它們需要首先動起來。然而,賦予虛擬角色生命從來不是一件易事。動捕技術能夠記錄和數位化複製人體運動以創建3D動畫。我們不妨聯想一下安迪·瑟金斯在《指環王》系列中所扮演的咕嚕。

傳統動捕技術的問題是,其需要依靠大量昂貴和笨重的硬體。這同時需要經驗豐富的專業人員操作多攝像機設置,演播室環境,以及演員身穿特製的傳感器套裝。

「所有這些費用,技能和時間都令人對動捕技術望而卻步。」RADiCAL的聯合創始人兼CEO Gavan Gravesen如是說道。初創公司RADiCAL是一家位於紐約的NVIDIA Inception項目成員。Gravesen表示:「我們致力於提供全民易用性,無縫集成和快速完成,而所有這一切都是以低成本實現。」

他們基於AI的解決方案只需要遊戲開發商,3D圖形藝術家,電影製作人員和AR/VR愛好者提供一件物理硬體:一臺2D相機,甚至是一臺手機。不需要其他硬體,工作室環境或精密的傳感器設備,這大大降低了所涉及的成本和工作量。

1. 更簡單的動捕

世界任何用戶都可以通過智慧型手機或網絡直接將視頻上傳到RADiCAL的雲端中。該公司則利用人工智慧和運動科學處理視頻,檢測其中的內容,在3D空間中重現人類運動,甚至是重建相機所無法看到的內容。

RADiCAL的算法可以自動適應不同的人體比例和人體運動,然後創建一個可以在3D映射視頻主體運動的模型。儘管模型的流暢運動使得該過程看起來十分簡單,但底層卻非常複雜。

RADiCAL的聯合創始人兼CTO Anna-Chiara Bellini指出:」我們集成了深度學習,機器人技術,計算機視覺和生物力學,這需要強大的人工智慧開發環境。」

2. 利用TensorFlow處理

Bellini表示,RADiCAL面臨的第一個挑戰就是需要處理的大量數據。對於他們的算法,單張靜止圖像可能需要分析多達6GB的數據。但對於每一秒的動作,期間包含120幀內容,從而帶來了驚人的720GB數據。

Bellini及其團隊選擇了TensorFlow,將GPU編程集成到他們的研究過程中,從而為整個管道提供一個「單一執行模型」。她解釋說:「通過使用CUDA編寫的ad-hoc內核來補充TensorFlow,一個只需數小時編寫的簡單內核可以為我們節約數天的模擬時間。」

為了支持其運動模型,RADiCAL在多GPU系統上以交錯方式處理多個幀。Bellini指出:「支持多個Tesla V100 GPU的最新一代NVIDIA NVLink等技術使這一切成為了可能。」

Bellini和她的團隊使用了基於雲端的多GPU設備,她們將從構思到部署再到生產的開發周期時間減少了10倍。

她說道:「英偉達的顯卡提高了我們的工作速度,允許我們探索更多的選項,以及更有效地利用我們機器學習工程師的時間。這是一個驚人的發現。」

3. 動畫文件的應用

在處理完視頻後,RADiCAL將通過網站及其MOTiON應用程式提供與實際視頻片段並排呈現的實時3D預覽。用戶還可以下載適用於3D動畫,增強現實,虛擬實境,遊戲引擎和其他3D圖形程序,以及內容頻道格式的動畫文件。

相關焦點

  • 為什麼總說VR定位動捕技術難,它究竟難在哪裡?
    實際上,追星儀和陀螺儀實現的類似於VR中的光學定位及姿態捕捉。一直以來,大家都在說VR定位動捕技術難,那到底難在哪裡呢?作者系VR行業從業者,本文將會探討下這個問題。接下來筆者就來談談VR定位動捕技術的難點。(1)人體運動複雜性由於在現實世界裡面,「場景」是相對靜止的,我們之所以看到眼前的東西在動,是因為我們頭部、眼部、身體等在移動,使得眼前的「場景」形成了一個動畫。
  • 遊戲的下一個突破點,很可能是AI
    依靠AIxFace面部動捕技術,女孩的眼神、唇動、眉毛、甚至法令紋等變化都細緻入微,在交談和說話時,她發出的每一個字也能精準匹配口型。  而網易互娛AI Lab開發的這種輕量級面部動捕系統,與傳統面部動捕技術的最大區別在於,不需要複雜專業的動作捕捉場地和設備,也不需要設置任何面部標記點,只需要一個單目攝像頭,就可以實時將演員的面部表情遷移到可以臉上,並實現舌頭、視線、口型等表情細節變化的精準跟蹤。  表情的豐富、自然和準確程度,自然是數字人在互動真實感上的直接體現。
  • 世優科技:央視合作虛擬動畫製作公司 動捕技術如何搭上VR風口
    據了解,他們有自己的UCM-2Pro動捕服、UCG-2 Pro動捕手套、UCF-2 Pro動捕頭盔,能捕捉人的表情、肢體動作、手指動作。除了能夠實現對人體全身的動作捕捉外,還能實現對客觀世界的全部運動捕捉,如風的吹動、水的流動。紀智輝對世優科技的UCG-2 Pro動捕手套的技術很有信心,稱有國際廠商來公司體驗時讚不絕口,並且正在洽談進一步的合作。
  • 投影機+攝像頭 在家DIY一臺簡裝3D掃描儀
    、一臺富可視LP330投影機和一個相機裝置。之所以選擇結構光技術,原因在於它具有更強的適用性,可實現任何形式的光圖案。此外,所接收的傳感器可以是自定義的設備,還可以是標準的數字靜態照相機或網絡攝像頭,當然必須以支持高品質的彩色捕獲為前提,並儘可能具有高解析度。
  • Roadstar.ai 自動駕駛樣車上路,深度融合技術路線能否超越Waymo?
    在約3個月後,Roadstar.ai的原型車初步成型。上文就是我們近日體驗了原型車後的感受(路測視頻),新智駕也是除公司員工外首批體驗原型車的外部人士,並在試乘後與三位聯合創始人聊了聊背後的技術細節。走上「正確的道路」實現自動駕駛有多種技術路徑,比如以攝像頭為主的方案(特斯拉、AutoX),和以64線雷射雷達為主的方案(Waymo、百度)。
  • HTML5調用攝像頭並拍照
    利用html5特性,調用攝像頭,並利用canvas拍照先簡單的添加需要的控制項<video id="video" autoplay=""style='width:640px;height:480px'></video><button id='picture
  • Tend.ai 可培訓機器人,幫你同時操作多個3D印表機和雷射切割機
    Tend.ai 就是一個可以滿足您這種需求的新公司,它能夠幫助用戶訓練協作性機器人操作機械,而這種機械操作本來是需要重工業服務機器人來完成的。Tend.ai 的聯合創始人兼 CEO Mark Silliman 在一次採訪中說道:「有一次,我看到我的一個朋友有 20 臺 3D 印表機,為了讓這些機器保持運轉,他妻子必須每隔三分鐘就跑到機器那裡進行一些相關操作,於是我有了這個想法。
  • 家中有寶寶可以裝一個遠程保護攝像頭-華為海雀AI全景攝像頭
    外觀設計篇華為智選AI智能攝像頭整體設計為圓柱體型,白色色調,在上端安裝一個黑球,看上去就像人的眼睛,頂端裝兩個藍色小角,就像貓耳朵一樣,靈動多趣,增添生活小情趣。這個黑球就是華為智選AI攝像頭核心所在,這裡內置一顆具備HD1080P圖像傳感器的全高清光學廣角鏡頭,採用海思3516E專業圖像處理晶片,搭配高清Sensor,畫面顯色豐富飽滿,畫質清晰,可記錄監控區域內細節變化。在鏡頭上方還布置有一個紅外傳感器,這個傳感器具有檢測等多項作用。
  • 亞馬遜五大 AI 工具面世,欲成為製造業與工廠現代化推手
    京東數科新媒體編譯自enterpriseai.news.com,轉載請註明來源。藉助五款專注於工業應用的 AI 工具,亞馬遜雲計算服務(以下簡稱為 AWS)正在努力擴大工業 AI 的使用範圍。這些工具可以 7x24 小時不間斷地守護製造工廠,在檢測生產線和其他系統問題的同時,還可以預測所需的維護任務。
  • 只需1 分鐘,這個網站用 AI 分離歌曲的人聲、伴奏和樂器聲
    糰子DanGo.ai(https://dango.ai/)——微博網友@無吔學生近期利用AI技術做的這個能分離音頻軌道的網站火了。在音樂分離這一領域,實際上已經有一些免費的AI工具。比如,由法國音樂流媒體服務公司Deezer為研究目的而開發的Spleeter開源工具,只需要提供一個音頻文件,然後Spleeter就會將它分成兩個、四個或五個獨立的音軌,非常有用。
  • 實現碳中和目標?專家:急需構建捕集技術新體系
    「如果不用CCUS,要實現全球氣候目標可能需要關閉所有化石燃料發電廠。」   「CCUS可捕集發電和工業過程中使用化石能源所產生的多達90%的CO2,防止其進入大氣,而當前尚無其它成熟技術可達到如此高的脫碳水平。」張九天告訴《中國科學報》。
  • 虛擬動點:從《大力水手》到《猩球崛起》,見證動捕技術飛速發展
    1994年,電影《指環王》的拍攝則第一次將動捕拍攝步驟帶到了拍攝現場,動捕演員先驅Andy Serkis在場地中可以作為「咕嚕」這一角色和其他演員進行互動,這樣的互動更加有利於角色的塑造,因為只有當演員在表演過程中獲得了其他演員的情緒和語言反饋,自身情緒才能更酣暢地被釋放,角色才能更加有血有肉、活靈活現。
  • 斯坦福用普通相機和雷射筆實現「穿牆透視」,連你的證件都能看清
    【新智元導讀】能穿牆透視的「非視距成像」技術前幾年就已火過一回了,最近斯坦福、普林斯頓的研究人員只用普通相機和雷射光源再次實現了「隔牆觀物,影中窺人」,以後說不定能自己組裝一個玩玩!戳右邊連結上 新智元小程序了解更多!
  • Noitom:"中國創造"的動捕技術
    圖:tureMotion是一款國內自主研發的動作捕捉產品trueMotion是基於微型傳感器組的動作姿態捕捉系統,該系統可輸出優質而精準的動捕數據。圖:trueMotion的軟體操作界面trueMotion支持標準23段骨骼人體模型,首版軟體發布僅允許一次加載一個骨骼模型。未來將開放動畫模型骨骼節數限制,並適時增加多模型並存功能。
  • 作為VR的利器,慣性動捕還存在什麼問題?
    本文將對慣性動捕的工作原理、優勢,及其存在的缺點進行解析,希望能與業內人士共同探討。經過處理後的動捕數據,可以應用在動畫製作,步態分析,生物力學,人機工程等領域。只有解決了這一個問題,才能使慣性式動作捕捉系統在VR行業充分發揮作用。
  • 家庭新成員華為海雀AI全景攝像頭開箱
    家裡孩子小時侯有一個攝像頭,主要的用途就是上班出差時也可以遠程的看看寶寶,當時也沒有其它要求,效果也一般,一直想換一個,又可以看孩子,又可以當一個家中的監控使用,後來各種的安全原因一直沒買,經過各廠商的努力安全有了改變,最近綜合對比了一下,入手了華為海雀AI全景攝像頭,今天交個開箱作業。
  • 隨時喝止狗狗拆家:華為海雀AI全景攝像頭測評
    我們直接來看主角吧,攝像頭是一個小圓柱,再裝上附帶的一個小掛飾後,更顯可愛,與寵物家庭非常搭。而且整體看出是設計是簡潔化的,只看到有一個按鈕,而這個按鈕是用於重置用的,就是說如果網絡環境變化了,就要長按一下這個按鈕以調整。
  • 「攝像頭雲臺齒輪箱」實現智慧城市眼睛
    解決方案:安裝不同的攝像機及防護罩,雲臺的承重應是不同的,高速球型雲臺攝像機球機內部空間有限,為了實現攝像頭雲臺小體積大力矩傳動的需求,我們通過齒輪箱設計平臺對攝像頭雲臺齒輪箱裡的齒輪結構進行變位係數合理的分配、嚙合角優化計算、滑移率和重合度的校核以改善雲臺電機齒輪箱的效率、噪音、壽命以及精確度等問題。
  • 攝像頭齒輪箱為智慧物流保駕護航
    兆威在以下方面幫助這些公司實現了他們的目標:安全、警報傳感器和攝像頭齒輪箱解決方案結合物聯網來幫助監測盜竊和保護貨物。您只需一個應用程式就可以鎖門、接收異常活動的警報,並從遠程位置訪問監控攝像頭。所有這些數據可以被組合和分析,以便改善不足。智能化、科技化已成為物流快遞業的未來發展趨勢。眾所周知,攝像頭一般都是很小。
  • 保護野生動資源 宜章縣森林公安局收繳一批捕蛇網
    保護野生動資源 宜章縣森林公安局收繳一批捕蛇網 來源:紅網 作者:鄧屬東 編輯:曾小穎 實習生 鄧揚超 2015-03-24 17:02:32