小鵬P7發布會虛實直播,看光學動作捕捉技術

2020-12-26 騰訊網

怎麼玩

2020年,電商火爆,到了「萬物皆可賣,人人皆可播」的時代,其中真人直播界明星、名人、企業家等紛紛下場,如百度CEO李彥宏、初代網紅羅永浩、格力電器董事長董明珠在各自優勢領域開展直播,使得這個行業更為去中心化的同時,也將帶來整個行業更為激烈的競爭以及競爭格局的變化。

直播界中的另一為新人-虛擬偶像,知名二次元偶像洛天依與李佳琪合作、洛天依與5位虛擬歌姬直播帶貨、樂正綾、齊麟、靈狐姐、小鵬P7發布會上的虛擬偶像小P貫穿正常雲上虛擬發布會等,她們的加入使得電商行業更加充滿無限未知性。

圖示:小鵬汽車發布會主持人虛擬偶像小P

從2016年開始,虛擬偶像已經開始試水網絡直播,與觀眾們進行實時交流互動。但想要保證良好的直播效果,專業的動作捕捉設備、面部表情操作等系統是必備的技術支撐。

那我們就以小鵬汽車P7雲端虛擬發布會中二次元偶像小P來進行分析一下,怎麼讓虛擬直播實時互動、動作流暢、應答自如的呢?

1、光學動捕

1.1身體動作捕捉

在網絡直播中,主要用到的是慣性動捕和光學動捕,而二次元偶像小P運用的是上海青瞳視覺的光學動作捕捉系統,主要光學系統捕捉精度高,捕捉的靈活性高,擴展性強、兼容性高等特點,慣性動捕受限於精準度低,動作幅度不能過多過大,且存在動捕位移誤差,影響主持人與虛擬角色的交互。

其中小P所用的是上海青瞳視覺光學動作捕捉系統:

硬體有:主要包含光學動捕攝像頭,MC4000,是青瞳視覺2019年最新推出的相機攝像頭系列裡面最遠捕捉距離,極致的空間覆蓋能力,全面兼容等優點。當然硬體方面還有一些其他的配件,如雲臺,大力夾等配件。

軟體有:動作捕捉實時軟體/動作捕捉後處理軟體CMTracker,在直播中,優點明顯,具有智能修復功能;全身動捕數據可實時驅動Unity3D、UE4、Motion Builder 等軟體中的3D人物模型; 可以支持單人或雙人的在線/離線數據分析;等多方面優點。

1.2 手指動作捕捉

青瞳視覺研發的光學手指動作捕捉:在每隻手上做了3-5點的點位模板,應對不同級別的捕捉需要。只要是在光學動捕的有效捕捉區域內,手部活動不受限,而且更加精準。在匹配角色上,可以在軟體中導入模型、預覽模型的手指捕捉動畫等。

有一段視頻可供參考:

視頻+

1.3 面部捕捉,應用的是Apple face cap軟體,是通過iphoneX及以上版本的手機攝像頭捕捉,基本能滿足虛擬主播做直播的要求。

此次小鵬P7發布會中虛擬偶像小P,作為正常將近24小時超長長長的虛實直播主持人,是貫穿全場的靈魂人物,需要與嘉賓互動,需要有舞蹈動作等表演,這都是由一位表演者在後臺穿上動作捕捉服裝,帶上頭盔,進行實時互動所呈現出來的效果。當然還有配音具體效果請看一下視頻:

視頻連結:https://v.qq.com/x/page/v09736b54el.html

案例:華為虛擬偶像直播圖片

用光學動作捕捉系統來達到完美的真人與虛擬人物之間的連接,真人表演者的肢體動作,面部表情,手部動作等一一完美的還原展現在虛擬主播上。與真人主播相比,虛擬主播最大的特點就是人設不太容易崩塌,而虛擬偶像作為虛擬人物,是不會產生疲憊,也不會因高強度工作而累倒的,這在一定程度上保證了工作效率及頻率,也意味著能產生更大的商業價值。

4月21日虛擬歌手洛天依現身李佳琦直播間,結果在唱歌表演時完全沒聲音,令人尷尬的是李佳琦仍在一旁誇讚「好好聽」;5月1日「雲端動漫嘉年華」,虛擬偶像洛天依和樂正綾開啟直播帶貨,直播帶貨中偶爾的「翻車」情況不僅僅會出現在真人主播身上,虛擬偶像也會有卡殼事件發生。所以應該選擇有資質的解決方案提供商,提供專業的技術支持、團隊服務等,相信在技術的不斷成熟下,讓目前還處於發展期的虛擬偶像產業,持續產生商業價值的同時,放大虛擬偶像直播帶貨的優勢。

相關焦點

  • 動作捕捉技術
    用戶想要獲得完全的沉浸感,真正「進入」虛擬世界,動作捕捉系統是必須有的。在人體的關鍵部位設置追蹤器,由系統捕捉追蹤器位置,再經過計算機處理後得到空間坐標數據;數據被計算機識別後,可以應用在動畫製作、步態分析、生物力學、人體工程等領域。
  • 詳解動作捕捉技術的分類
    FOHEART·X動作捕捉系統1.2.1步態分析的技術分類目前主流的步態分析技術主要有以下幾種:基於計算機視覺的人體步態捕捉與分析、基於慣性傳感器的人體步態捕捉與分析基於計算機視覺的人體步態捕捉又分為基於紅外攝像頭、基於2D攝像頭、基於3D深度攝像頭等多種。上個世紀的技術路線還有基於機械式的步態捕捉。其他的技術路線還有基於電磁式的步態捕捉。1.2.1.1基於紅外攝像頭的光學步態捕捉紅外光學動作捕捉技術經歷數十年的持續發展,目前常用的紅外光學動作捕捉技術都是基於計算機視覺原理[4]。
  • ACC系統遭小鵬P7車主質疑,「十幾個雷達,幹嘛去了?」
    近日,微博一名「王大累贅」的青島網友吐槽小鵬P7稱,「開放acc不開放自動剎車?如果這是一個小孩子突然出現了呢?這還是在封閉路段,表現這個樣子。很驚人了。」 從該名網友發布的視頻看,當時他正在高速一擁堵路段最內側行駛,速度不超過20km/h。
  • NOKOV(度量)動作捕捉攜專業虛擬直播解決方案亮相世界VR產業大會
    NOKOV(度量)動作捕捉攜專業虛擬直播解決方案亮相世界VR產業大會 2020 年 10 月 18 至 20 日,NOKOV(度量)動作捕捉來到江西南昌,參展最新一屆世界VR
  • 瑞立視2020新品發布,見證全息3D和光學動作捕捉的高度融合
    見圳客戶端·深圳新聞網2020月11月15日訊(記者 潘寶儀 )11月13日下午,瑞立視在高交會現場結合展館內展位相呼應的方式,舉辦了「浮光幻影,盡在掌控」為主題的2020年新品線下發布會基於相同的系統框架核心,經過一年的技術攻關,團隊進一步豐富了「智能3D立體交互系統」產品線。新產品「RTS -3DHOLO」全息3D智能交互數字虛擬沙盤與「RTS-3DESK」可交互的桌面式全息3D顯示系統從不同的行業實際需求出發,將「視點追蹤全息3D顯示與智能人機互動」的應用場景拓展到更多領域。在不懈的努力下,「智能3D立體交互系統」真正成為一個可廣泛應用於各大行業的產品體系。
  • 7月火遍全網的小鵬P7,是如何製造一場話題風暴的?
    上半年線上"雲看車"熱度高漲,在成都車展期間,短視頻平臺也成為消費者觀展的入口之一。小鵬汽車通過車圈達人發起"我為小鵬p7打call"話題,以不同風格的短視頻奠定話題基調,在話題引起擊中用戶興趣點的同時,吸引用戶參與挑戰賽,最終也能帶出一批小鵬P7的潛在客戶。
  • 光學動作捕捉鏡頭—滿足各領域專業化需求
    光學動作捕捉鏡頭—滿足各領域專業化需求 得益於十位灰階深度+GrayScale圖像處理算法的雙優組合,Nokov光學動作捕捉系統可以進行亞毫米級的運動捕捉。
  • NOKOV(度量)動作捕捉參展中國高等教育博覽會
    高博會現場展示內容包括Unity雙人全身動捕實時動畫展示,VUP虛擬直播,手指精細化動作捕捉,以及四足機器人亞毫米級六自由度位姿定位。展會現場,NOKOV(度量)動作捕捉與Unity三維動畫軟體通過插件實現同步連接,由兩名工作人員身著動作捕捉服,在現場進行了精彩的雙人舞蹈表演展示,其舞蹈動作實時被NOKOV(度量)動作捕捉系統跟蹤記錄,並最終以同步動作、全新動畫形象展現在Unity動畫軟體界面中,吸引大波人群關注。
  • 小鵬P7車隊打卡邕城——極速禮盒巡遊南寧站開啟!
    2020年7月16日至10月4日,小鵬極速禮盒攜小鵬P7車隊開啟了一場與眾不同行的小鵬P7點亮地標、打卡巡遊之旅。此次活動以創新的極速禮盒形式,在廣州、深圳、東莞、惠州、佛山、江門、中山、廈門、泉州、福州、南昌、贛州、南寧、海口等14座城市進行地標車隊巡遊,與更多用戶近距離接觸。
  • 20問20答,關於小鵬P7,你最想知道的,讓產品經理給你答案
    p7 的19寸輪胎還是用的是米其林嗎?有傳言說要用瑪吉斯了?答:19寸輪胎目前沒有採用瑪吉斯的計劃,因為19寸輪胎主打運動和性能,米其林的輪胎對性能有保證。為什麼最高時速限制在170km/h?如果可以的話,小鵬這邊技術上會做對接的。前置攝像頭可否當作行車記錄儀?答:不可以,P7上應該不會去實現這個功能。這一點主要是因為,P7上的攝像頭主要是為了滿足自動泊車等需求,或者是捕捉道路情況用的,與行車記錄儀的攝像頭在參數和規格上有區別。
  • 不同原理動作捕捉類型與應用現狀
    什麼是動作捕捉動作捕捉?什麼是動作捕捉?字面意思可以直觀地理解為通過各種技術手段記錄被觀察對象(人或物,或是動物)的動作,並做有效的處理。可是從專業名詞來解釋,通過實時地準確測量、記錄物體在實際三維空間中的各類運動軌跡和姿態,並在虛擬三維空間中重構這個運動物體每個時刻運動的高新技術,是的,動作捕捉是一項技術。不同原理的動作捕捉設備既然是一項技術,那麼總是有各類不同方式實現這項技術的。
  • 別只看虛實結合,聊聊AR及其設計
    我在之前的分享裡,一直引用的是Ronald Azuma對於AR的定義:「一種以虛實結合、實時交互、三維註冊為特點,利用附加的圖片、文字信息對真實世界進行增強的技術。」這裡面最主要的是三個技術特性:虛實結合、實時交互、三維註冊。
  • 動作捕捉定位技術無人機——空中芭蕾
    相比動輒就上百上千架的室外大型無人機編隊表演,室內的無人機編隊雖然規模上遠不及前者,但是無論是技術上還是藝術造型上絲毫不遜色。除了常用QR-Marker視覺定位技術,OptiTrack定位技術所呈現出的表演無論是無人機編隊造型上還是燈光變幻上都極具舞臺張力,常常給我們帶來精彩絕倫的表演。
  • 三維動作捕捉運動測量技術與8大場景應用解決方案
    三維動作捕捉技術與應用一、簡介三維動作捕捉也叫做三維動作追蹤、三維運動追蹤,是一種用於準確測量運動物體在三維空間運動狀況的技術。動作捕捉系統主要應用於軍事、娛樂、體育、醫療領域,還可用於計算機視覺驗證和機器人技術。在電影製作和視頻遊戲開發中,該技術可記錄演員的動作,並將數字角色模型製作成2D或3D電腦動畫。
  • 小鵬P7的自動駕駛XPILOT 3.0,可能比我們想像中的更牛 【圖】
    4月27日,通過一場超長的線上直播,小鵬P7如期而至。其實對大家來說,這場發布會的關注點只有價格,畢竟P7的參數和配置,早已被各種爆料扒得精光。但看完整場發布會之後,我們卻發現了不少驚喜,價格是一方面,更多則來自XPILOT3.0。
  • 虛擬動點動作捕捉技術無處不在,為影視遊戲製作提供更多可能
    動捕技術聽起來似乎距離我們非常遙遠,但其實在我們的生活中動捕技術已經無處不在,尤其是在影視、遊戲製作環節,動捕技術為它們提供強有力的支撐,接下來我們就一起來看看虛擬動點動捕技術在製作環節的應用吧。在製作過程中,Infinity Ward公司使用了虛擬動點的OptiTrack光學動捕技術,Barry與扮演隊友的其他演員均穿著動捕服裝、頭戴動捕頭盔以及面部表情捕捉設備,且臉部關鍵肌肉被Marker標記。
  • 小鵬汽車P7續航裡程如此優秀 隱藏著哪些秘密武器?
    小鵬汽車P7的NEDC綜合續航裡程最高能達到706km,這裡的NEDC的中文名為「新標歐洲循環測試」,它是歐洲續航測試採用的標準,目前中國也在使用這個標準。NEDC的測試方法和大家平時用車有所不同,比如在關閉空調、大燈、音響等耗能配置的情況下進行測試,但是在實際用車過程中不可能不使用空調、音響等配置,且一定會消耗電量。
  • Cruise利用遊戲動作捕捉技術 教自動駕駛汽車讀懂人類的身體語言
    於是,Cruise找到了一種創造性的解決方案——人類手勢的動作捕捉技術。此種技術一般由遊戲開發人員用於創造角色,Cruise一直在僱傭遊戲開發人員模擬真實世界的細節,並捕捉數據以教會自動駕駛車輛理解手勢。
  • 小鵬P7上市在即 特斯拉Model 3迎來最強對手?
    小鵬P7將在4月27號正式上市,屆時網易汽車嚴選EV將對發布會進行>全程直播<早前,我們曾對準電動車主們做過一個小調查「一臺高品質電動汽車應具備哪些素質?」小鵬P7之所以續航能夠成功破「700」,主要原因是搭載了高能量密度電池、提升了電驅效率和優化車輛風阻係數。電池方面,小鵬P7後驅超長續航車型及四驅高性能車型採用了寧德時代提供的電芯,電芯額定能量80.87kWh,並應用了全鋁箱體、SMC複合材料等輕量化技術,最終電池包系統能量密度達到170Wh/kg。
  • 當迪士尼《曼達洛人》遇到虛擬動點OptiTrack動作捕捉技術
    首頁 > 傳媒 > 關鍵詞 > 迪士尼最新資訊 > 正文 當迪士尼《曼達洛人》遇到虛擬動點OptiTrack動作捕捉技術