在 12 月咪咕舉辦的音樂盛典上,一張屏幕從天而降,「虛擬」 潘瑋柏出現在了舞臺上,其形象與真人無異。這背後用到的是幹涉原理記錄並再現物體真實的三維圖像的技術,也就是全息投影。這次演出背後的技術提供方是來自上海科技大學孵化的計算機視覺領域的 「準獨角獸」——疊境數字。
「5G 時代,我認為內容生產方式,用戶消費內容的方式都將會發生改變。」 疊境數字的業務發展副總裁李欣跟我們說道,而疊境數字擁有領先的光場採集及成像技術,該技術在 5G 大流量時代擁有廣泛的應用場景。疊境數字以智能計算機視覺技術、光場技術、機器學習技術為核心,自主研發了人/物/環境三維重建技術、獨特的動態真人三維拍攝技術、實時全息技術等。
李欣介紹,疊境數字幾年的探索和市場驗證,確立了幾個核心產品線:虛擬數字人、5G 自由視點和全息投影等。首先虛擬數字人,是指用 Volumetric Video(容積視頻)的技術來製作完全一比一還原的人,具體來講,它是由上百臺專業相機組成的光場影棚,通過機器學習和深度學習算法進行重構,形成高逼真、高還原、高精度的三維模型,這些三維的內容可以通過 AR/MR/VR 等形式進行觀看和互動應用。
「可以想像一下,現在在你面前的,可能並不是真正的我,而是一個數位化的我,因為這個數位化的我可以栩栩如生的還原我的一舉一動、所有神態,你可能根本分辨不出來眼前的我究竟是真是假。」 李欣說道,值得一提的是,疊境目前建造出孿生數字人的時間遠比想像的要快,這讓原本耗費大量人力和時間成本的建模過程變得簡易快捷,同時降低了內容製作成本。
另外,虛擬數字人有一個不得不提的分支,那就是就是虛擬偶像。洛天依、初音未來等虛擬歌姬很多人並不陌生,這其中蘊含著巨大的商機。李欣介紹,疊境具備虛擬偶像領域兩項不可或缺的核心能力:快速建模能力和流暢的動作捕捉能力。目前經過資源整合,疊境已經擁有了從角色策劃包裝到內容製作、線上運營和線下活動落地的全案能力,可以從零幫助品牌方打造虛擬偶像。此外,光場三維重建還可以在文物重建、旅遊觀展等有很大的想像力。疊境與上海博物館在文物數位化、虛擬展廳等方面有諸多合作,可以讓參觀者從官網上感受 「動態」 的文物展示。
疊境第二大類產品是自由視點,它是一套多相機環繞式拍攝系統,可以快速製作並生成子彈時間特效,讓導播將堪比大片的視覺特效放在電視節目,這類產品已經在電視綜藝、體育賽事等專業級的賽道上有了成熟的應用。李欣舉例說,比如看一場籃球比賽,在過去只能看到有限幾個導播選擇好的固定機位內容,現在可以在現場部署上百個機位,用戶在看比賽的時候,在客戶端可以通過滑動手機屏幕,選擇任意視角,還可以放大縮小、360 度旋轉觀看。「在未來,內容生產方式很有可能出現新的分支,不再是導播決定我們來看什麼內容,而是由用戶自由決定觀看內容。」 李欣介紹,疊境合作了 2019 天貓杯國際網球公開邀請賽,從 2020 年 Q3 開始,疊境又陸續合作了騰訊的《超新星運動會 3》、《舞者》等,為觀眾提供自由視點內容。
最後一個核心產品便是剛剛提到的全息投影。今年外灘大會上,馬雲通過全息投影出現在現場,發表演講,又帶來了一股全息投影 「跟風」 熱潮。疊境也在今年負責了世界 VR 產業大會的全息演講和 12 月剛剛做完的咪咕匯音樂盛典全息板塊。除此之外,疊境在教育領域也開始應用全息技術,今年在三亞、上海落地了全息課堂,讓偏遠地區的孩子也能通過全息,實時的享受到名師資源。
每一次技術和產業上的變革,都會帶來經濟和社會生活的發展和重構,而技術的發展真的是充滿想像空間的。李欣跟我們分享了他想像中的未來世界:「想像未來某一天清晨,真實的你在家中喝著咖啡,通過數字孿生和全息技術,你的虛擬影像已經出現在了異國會議室開會。午休時間,辦公室中的你也能穿越到一場虛擬的比賽或演唱會現場,而且不用糾結票面位置,可以通過自由視角隨意選擇想看的角度,甚至可以站到臺上和明星實時互動。沒有時間去旅行?我們可以足不出戶就在虛擬世界中任意暢遊,完成環遊世界的心願。」
據了解,疊境是 2016 年成立的,到現在四年時間團隊八十人左右,在中國上海、美國加州都有辦公地點,70% 以上都是研發人員,在疊境團隊,博士佔比達到了 35%。疊境的創始團隊均為人工智慧、計算機視覺領域的頂級專家,來自麻省理工、中科院、上科大等知名高校,擁有該領域幾十年的研究積累和上百項專利。
截至目前,疊境已經獲得來自金沙江創投、上海聯和、賽富基金、IDG 資本、阿里巴巴等四輪融資,最近一次是 2019 年 8 月喬貝資本領投的 A+輪。