原標題:華為雲XR雲服務,究竟依賴哪些核心能力呢?
說起鋼鐵俠,讓人想起漫威迷們總結的「漫威宇宙規律」——「土豪靠裝備,窮人靠變異」,盤點鋼鐵俠斯塔克的裝備:從「48 套鋼鐵戰衣」,到鐵打的AI助手「賈維斯」,「星期五」——懂技術懂裝備懂老闆,還有他研發裝備時在空中隨心勾勒,將設計原型旋轉、修改、定稿、拋入製造系統的一系列騷操作,一頓玩兒就把活兒幹了錢掙了,這無一不是大多數理工男的終極夢想。
這個終極夢想,真的就那麼遙不可及嗎?
我們今天就來聊聊,土豪背後的技術——XR(VR,AR,MR)技術,看完後,你就知道,未來已被拉近。
簡單科普一下什麼是XR,XR 就是VR、AR、MR 的統稱。虛擬實境(Virtual Reality)、增強現實(Augmented Reality)和混合現實(Mixed Reality),正在給我們的生活方式帶來一系列的變化。不遠的未來,你還可以坐在虛擬的會議室跟你虛擬的小夥伴們開一場雲上會議,在虛擬的智慧教室上一堂多人互動課程、做一場模擬實驗,甚至進入虛擬世界進行真實的設計、製造,虛擬和真實之間,邊界不再那麼明顯。這一切,都得益於XR(VR,AR,MR)技術的應用。
XR技術,究竟依賴哪些核心能力呢?華為雲最新發布的XR雲服務,給了我們答案。它提供了五大核心技術和能力,打開未來新視界。
1、 大規模3D地圖構建能力
3D地圖是數字孿生世界的基礎。傳統製作3D地圖的成本,是非常高昂的。圖商需要採購價格高昂的測繪車隊,常年僱傭規模在千人左右的採集團隊,並組織人力對採集來的數據進行標註、補缺。隨著AI算法、傳感器的發展,技術上已能實現自動化程度更高的製圖流程。
華為雲XR提供手機拍攝視頻的眾包建圖方案,只要是通過手機拍攝慢速轉動的視頻,或者有重疊區域的圖片,覆蓋建圖的區域,傳至雲端即可通過算法還原出3D模型。如果將3D模型中的3個點與數字世界的坐標對齊即可將局部的3D模型補充到數字世界中,大大降低了製圖成本。
華為雲同時支持衛星製圖,具備大面積快速覆蓋能力,配合地圖自動生成流水線,大規模構建3D地圖。
2、 釐米級全場景適應的空間計算
高精度定位技術大體上可以分為三類:基於信號的定位、基於航跡推算的定位、基於環境特徵匹配的定位。
基於信號的定位:普通的多星(GPS、北鬥、伽利略)定位精度大約能做到1-2米。新的RTK(Real - time kinematic,實時動態)載波相位差分技術,是能夠在野外實時得到釐米級定位精度的測量方法。
但它同時存在一些問題,比如基站布設成本高,易受電磁環境幹擾、易受環境遮擋、信號多徑效應、4G/5G/WIFI網絡環境差的影響等等,從而影響定位精度和定位系統的可用性。
基於航跡推算的定位:IMU是常用的航跡推算系統,優勢在於沒有外部依賴,可以提供短時高精度的定位結果,缺點在於在連續的位置和方向的測量中誤差會不斷累積,導致位置和姿態的測量結果偏離實際位置,因而無法做長時間的高精度定位。
基於環境特徵匹配的定位技術:華為雲XR能力平臺提供根據視覺的定位技術,通過定期上傳照片,在雲端進行特徵點提取、匹配,能夠做到釐米級定位與一度以內定姿(6DOF)。針對光照條件差,弱紋理的夜晚和室內場景,通過AI方式進行增強,實現夜晚也能找到圖像匹配點,室內也能定位的全場景適應的空間定位算法。基於VPS和SLAM的緊耦合算法架構,可逐步實現長時間的室內外導航。
3、 提升效果同時提升數倍效率的AI渲染算法
3D渲染管線也稱為渲染流水線,可以將其理解為一個流程,就是我們準備一些數據,讓GPU對這些數據做一些處理,最後得出一張二維圖像,渲染流程主要分為幾個大的階段:數據準備階段,頂點處理階段,光柵操作階段,像素著色階段。當前渲染優化有兩個方向,一個是渲染畫質好,一個是遊戲實時性高。華為通過對渲染管線中算法的深入研究和調試,並通過端雲結合的AI算法,對渲染管線進行拆分,達到畫質和實時性的均衡,實現數倍效率,畫質相對於傳統渲染方式有大幅的提升。
4、十萬髮絲級數字人渲染
凱文·凱利:
不久的將來,現實世界中的每一個地方和事物 —— 每一條街道、每一個燈柱、每一棟建築物和每一個房間 —— 都會在鏡像世界中擁有它的全尺寸「數字孿生兄弟」。
華為在數字人的生成、建模、渲染階段均有所涉獵,如全自動化90%相似度高精細人體模型生成。傳統的建模通過離線工具製作,費時費力,華為考慮改造建模過程,實現快速複製、自動化生成、快速建模。
渲染過程的開發,主要是從皮膚、牙齒、眼睛、毛髮等等方面入手。數字人的表情肢體動作自然驅動和表達,唇音同步延時<100ms,使用者時延無感知 。皮膚是半透的,比較薄的地方有散射的效果,光散射過來會產生折射,加入後會多一些細節;眼睛是晶狀體,有透射效果;頭髮有很多層,每層有不同效果。華為實時高真實度數字人繪製,實現逼真的髮絲、皮膚、眼睛渲染呈現,10萬級髮絲,fps>30幀,整體主觀打分8分以上。
5、360度VR視頻TWS FOV技術(Tile-Wise-Streaming Field of View)
360度VR視頻領域,華為提出了TWS FOV傳輸技術,可以解決4K硬體解碼能力終端,基於4K碼率觀看8K片源的問題。通過TWS映射方式,從像素點上就可以相對ERP映射,直降40%碼率。通過增加低資源消耗的背景流,解決黑邊問題,加入單幀切換技術,提升轉頭高清體驗。
XR技術的研究和應用,未來將有無限可能。虛擬和真實將相輔相成,實現真實世界與虛擬世界之間的無界溝通和協作。在不久的將來,人人都可像鋼鐵俠一樣,通過XR技術釋放無窮的創造力和想像力,突破極限,共築未來。
(文章來源:OFweek)
(責任編輯:DF052)