瑞立視智能3D交互系統——視點追蹤全息3D和人機互動極致融合

2020年11月，深圳市瑞立視多媒體科技有限公司（Realis，以下簡稱瑞立視）舉辦了2020新品發布會，展現了能夠實現人機智能交互的全息3D智能立體交互系統。發布會的主角是基於瑞立視核心的光學空間定位技術研發的最新產品：RTS-3DHOLO全息3D智能交互數字虛擬沙盤、RTS-3DESK全息3D桌面交互系統以及RTS-DINO雙目紅外光學定位相機。而發布會的重頭戲則是RTS-3DHOLO全息3D智能交互數字虛擬沙盤。

瑞立視全息3D智能交互數字虛擬沙盤：讓虛擬世界更真實

RTS-3DHOLO全息3D智能交互數字虛擬沙盤是一款結合三維仿真、光學空間定位、視點追蹤全息3D顯示、人機互動的一體化產品，能夠將數字虛擬內容進行三維立體化展現的一套可交互的全息3D虛擬沙盤系統。

換句話說，該產品以「全息3D」貫穿產品的視覺概念，通過光學定位動作捕捉等一系列交互系統構成了一個完整的信息處理平臺，該產品改變了人們對於顯示屏單調、平面的認知以及使用方式，實現了從2D到3D、定點到360度環繞、靜止到實時動態交互的顯示屏應用改革，提高人機互動的沉浸感。

融合全息、3D、交互新型人機智能交互產品形態

當講到高沉浸感的人機互動體驗，也許第一反應是戴上VR頭顯或AR眼鏡，與虛擬環境互動以獲得身臨其境般的體驗。而全息3D顯示技術作為增強現實（AR）的其中一種呈現形式，在行業應用中也有不少的成果。其中較為廣為人知的全息投影方案有早期的初音未來演唱會，或者鄧麗君「復活」與周杰倫合唱等。

基於3D全息技術建立的三維圖像，消弭了人與計算機畫面的距離，使數字圖像到達了「讓畫面走出來」的階段。而全息技術的商業落地，繼續發展出了不同的產品形態，比如應用在裸眼3D大屏，進行產品展示、舞臺效果設計等。

成都太古裡裸眼3D大屏

但無論是全息影像，還是裸眼3D應用，觀眾都只是停留在「觀看」層面，要實現更深度的沉浸感，還需要加入交互元素，目前市面上缺少能夠很好地整合全息技術、3D視覺技術、人機智能交互及XR技術的產品，但其對應的圖形仿真和立體化、沉浸交互體驗正是用戶的關鍵需求。基於這一點，RTS-3DHOLO全息3D智能交互數字虛擬沙盤應運而生。

這套交互系統不同於主打封閉式沉浸體驗的VR頭顯，十分適用於B端企業協同作業場景，對此類需求較高的企業來說該解決方案具有開放式沉浸的使用特性。其應用領域包括地產展示、展覽展陳、智慧城市、文創博覽、軍事仿真、教育教學、醫學培訓和工業仿真等等。

內容層面，傳統3D項目開發落地相較VR內容成熟度、普及度更高，其可供參考案例及覆蓋受眾較廣，具備較強的變現能力。對於政企客戶來說，這種介於傳統與黑科技之間的沉浸式展示模式更易於被接受和推廣，教育場景下也更符合實操、分享式學習理念。

瑞立視正在積極推動其「全息3D智能立體交互系統」成為一個可廣泛應用於各大行業的產品體系。這意味著，在房地產、軍事、工業製造、智慧城市、文創產品、教育、醫學等領域，人們可以更方便地獲取知識、理解更複雜的工程，從而提升信息交流的效率和質量。

全方位構建完整的產品體驗與內容生產生態

RTS-3DHOLO採用計算機3D仿真技術結合基於光學空間定位的視點追蹤全息3D顯示技術，將3D場景立體化展現。人與虛擬沙盤之間的交互，通過瑞立視核心的光學空間定位、人機互動技術，捕捉到操控手柄空間數據，手柄發出指令對全息3D內容實時操控，將3D顯示載體以水平觀看的方式呈現。

構建可交互的全息3D虛擬沙盤系統，其難點在於基於計算機視覺原理，實現由多個高速相機從不同角度對目標特徵點的監視和跟蹤，同時結合帶有Marker標記點的眼鏡及手柄對應的算法來完成對頭部及體驗者相對位置的捕捉。

通過標記點式光學動捕算法，將光學空間定位、視點追蹤全息3D顯示、數字虛擬場景智能交互和雙視角全方位立體操控等技術融於一身，這正是RTS-3DHOLO全息3D智能交互數字虛擬沙盤能夠呈現出逼真全息3D人機互動效果的核心所在。

瑞立視在高交會的展示現場

當陀螺君戴上帶有定位標記點的3D眼鏡，眼前平面的LED屏幕就出現了立體的3D內容。透過眼鏡的3D立體成像，可以看到3D內容是立在屏幕的物理平面上的。

帶上3D眼鏡後的效果圖例

實際體驗時，戴上定製的3D眼鏡，體驗者能夠與全息3D立體成像進行360度實時互動。體驗者不僅可以從不同角度觀看立體成像，還可以靠近以觀察細節。除此之外，體驗者可以使用手柄拖動眼前的場景，以獲得更豐富的場景信息。通過全息3D顯示的數字場景內容躍然屏上，栩栩如生，仿佛就在眼前的檯面上靈活跳動！當你伸手想去觸碰，卻又觸不可及……

內容生產上，據介紹，面向B端，瑞立視表示將會根據客戶具體需求，提供定製化內容。同時，瑞立視表示已有成熟的開發者系統，以方便客戶進行個性化內容生產。

RTS-3DESK全息3D桌面交互系統：讓真實更近

除了RTS-3DHOLO全息3D智能交互數字虛擬沙盤，瑞立視也研發生產了全息3D桌面交互系統RTS-3DESK，類似於zSpace一體機。

zSpace VR-AR筆記本電腦

RTS-3DESK全息3D桌面交互系統

與同類3D桌面交互系統對比，RTS-3DESK全息3D桌面交互系統帶給體驗者最直觀的變化在於設備形態更加輕薄，更加接近於一臺普通的電腦顯示器。

該系統採用計算機3D仿真技術結合基於雙目紅外光學定位相機系統的視點追蹤全息3D顯示技術，將3D場景立體化展現，同時利用瑞立視核心的光學空間定位、人機互動技術，捕捉到交互筆空間數據，交互筆發出指令對全息3D場景內容實施操控，將3D顯示載體用桌面式3D顯示設備呈現，從而構建出一套可交互的全息3D桌面顯示系統。

與傳統3D桌面交互系統最大區別在於，RTS-3DESK全息3D桌面交互系統搭載了瑞立視研發的RTS-DINO雙目紅外光學定位相機，這是一款可攜式高精度光學定位跟蹤雙目相機，使用RTS-DINO配合RTS-tracker算法軟體，可以實現對目標物體上標記點剛體的6DOF捕捉與定位跟蹤，實時輸出其3D坐標與方位角，從而構建出一套安裝簡便的3D定位捕捉跟蹤系統。RTS-DINO通過USB接口直接和電腦連接進行傳輸，緊湊便攜、即插即用、擴展性強。

如果說RTS-3DESK全息3D桌面交互系統是一款適用於各類協同作業場景下的產品，那麼RTS-3DHOLO全息3D智能交互數字虛擬沙盤則將這一理念再度放大，並且延伸出了更多的新穎玩法。首先，無論是展覽、地產展示還是教育教學這些場景，其涉及的協作人群很多時候不是一兩個人而是一群人，全息虛擬沙盤正好滿足了更多人同時協同作業的需求。

其次，我們設想一下，如果是一所學校或者一個展覽館的某展區。或許學校大手筆點可以揮揮衣袖為師生人手配備一套桌面級3D交互產品以供教學使用，那換做是展館這樣的流量群體場景要如何實現呢？顯然，RTS-3DHOLO全息3D智能交互數字虛擬沙盤一方面滿足了公共場所下的展示、體驗需求，對於很多細分使用場景或者個體企業來說，也提供了更省成本的方案選項。

AR社交+虛擬沙盤，這種看似奇奇怪怪的組合形式，其實進一步將協同作業的定義擴展到了旁觀者在內的更廣闊人群，團隊協同作業同時為監管者、客戶開啟了一雙上帝之眼，可以直觀參與項目進程，3D全息的可視化呈現令其無需面對各類數據、圖紙時束手無策。

結語

電影《鋼鐵俠》中，斯塔克隨意地對空中的3D全息投影進行操作，能夠把遠處的人或物以3D全息投影的形式呈現在空氣之中，實現真正的裸眼3D，視覺效果非常酷炫。斯塔克的全息系統成為了人們對AR未來生態的終極想像。

而瑞立視的全息3D智能交互數字虛擬沙盤使科幻電影的想像更接近現實。從實際體驗來看，RTS-3DHOLO全息3D智能交互數字虛擬沙盤完美融合了視點追蹤全息3D顯示和智能人機互動的優勢，在虛擬仿真實訓、醫學教育、工業仿真等眾多應用場景下突出3D全息及人機互動的實用之處，有望獲得業界青睞。較之傳統的模擬實訓課程，集成了強大且便捷的數字內容快速開發工具包的RTS-3DHOLO全息3D智能交互數字虛擬沙盤不僅可以節省各種設施成本，也有助於師生在課程內容設計上發揮更多的創意。

瑞立視CEO許秋子曾在一次採訪中，對人機智能交互形態表達了展望：「在一個空間內採集人的動作，只要有攝像頭就可以採集分析信息，而人無需穿戴設備。」RTS-3DHOLO全息3D智能交互數字虛擬沙盤進一步滿足了人們對人機智能交互的想像。伴隨著5G時代的來臨，全息3D應用將會有更多可能：辦公場景的全息視頻會議，電子競技的全息遊戲交互，教育場景裡的全息教學課堂，設計場景裡的全息建模，家庭場景的智能家居物聯終端等等，都將讓我們離未來世界更進一步。