VR/AR產業發展介紹匯總篇

雖然虛擬實境（virtual reality，VR）和增強現實（augmented reality，AR）技術充滿了未來感，但是它們並不是新鮮事物。20世紀90年代，VR技術曾伴隨著三維顯示技術的爆發而紅火一時，並被諸多領域所關注。1995年，日本任天堂公司發布了著名的革命性VR遊戲產品「虛擬男孩」（VirtualBoy），瞬間成為當年最受關注的科技產品之一。然而，由於圖像質量不理想、產品售價昂貴、時間延遲較大和生態內容不夠豐富等問題，早期的VR產品均未取得顯著的成績，第一次VR浪潮也隨之轉入低谷。進入21世紀後，計算機軟硬體技術均得到了長足的發展，計算機性能已經足以支持圖形質量更高、時間延遲更小的VR/AR產品。2008年蘋果公司的iPhone發布後，智慧型手機產業得到了空前的發展。智慧型手機產業的發展促使顯示器件和傳感器價格下降、尺寸縮小和性能提高，為VR/AR產品的普及奠定了堅實的技術基礎。

2012年4月，谷歌公司聯合創始人Brin佩戴谷歌眼鏡空降發布會，宣告了谷歌眼鏡的正式亮相。作為2012年最具關注度的科技產品之一，谷歌眼鏡成功開啟了新一輪的VR熱潮。隨後，其他科技巨頭也迅速跟進，積極投身於VR技術的研發，並在此基礎上將AR和混合現實（mixed reality，MR）等技術也帶入了快速發展的軌道。隨著VR/AR技術的快速發展，VR/AR產品的使用場景已擴展到許多領域，如視頻、遊戲、工程、軍事、教育、醫療、房產和零售等。許多企業搭上了VR/AR發展的東風，在品牌效應和資本投資等方面都獲得了巨大的成功。

由於VR/AR廣泛的應用場景和巨大的市場價值，因此得到了來自消費者和產業界共同的關注，並被認為是最有可能成為繼個人電腦和智慧型手機後的「下一代計算平臺」。為緊跟時代發展，在「下一代平臺」到來之前站穩腳跟，各行業的領袖企業都積極行動，以求在VR/AR產業中佔有一席之地。

總體上，目前VR/AR產業布局可以分為硬體和內容兩大部分。其中，硬體部分可分為感知、處理、反饋和整機集成4大板塊，內容部分則涵蓋了視頻、遊戲、直播等諸多方面。圖1展示了如今VR/AR的產業布局情況及各主要領域內的代表性企業。在硬體領域，美國、韓國和中國臺灣處於領跑地位；在內容領域，美國、日本和中國大陸則稍稍領先。

 

圖1  國際企業在VR/AR行業的產業布局

虛擬實境與增強現實產業發展預測

目前，VR/AR產業布局雖然已經較為完善，但是無論從技術上還是市場上，對比個人電腦和智慧型手機產業，VR/AR產業僅停留在初級發展階段。「初級」主要體現在硬體成本高、產品售價貴、內容質量偏低和市場容量較小等4個方面。隨著技術的進步、成本的下降以及內容的進一步豐富，VR/AR產業一定會在將來迎來更大的發展。據美國高盛集團預計，2025年時，VR/AR產業每年創造的價值將達800億美元。其中，硬體領域創造的價值接近450億美元，主要集中在頭盔顯示器件（head mount display，HMD）、處理器、追蹤系統和觸覺反饋等4 個方面；軟體領域創造的價值約為350 億美元，主要集中在遊戲、視頻和直播等領域（圖2）。目前，中國需及時掌握VR/AR產業發展態勢、緊跟產業步伐、加大產業投入，才能保持具有自主智慧財產權的VR/AR產業的健康和長遠發展。

虛擬實境和增強現實產品中的顯示技術

虛擬實境和增強現實的區別

要了解目前主流VR/AR產品使用的技術方案，就有必要對VR/AR進行區分。VR產品可以讓使用者置身於不同於現實的另一個世界中。這個世界，可以是完全由計算機創造的虛擬世界（如遊戲、電影中的場景），也可以是不在眼前的真實世界（如體育直播）。AR產品則是讓使用者看清眼前真實場景的同時，再看到一些真實世界中不存在的事物。一般來說，VR產品屏幕不透明，而AR產品則使用可以透光的屏幕

除VR/AR概念以外，近年來還湧現出了許多新的相關概念，如混合現實（mix reality，MR）和擴展現實（extended reality，XR），例如，微軟公司將自主開發的頭戴產品Hololens稱為MR產品，而沒有將其歸類為AR產品。從本質上看，MR產品是一種更高形態的AR產品，該產品允許使用者在真實世界中與虛擬信息進行交互，從而將顯示內容變得更加貼近現實。XR則是由美國高通公司提出的另一全新概念，認為XR技術涵蓋了VR、AR和MR等技術，使用者可以根據自己的意願選擇真實世界和虛擬世界的融合程度，在各種模式間進行自由切換。從原理上來說，這些全新概念都可以歸類在VR/AR概念中（圖4）。可以預見，隨著技術的發展，VR/AR技術將在未來相互融合，設備將能夠智能地從一種模式轉換到另一種模式，因此，本文對這些概念將不做詳細區分，統一以VR/AR描述。

 

主流虛擬實境和增強現實產品方案

1、基於雙目視覺的VR/AR 產品

以美國谷歌公司的DaydreamVR、三星電子的Gear VR、HTC 集團的HTC Vive、索尼電子的PlayStation VR 以及Oculus 公司的Oculus Rift 等多種頭戴式VR產品為代表的雙目視覺VR產品，是當前最為主流的VR 顯示系統，其主要目的是創造沉浸式的立體體驗。其原理如圖5所示，有2種主要實現方法，圖5（a）為菲涅爾透鏡解決方案，是當前最為常見的方案。VR產品中兩塊屏幕（或一塊屏幕的左右兩部分）顯示兩幅稍有不同的圖像，經過菲涅爾透鏡後到達人眼。兩幅稍有不同的圖像經過大腦處理後融合，給人以立體的沉浸感受。圖5（b）為柱透鏡解決方案，在常用VR產品中已不十分常見。待顯示的圖像經過處理後，得到對應於左右兩個視角的不同圖像。將得到的圖像在顯示屏上以一定規律排列，使左右視角對應圖片分別進入人眼，經過大腦處理後融合，便可獲得立體體驗。

以微軟Hololens、Atheer 為代表的雙目視覺AR 產品，其基本原理與雙目視覺VR產品十分相似。不同的是，當雙目視覺原理應用於AR產品時，需要保證人眼看到顯示器顯示圖像的同時能夠看到外界環境。為了達到這一目的，可以通過設計光路使顯示虛擬環境的屏幕與觀察真實環境的視窗互不重合，也可以直接採用透明的顯示器件使虛擬場景和真實環境均可以通過顯示器件。圖6展示了一種使用波導器件和全息光學元件（holographic optical elements，HOE）的AR 產品。微顯示器加載需要顯示的圖像，通過自由曲面元件耦入波導，並傳播至全息光學元件處。全息光學元件既可以讓外部環境光線進入人眼，也可以使經波導入射的光線衍射進入人眼，並最終實現虛擬場景和現實場景的疊加。

為了獲得現實中的運動視差效果和遮擋效果，使VR/AR體驗更為逼真，基於雙目視覺的VR/AR產品常常需要在重力感應器和陀螺儀等元件的配合下才能正常使用。然而，使用該類型產品時，由於人眼的會聚點和調焦點不在一起，不可避免地會產生輻輳—調焦衝突（圖7）。長期佩戴該類產品，可能會感到眩暈、疲勞等感覺，使用感受不是十分理想。

2、基於光場顯示技術的VR/AR 產品

以Magic Leap 公司的Magic Leap One 為代表的VR/AR產品運用的是光場顯示技術，其原理如圖8所示。為了獲取待顯示圖像的光場信息，一個由眾多微透鏡組成的透鏡陣列被放置於場景和相機中間；每個微透鏡均能形成待顯示圖像不同方位視角的微小圖片；當透鏡陣列中微透鏡的數量足夠多，相機像素足夠小，可以認為相機記錄的是待顯示圖像經過微透鏡陣列後的光場信息；根據光路可逆原理，當這些微小圖片經顯示器件加載並再次經過透鏡陣列後，便可以恢復記錄的待顯示圖像。

基於光場顯示技術的VR/AR產品無需相干光源，可以顯示動態三維圖像。與基於雙目視覺的產品相比，基於光場顯示的產品具有更好的運動視差和遮擋效果。然而，使用一般的顯示器件時，產品解析度比較低，深度範圍也比較小。Magic Leap的創新之處在於使用了一種名為fiber optic projector的核心技術。這種「投影儀」與傳統意義上的顯示器件相比尺寸小且功耗低，因此Magic Leap One可以顯示出比市面上其他基於光場顯示的VR/AR產品更高解析度的圖像。但目前仍舊沒能完全解決解析度下降和輻輳—調焦衝突等問題。

基於全息光學的VR/AR 解決方案

全息技術的原理

為了解決基於雙目視覺與光場顯示技術的VR/AR產品解決方案的不足之處，基於全息光學的VR/AR解決方案目前受到了更多的關注。全息技術是一種利用幹涉條紋實現三維物體再現的技術。幹涉條紋中的振幅和相位信息，在參考光的照射下，可在空間中完整重建。由於重建的是物體的「全部信息」，因此這種技術被形象地稱為「全息術」。全息光學完整工作流程分為「幹涉記錄」和「衍射再現」兩步，其原理如圖9所示。

假設物光波和參考光波分別用O(x,y) 和R(x,y) 表示，它們在全息記錄面幹涉疊加後，光強分布式為

I(x,y)=|O(x,y)+R(x,y)|2=O(x,y)2 +R(x,y)2 +O*(x,y)R(x,y)+O(x,y)R*(x,y)（1）

式中，O(x,y)2 和R(x,y)2 只包含強度信息，不包含相位信息，可以被視為常數項，與待顯示圖像的重建無關；O*(x,y)R(x,y) 和O(x,y)R*(x,y)既包含強度信息，又包含了相位信息，能將物光波的場分布轉換成幹涉條紋的強度分布，被稱為幹涉項，將參與待顯示圖像的重建。其中，O(x,y)R*(x,y) 參與重建的光場信息和原物光波O(x,y)比較，僅僅是振幅信息不同，相位信息完全相同，因此觀察者可以通過觀察這一部分光場信息，發現待重建圖像的虛像；O*(x,y)R(x,y) 和O(x,y)R*(x,y)對稱共軛，觀察者通過觀察這一部分光場信息，可以看到待重建物體的實像。

計算全息技術

在某一全息系統中，若全息圖的記錄、重建過程都是通過光敏材料實現，則這樣的全息系統稱為光學全息系統。然而，由於實驗中使用的膠片等光敏材料多為一次性材料，一般不可反覆擦寫。實驗過程中，只要實驗臺稍微晃動，就可能導致幹涉條紋出現偏差，從而影響重建像的準確性。此外，實驗完成後，為了得到全息圖，還需對膠片採取顯影、定形和晾乾等措施，較為費時費力。隨著計算機軟硬體技術的快速發展，計算機技術漸漸可以代替全息幹板實現幹涉條紋的記錄，這種技術被稱為計算全息技術，由Kozma等在1965年提出。計算全息優點主要體現在3個方面：第一，通過計算機生成全息圖，避免了全息圖記錄過程中實驗環境、實驗操作因素對於全息圖質量的影響；第二，生成的全息圖可以存儲為各種圖片格式，與光學全息相比，全息圖的複製、傳播和攜帶都更加容易，並且隨時可以使用計算機再現驗證全息圖的正確與否；第三，計算全息既可以記錄實際物體，也可以通過Auto CAD、SolidWorks等三維建模軟體記錄實際並不存在的物體，對於待重建物體的選擇擁有極高的自由度。而在衍射重建過程中，為了加載全息圖，計算全息技術常常需要配合空間光調製器一起使用。

用於VR/AR 系統的計算全息裝置示意如圖10所示。待顯示虛擬場景的全息圖經驅動裝置上傳至空間光調製器。當參考光照射空見光調製器時，衍射光場可以經分束鏡到達人眼。而外界真實環境則通過分束鏡的另一通光方向進入人眼。

基於全息技術的三維顯示方案系統緊湊、無串擾和深度反轉、不存在機械運動部分，是當前較為理想的VR/AR解決方案。雙目視覺方案、光場顯示方案以及全息光學方案可以提供的三維視覺感知信息如表1所示。可以看出，全息光學VR/AR方案可以提供所有類型的三維視覺感知，並且不存在輻輳—調焦衝突，具有十分良好的觀看體驗，是當前備受認可的VR/AR方案之一。

基於計算全息技術的VR/AR 新發展

由於現有的運用空間光調製器來進行全息顯示的技術空間帶寬積受限，呈現圖像的尺寸和觀察的視場角都較小，目前硬體的計算能力也僅能支持較小尺寸或較小視角的實時全息顯示。相比之下，將全息與近眼顯示相結合，只對眼睛的視場裡顯示相應的信息，可以提高光學重建和減輕計算的負擔，提高信息的利用率。

2014年韓國慶北國立大學Moon等提出了以LED為光源的彩色全息近眼顯示系統的模型，並證明了它的可行性。該系統是由兩個單目系統組成的雙目系統，為了使結構設計更加緊密，LED光源被耦合到多模光纖並傳輸至顯示模塊，除去光源部分，光還需經過空間光調製器和傅立葉濾波器以及目鏡，最終在觀察者眼前成像（圖11）。

2015年劍橋大學的Chen等在提出運用層析法來進行計算全息圖計算後，運用頭戴式顯示器的概念來驗證新算法的計算效率和顯示圖像的交互功能，並搭建了模擬光路進行實驗。該系統的原理如圖12所示，由空間光調製器顯示的計算全息圖經由4f 系統在人眼瞳孔位置成像。在實際實驗中，在兩個透鏡之間還放置了物體來消除零級衍射光線，防止其聚焦在錯誤的位置損傷眼睛，從而保證了觀察者的眼睛安全。

2017年北京理工大學劉娟團隊提出的透視型三維近眼顯示系統，利用全息光柵作為頻率濾波器來提高顯示圖像質量。光柵濾波器實際上作為4f 系統中頻域上的加法濾波器，4f系統中的輸入平面上是以一定間隔上傳到空間光調製器上的2個全息圖，當2個全息圖之間的距離和光柵的周期滿足一定條件時，就可以在4f系統的輸出平面得到2個全息圖生成的複合場，重建的波前傳輸一定距離後就可以得到較高質量的重建圖像（圖13）。該團隊製作出了這個近眼顯示裝置並進行了一系列實驗，證明了該系統能夠生成具有深度信息的三維圖像，並且可以佩戴和觀察。

2017年劍橋大學微軟研究院Maimone等提出了基於相位型全息顯示的虛擬實境和增強現實技術。在對已有技術的拓展中嘗試實現了可變焦和大視場的彩色全息近眼顯示。分別對該項技術在顯示高解析度彩色圖像、單像素變焦控制與擴大視場角等方面的優勢進行了實驗驗證，圖14為驗證大視場與可變焦系統的實驗光路與實驗結果。

全息光學VR/AR 方案面臨的挑戰

全息圖生成算法

基於全息光學的VR/AR系統在算法和硬體兩大領域均要面對許多挑戰。其中，在算法領域，加快計算全息圖生成速度就是首先要面對的重要問題。

點源法和面元法是生成計算全息圖的最基本算法。具體的方式是三維物體被分成許多點或平面基元，提供了三維場景的精確幾何信息。然而，VR/AR系統中需要顯示的三維場景信息量巨大，如果採用點源法或面元法生成計算全息圖，將會耗費海量的計算時間，且對計算機硬體性能的要求也十分苛刻。1995年，Lucente提出了查表法（look-up table，LUT），該方法首先計算出物空間內每個點光源在目標平面形成的幹涉條紋，再將條紋結果存入查找表中。對物體進行全息記錄時，只需將物空間中各點與表中結果進行匹配併疊加即可，省去了一次又一次重複計算的過程，加快了計算全息圖的生成速度。但是，查表法對計算機的存儲容量和讀寫性能要求太高。隨後，Tomoyoshi、Kim和Nishitsuji等分別從不同角度改進了查表法，提高了查表運算的效率。此外，OpenCL、FPGA、分布並行處理和陣列計算等硬體加速技術近年來的快速發展也為點源法速度提升創造了條件。從現有的研究結果可以看出，硬體加速後的點源法計算速度大幅提高。同時，這些硬體加速算法對於計算機硬體的要求也變得越來越高。

為了解決點源法和面元法的計算速度問題以及查表法對於硬體的依賴問題，Trester等提出了層析法，這種算法首先需要對重建物體在空間分層得到一系列平面信息，再對所得平面信息依次進行傅立葉變換得到計算全息圖。隨後，Sando等、Bayraktar等、Chen等和清華大學的Zhao等從不同方面改進了層析法，解決了計算全息圖生成過程中計算量龐大、計算速度慢的問題。然而，多數基於層析法的計算全息圖生成算法有傍軸近似，在近距離光學重建質量會降低，在大數值孔徑系統中計算誤差會更嚴重。此外，三維場景平面的採樣間隔和全息圖平面上的採樣間隔不同，採樣間隔與計算距離和波長相關。很多算法被提出用來解決採樣間隔的問題，例如菲涅耳卷積算法，移動菲涅耳算法和多步菲涅耳算法，然而這些算法增加了運算量。

Li等和Shaked等使用的立體透視法是計算三維場景計算全息圖的另一種解決方案。這種算法的特點是將多視圖投影原理用在了三維場景的獲取上。該方法通過數位相機或者計算機獲取三維場景各個角度的投影，並在所得的一系列二維圖像上加入角度偏置，反映二維圖像的位置信息。隨後對上述帶有角度偏置的二維圖像做快速傅立葉變換，並在全息面疊加、編碼，最後得到三維場景計算全息圖。立體透視法獲得各個角度投影圖的過程方便、快捷，計算過程也較為簡單，適合用於虛擬物體的全息圖計算。但是，因為在獲取實際物體各方向的投影信息時，常常需要透鏡陣列的配合使用，導致了可投影的角度範圍較小。因此，該方法不能用於大場景物體的重建。

空間帶寬積的擴展

對於基於全息原理的VR/AR系統，其圖像顯示效果仍然很大程度上受到空間光調製器特性的制約，其中最為突出的問題，就是空間光調製器的像素總數決定了顯示系統的空間帶寬積，限制了系統能呈現的數據總量，從而影響了三維圖像的解析度。為了增加系統的顯示效果，研究者一般採用空間光調製器拼接技術來擴展顯示系統的空間帶寬積。2008年，韓國國立首爾大學Hahn等使用空間光調製器陣列擴充了顯示系統空間帶寬積並擴大了顯示的視場角；2013年，新加坡數據存儲中心Lum等使用8×3的空間光調製器陣列，將全息圖的總像素數拓展37×107像素。儘管空間光調製器拼接技術能夠有效提高顯示系統數據量，獲得質量較高的動態三維場景重建效果，但是陣列系統往往結構比較複雜，而且價格昂貴。因此，使用空間光調製器陣列實現三維顯示還面臨成本和技術瓶頸。

除了空間光調製器拼接技術，新材料技術的湧現為基於全息光學原理的VR/AR系統擴展空間帶寬積提供了新的思路。2008年Tay等在《Nature》發表了美國亞利桑那大學的在全息三維實時顯示領域的研究進展，實現了基於一種大尺寸可刷新的光折變聚合物全息顯示屏。2013年，Smalley等在《Nature》發表了「基於各向異性漏光模式耦合新型空間光調製器」，克服了現有空間光調製器的功能局限，實現偏振選擇、衍射角度擴大等功能。2015年，Gu等在《Nature Communications》上發表了「基於石墨烯材料開發的寬視角全彩色三維顯示技術」，該技術可以實現亞波長尺度的多波長光學波前調控

2016年Wang等提出了一種基於超構表面的全息顯示。該器件中的核心材料可以被用作相位調製介質。當溫度介於熔點溫度和玻璃轉移溫度之間時，正常的Ge2Sb2Te5（GST）材料會從非結晶狀態轉變為晶體狀態。在這種溫度條件下，若有短脈衝高能量飛秒雷射照射GST材料，被照射的像素點會相應地轉變回到非結晶狀態。這兩個狀態的GST材料具有非常明顯的折射率區別。若按照需求逐點改變像素折射率，完整的全息圖或者三維光場信息就可以被寫進材料中。而且，如果使用一束比寫入信息的飛秒雷射能量更強的飛秒雷射照射GST材料，原先寫入的信息就可以被完整地擦寫掉（圖16）。

將材料GST用於全息三維顯示時，具有現存選擇性雷射熔化（selectivelaser melting，SLM）無可比擬的優勢：（1）改材料最高光能利用率可達99%以上；（2）其像素間隔可以小至0.59 μm，可以帶來非常大的衍射角度，使圖像的顯示範圍更廣。但是，該材料的不足也比較明顯：（1）它對於製作和裝配的精度要求極高，微小的誤差會明顯降低顯示質量；（2）GST材料目前的刷新效率還比較低，暫時不能完成高解析度的實時三維顯示。

從學術界對於新型納米複合材料和新型光學調製器件的研究態勢來看，未來將會是革命性材料與器件大展身手的時代。上述體全息光學技術基於體光柵的布拉格選擇性，可進行波長、角度、偏振等多種復用記錄信息。同時，體光柵本身攜帶三維物體的相位信息，經全息再現可實現三維顯示，有望成為下一代高密度三維記錄和高解析度三維顯示技術。

結 論

從VR/AR產業現狀及發展趨勢、VR/AR產品主流顯示技術方案、VR/AR技術與全息光學的結合點以及基於全息光學的VR/AR產業面臨的挑戰等4個方面分析了全息光學VR/AR產品的發展趨勢，並得出以下結論。

1）VR/AR產品被認為是最有可能成為「下一代計算平臺」的產品，但仍存在硬體成本高、產品售價貴、內容質量偏低和市場容量較小等問題。隨著技術的進步、價格的下降以及內容的進一步豐富，VR/AR產業一定會在將來迎來更大的發展。

2）主流VR/AR方案主要可歸為雙目視覺類型和光場顯示類型。其中，雙目視覺類型VR/AR產品會產生輻輳—調焦衝突，可能會讓人有眩暈、疲勞等感覺；光場顯示類型VR/AR產品也存在解析度下降問題和輻輳—調焦衝突等缺點。

3）全息技術的三維顯示方案系統緊湊、沒有串擾和深度反轉、不存在機械運動部分，被認為是當前較為理想的VR/AR解決方案。將全息與近眼顯示相結合，只對眼睛的視場裡顯示相應的信息，可以提高光學重建和減少計算的負擔，提高信息的利用率。

4）在基於全息技術的VR/AR解決方案中，加快計算全息圖生成速度和擴展顯示系統的空間帶寬積是當前面臨的兩大挑戰。改進算法技術、使用革命性的材料與器件，將是全息VR/AR的發展趨勢。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴