漫談混合現實(MR)技術之一 ——什麼是混合現實(MR)技術

編者按

2018年，一部口碑炸裂的電影《頭號玩家》上映，國內累計票房達到13.85億。而電影中的虛擬世界「綠洲」儼然已成為與現實世界平起平坐的另一個世界，在給觀眾視覺震撼的同時，也為觀眾們帶來了一次混合現實（MR）技術的科普和未來的遐想。

一、什麼是混合現實（MR）

MR，是英文Mixed Reality兩個單詞的縮寫，中文翻譯為混合現實。混合現實技術通過在在現實環境中引入虛擬場景信息，在現實世界、虛擬世界和用戶之間搭起一個交互反饋的信息迴路，以增強用戶體驗的真實感，具有真實性、實時互動性以及構想性等特點。

MR是一個快速發展的領域，廣泛應用於工業、教育培訓、娛樂、地產、醫療等行業，並在營銷、運營、物流、服務等多個環節得到充分應用。混合現實涵蓋計算機增強現實技術（AR）的範圍，與人工智慧（AI）和量子計算（QC）被認為三大未來將顯著提高生產率和體驗的科技。隨著人類科技的迭代發展，尤其是5G網絡和通信技術的高速發展，各行各業都將大規模應用MR技術。

二、虛擬實境（VR）、增強現實（AR）及混合現實（MR）三者關係及區別

虛擬實境技術曾被認為是下一代通用技術平臺和下一代網際網路的入口，是引領全球新一輪產業變革的重要力量，是經濟發展的新增長點，目前已經在工業、軍事、醫療、航天、教育、娛樂等領域形成較為成熟的應用。據工信部消息，2021年我國虛擬實境市場規模預計將達544.5億元。國內通稱的虛擬實境產業包括了VR虛擬實境、AR增強現實、MR混合現實等技術及其產業應用，但此處我們講虛擬實境時僅指VR虛擬顯示。

虛擬實境（Virtual Reality，VR）是利用VR設備模擬產生一個三維的虛擬空間，提供視覺、聽覺、觸覺等感官的模擬，讓使用者如同身歷其境一般。簡而言之，就是「無中生有」。在VR中，用戶只能體驗到虛擬世界，無法看到真實環境。增強現實（Augmented Reality，AR）是VR技術的延伸，能夠把計算機生成的虛擬信息（物體、圖片、視頻、聲音、系統提示信息等）疊加到真實場景中並與人實現互動。簡而言之，就是「錦上添花」。在AR中，用戶既能看到真實世界，又能看到虛擬事物。混合現實（Mixed Reality，MR）是AR技術的升級，將虛擬世界和真實世界合成一個無縫銜接的虛實融合世界，其中的物理實體和數字對象滿足真實的三維投影關係。簡而言之，就是「實幻交織」。在MR中，用戶難以分辨真實世界與虛擬世界的邊界。

三、MR技術發展現狀

MR行業經過這幾年的調整，跨過爆發期，進入調整期，存優除劣，逐步完善。

在國際上，美國多部門部署VR研發計劃，美國政府一直非常重視VR技術的研發與應用，國家科學基金會、國防部、國家航空航天局、交通部等部門均部署了一系列虛擬實境研發計劃。在歐洲，歐盟H2020計劃也開展了多項虛擬實境研究，主要研究方向涵蓋虛擬實境硬體技術、虛擬實境軟體技術、虛擬實境行業應用等，具體行業應用領域包括軍事、國防、醫療、教育、房地產、體育、文化遺產等領域。

同時，MR技術所涉及的應用領域也在逐漸增加，MR技術與傳統行業的結合，如MR+教育、MR+金融、MR+工業等等，也已經擁有了諸多成功的落地場景。

而在國內，經過近十年發展，我國的AR/MR產業已經日趨成熟，形成了包括江西地區在內的五大AR/MR核心產業聚集區，產業生態初步形成。目前，全國共有VR/AR/MR企業3000餘家，上海市目前直接從事VR/AR/MR業務的企業約200餘家，1000萬以上的註冊資金在總比例當中佔比約33%，加上間接從事或相關企業超300家。近3年來，上海VR/AR/MR新增企業數量已經超過歷史註冊的企業數量總和。

四、混合現實（MR）應用場景

MR技術作為一種通用性技術，在很多行業內都能找到應用場景的結合點。基於混合現實技術的全息展示和空間定位等特性，目前在工業、設計、展覽、建築、醫療、教育等行業中都具有顯著的業務需求。在這些行業中，已經湧現出了不少成功的混合現實應用案例。

（一）工業應用

工業是目前對於混合現實技術需求最強烈的行業。隨著工業4.0、智能製造等概念的推廣，越來越多的企業開始尋求智能化的工業升級技術，希望以技術賦能產業，為企業創造新的價值。在這個過程中，混合現實技術因其可以與真實環境、真實物體進行良好結合的特性，逐漸被大家所接受，並成為提升生產力的重要工具。

MR技術可以在日常工作的真實環境中為工人提供他們最為需要的信息，包括崗位操作培訓、設備維護手冊、IoT數據展示，以及遠程專家指導等等。員工在使用頭戴式MR眼鏡的時候，完全不影響他們對身邊真實環境的觀察，並能解放出雙手進行操作。

以下是一個典型的工業應用場景：

工作人員戴上MR眼鏡在生產環境中進行巡檢，其眼前的機器設備上會自動浮現出該設備當前的運行數據；

巡檢員如果發現異常，可以通過眼鏡進行情況記錄，並完成問題上報；

隨後，他可以根據故障信息調取相關問題的處置方案或全息維修指導手冊，設備的維修指導信息會一步一步地呈現在他的面前，並準確地指出每個步驟操作的具體位置。

如果全息維修指導手冊沒辦法幫他解決問題，他可以馬上通過眼鏡呼叫遠程的技術專家；

專家通過分析眼鏡端捕捉的畫面後，為現場員工提供精確的專業指導，協助完成問題的處置。

在整個流程中，生產環境現場的員工僅需一副MR眼鏡就可實現所有的功能。

（二）展覽應用

在混合現實技術剛出現的時候，最多的應用場景就是展覽和展示。在當時，對於所有人來說，MR絕對是酷炫和黑科技的代名詞。用黑科技來展示自家的產品，或用來宣傳企業形象絕對是一個不錯的選擇。從功能上講，MR技術應用於展覽行業的最大優勢是交互式的全息可視化內容所能帶給觀眾的衝擊，這是一種類似科幻影片走進現實的震撼感受。MR技術非常適合展示體積龐大、結構複雜、精密昂貴的產品，這些產品不便於攜帶和拆解，很難讓觀眾看到實物，或者了解其內部結構。通過混合現實技術為這些產品製作3D全息化的內容，就可以非常方便地在任何地方、任何場合展示產品的細節。

此外，在傳統展臺上經常會使用各種實物沙盤，用於展示城市規劃、園區設計或建築方案，但這些實物沙盤通常是靜態的，無法產生大量動態內容。基於MR的虛實結合功能，我們可以將實物沙盤升級為混合現實沙盤，參觀者通過混合現實眼鏡將能看到建築的施工過程、3D交通工具的穿行效果、目標對象的詳細介紹等。各種各樣豐富有趣的可視化內容可以讓靜態的沙盤動起來。

（三）建築應用

建築業是由空間定義的。最近幾年從2D文檔到建築信息模型（BIM）的過渡是一個自然的演變，BIM不僅能提供精確的建築信息，還能在施工過程中提供有效的參考。但是大部分情況下，我們仍然只能在2D的電腦屏幕上查看相關的內容。MR技術將模型帶出屏幕，可以讓建築的3D模型躍然紙上，並為用戶提供了透視、分層、局部放大等更直觀的觀看和交互的能力。通過全息3D化展示，讓我們可以通過更自然的方式去體驗和理解設計方案，使數據通俗化。

如果MR與BIM能夠進行完美的結合，把「虛」的BIM數據和「實」的施工場景進行疊加對比，那我們甚至可以在建築施工現場評估工程進度和施工精確度，這也將為建築工程行業的智能化推進帶來巨大的想像空間。

（四）醫療應用

MR技術在醫療場景中也有著廣闊的發展空間，比如醫生們可以在手術的過程中，通過混合現實眼鏡方便地查閱病人影像資料、相關部位的3D模型等內容；也可以將病人的全息骨骼模型準確地疊加在其身體上，輔助醫生完成手術定位；結合5G等遠程通訊技術，還可以對手術現場進行直播，並實現遠程多人會診；在術式培訓、醫療設備操作培訓等業務場景中，我們也同樣可以使用MR來達到優異的培訓效果。

醫療影像數據可以方便地轉化為3D模型，利用MR全息化地展示這些模型，可以將平面的影像立體化，並能給與醫生準確的空間位置判斷力。這種空間立體化的「讀片」技術可以顯著提升年輕醫生的讀片準確度，同時也方便醫生將相關病情與患者或家屬進行直觀的溝通。

（五）教育應用

在教育行業，開發者可以根據不同的學習需求開發全息教學內容，讓學生們在新奇的全息互動式體驗中完成知識點的學習。這種新穎的教學方式一方面可以激發學生們的學習熱情，另一方面可以把一些複雜的知識點通過交互式模型動畫形象地展示出來，可以加深學生對學習內容的印象。目前來說，MR頭戴式設備比較適合中學及以上年齡段的學生，對於低齡學生或學齡前兒童並不完全適用。

相對與普通學校教育，職業教育的細分領域對於MR技術的需求更為明顯。職業教育主要關注在技能培訓和操作能力的提高，但一些複雜操作技能，比如汽車維修，很難給與學生充足的實際上手時間。同時，在學生進行實際操作的時候也需要有人一直確保其操作準確性，以免發生人員傷害或設備毀損的情況。MR技術可以將培訓教學內容虛擬化，並與教學現場的環境和實物疊加起來，通過虛實結合的方式輔助學生掌握操作方法。而且虛擬化的培訓內容可以反覆播放，實現學生獨立學習的需求。

下一期，我們將介紹《漫談混合現實（MR）之二——MR的關鍵核心技術：光波導》。

（責任編輯：王凱明）

境騰科技 (Jingteng Tech)是一家專注於混合現實技術的企業，是微軟官方認證混合現實全球技術合作夥伴服務提供商，基於混合現實的數位化呈現，交互及協同技術，為工業、建築、設計、醫療等行業提供混合現實數位化解決方案。

用VR/AR技術打造屬於一代人的情懷

網紅VR，重新定義未來？

類人計算，是要超越人工智慧的節奏嗎？

大數據與人工智慧融合——新一輪數字經濟的驅動力

發展科學公益，正當其時。

從《人工智慧全景報告》看AI人才發展動向

人工智慧+醫學診療的發展概況及其問題

人工智慧指數2018年度報告解讀

解讀《2019全球人工智慧發展白皮書》

美國最新國家人工智慧戰略

PPP：美國國家人工智慧研發新戰略

人工智慧給產業發展將帶來什麼驚喜?

論中醫藥數據創新產業的發展規律

仿生四足機器人關鍵核心技術分析

納米壓印技術為何重獲青睞？

（本文不代表微言創新觀點。歡迎投稿、轉載和商務合作，請聯繫[e-mail]）

上海科學院與上海產業技術研究院共同出品，專注產業創新領域研究。言微意未盡，集智求創新。