德勤報告:混合現實2017年發展趨勢分析

編者按：本文來自微信公眾號「青亭網」（ID：qingtinwang），作者：Nelson Kunkel，Steve Soechtig；36氪經授權發布。

德勤會計師事務所（Deloitte & Touche）是世界四大會計事務所之一。其推出的行業報告歷來被各家所重視。在德勤推出的2017年趨勢分析報告《Trending the Trends by Deloitte》中，詳細分析了VR/AR/MR（虛擬實境/增強現實/混合現實）產業的走向和建議。以下是全文編譯：

混合現實：讓體驗變得更直觀，更沉浸，更強大

隨著越來越多的公司前赴後繼地拓展領域和產品的邊界，AR/VR的企業潛力也在不斷壯大，並且越來越頻繁地和物聯網的領域產生交叉，產品模式和使用模式也是計劃更不上變化，但在達到最終完美的混合現實產品模式之前，這種探索模式下的混沌狀況還要持續上一陣子。

AR/VR能徹底改變我們和科技交互的模式，雖然現在領域內最奪人眼球的還是消費領域的發展，比如遊戲，但是AR/VR真正的潛力還是會在企業方向上。現在跨行業的多種使用場景和概念漸漸多了起來，許多測試項目已經進入了量產。

同時，物聯網領域的投資熱點也開始從傳感器、聯網設備向由物聯網尖端科技打造的真實使用場景轉變。熱門應用正從個人健康、供應鏈、城市基礎建設、智能城市等領域初現端倪。而混合現實就是AR/VR和物聯網潮流科技的巧妙結合：虛擬和真實世界的衝撞產生了一個數字物體和真實物體共同存在的空間，它們的數據還可以和彼此交互，它讓交互界面和使用模式更加趨於自然化。

比如一個技師帶著智能眼鏡從遠程檢查一個故障裝置，當他遇到問題時，別的工程師還可以加入協同工作，迅速完成修理步驟。可以說，MR大大擴展了可以開展複雜協同工作的場所。

目前MR領域不乏平臺、設備、軟體生態方面的投資，這些投資的最終目的是將我們現在習以為常的鍵盤滑鼠、平面顯示器等工具轉換成全新的溝通和協作範式，一旦成功，將會是現代科技紀元最最深入的根本改變。每一個細微的交互模式都在為這個巨大的改變鋪就道路，比如從鍵盤打字到觸控螢幕幕，再到語音交互。

MR已經開始深入影響我們和工作模式之間的情感關係，一層層地減少信息和我們的感知、理解之間的必要的媒介以及障礙，將會大大提高企業和員工的工作效率和滿意程度。

WHERE？

MR的使用場景及模式已經從早期的投資領域中初現端倪，這些領域可能在目前的工業裡有著較高的優先級：

培訓、教育、學習：AR/VR可以讓新員工處於一種高度寫實的交互式沉浸式環境中，學習新的技能，對比傳統培訓手段來說，優勢不言而喻。比如對於具有安全隱患的作業和工作環境下的培訓，可以大大減少風險；培訓師還可以根據員工的培訓視頻來調整內容和進度。

技術操作：通過物聯網應用和數字系統內容豐富維修技師、組裝車間工人等工作角色的工作，可以大大提高工廠的效率。比如在生產車間，某種輔助工具可以將裝配工人引導到指定的位置，工程師可以訪問實時生成的信息，比如特定設備的服務記錄、分類和修復步驟指導等，他們不需要雙手操作、低頭操作就可以審查這些信息，保證了其自主性以及工廠工人的安全。

溝通及合作：隨著不同組織間的邊界越來越不明顯，跨學科領域的團隊能在同一公司內部以及跨公司環境下無縫協作。MR可以為這種工作模式提供充滿沉浸感和存在感的溝通工具，來取代視頻會議等傳統協作工具。不同地點的工人可以操作相同的數字內容，就像他們在一個會議室中把玩同一個物件一樣。

汽車製造商正在用這些方法來對組件的設計改進進行可視化，極大地加速了分布在世界各地的團隊之間的概念製造過程。研發、建築、工程公司，甚至一些服務組織也正在探索這一新的協作方式，消除創意工作和物理操作中的地理約束。

營銷及客服： MR，尤其是VR可以重塑物理世界，然後建立以科技融合為基礎的引人入勝的參與模式。比如你可以在客戶手中放一個虛擬的產品，然後手把手引導他的體驗，搜集他的反饋，並通過他的歷史記錄和偏好進行定製化修改。

購物：VR尤其能改變我們購物的方式，想像一下在定酒店或遊船之前在虛擬的空間裡先走一趟，或者網購珠寶之前先在虛擬模式下試試，與此同時，MR還在視野中加上價錢和商品描述，以及其他相關商品推薦等有用的信息。

MR：可能性及其障礙

AR/VR已經有不少平臺，限定及承載相應的內容、體驗和交互，並有望重新定義我們熟知的工具、模式和商業流程，隨著MR設備、軟體及標準的不斷進化，行業也出現了暫時不可解除的挑戰。

AR/VR及物聯網設備一般都需要全新的管理和安全手段，智慧型手機和平板電腦進入工作場合的過程告訴我們，可以通過制定適當的控制和政策來監控和實施企業需求，然後再開啟MR旅程。無論從設備角度、數據角度、內容角度、應用角度，安全和隱私都是必須考慮的因素。很多未來的使用情景都會涉及關鍵的基礎設施和敏感操作，因此安全和監管合規性至關重要。

要處理事件流、渲染MR體驗、捕捉用戶的動作，平臺會對環境有所要求，需要立即知道用戶的角色及他的工作環境，以及他要想完成任務所需的信息。MR的實時環境跟蹤能力，以及個人與環境的關係虛擬對象和信息能根據環境做出正確響應的關鍵。這需要複雜的信號處理和響應產生機制，一些頂尖的視頻遊戲中已經出現了。所以Unreal引擎成為現在的早期試驗的基礎毫不奇怪。

MR還需要掌控聲音、肢體、空間位置等一系列要素，要識別最細微的表情，需要精準的面部識別和眼球追蹤技術，設計方面也要能非常符合直覺地做出反饋，這樣就需要一套全新的設計語言，以及網絡狀況、傳感器環境等硬體環境。

同時MR還要把眾多相關的數據考慮進來，以提供強大的交互能力，比如企業管理計劃（ERP）、客戶關係管理（CRM）、人力資源管理（HR）、市場營銷等各環節的信息，以讓MR變成工作數位化的重要工具，可以自動後臺處理、更新數據。

內容的上下文

也許最重要的是，自然界面使得可以在周圍的上下文環境裡處理內容的含義。數字對象的重量、尺寸、角度，位置以及它與其他虛擬或真實對象的關係，讓設計師能打造真正的內在體驗。聲音和觸覺（或感覺反饋）可以替代圖形前導，讓企業謹慎思考警告或任務的完成。內置對象和面部識別使我們能夠將空間和人對接，渲染到虛擬或增強體驗中，並以一種自然和真實的方式插入到純數字中。

MR需要全新的數字內容和上下文。要將真實世界轉化為虛擬環境，或將真實世界嫁接給增強的物理和數字體驗，必須具有高清晰度和360度渲染，還可能需要傳感器和嵌入式信標來跟蹤設備、貨物，以及人。同樣，元數據不僅描述的是資產的基本規範，而且還描述其組成、行為和用法，所有這些都是模擬交互所必需的。

總結

雖然我們似乎把MR的地位放在AR/VR和物聯網之上，但是這些科技每個都代表著不同的解決方式和領域，應用也不盡相同。但是如果只追求它們單個的應用，永遠不可能開發它全部的潛能。我們的目標應該是提高互動性，建立更直觀、沉浸、強大的體驗，放大個人用戶，達到新一級的客戶親密度，打造新的解決方案，重塑員工對工作的看法和情感。如果這些得以實現，混合現實可能開啟轉變未來企業建立及運行模式的閘門。

前沿都在幹什麼

保護兒童福利

每年，新畢業的社會工作者都滿懷抱負地走向兒童福利機構的工作崗位。 不幸的是，他們中許多人對未來工作在現實和情感方面都缺乏一定的準備，社會工作者要具備深入的觀察技能和細節素養，需要多年的實地家庭訪問和託兒中心經驗，才能準確地評估兒童的生活狀況，然後決定是否需要進一步的調查和行動。

沉浸式技術可能會有效地加快兒童福利機構員工的這個學習過程：通過專門教授技能的遊戲和3D模擬，旨在幫助社會工作者開發多年工作才能獲得的敏感和細緻的評估技能。

例如，將受訓的社會工作者置於虛擬家庭環境中，並要求她在幾分鐘內識別所有潛在的風險因素。在初步掃描之後，受訓者返回虛擬房間，剛才她忽略的風險因素會開始閃爍。然後她指向特定閃爍物體時，風險因素及其解釋等信息會出現在她的視野中。 作為這個過程的一部分，受訓者還可以練習對複雜情況做出反應，並記錄她看到的內容。

3D培訓模型可以定製任何環境或場景，這不僅可以擴大新招聘人員的培訓範圍，而且有可能幫助老牌社會工作者進一步提高他們的專業技能。甚至在未來，這些功能還可以進行機構評估，提高他們的整體效率，培養批判性思維和決策能力。在這方面，MR不僅僅是技術遊戲的改變者，而是行為上的解決方案，使社會工作者受益，更重要的是提高他們的服務。

AR遇見物聯網

在2016年，兩家創新公司在麻省理工學院媒體實驗室（MIT Media Lab）邂逅，在矽谷一個創新中心Jabil Blue Sky正式會議，主題是推動新的數位化製造工藝技術。 參與的公司還有工程、製造和智能供應鏈解決方案的全球提供商Jabil，以及做基於雲平臺的車間應用、工業物聯網和實時分析的的Tulip。

他們的解決方案是一個基於雲的作業系統，可以通過他們的智慧型手機和平板電腦將物聯網生產線數據實時提供給車間員工。 通過在執行生產任務時監視此信息流，工作人員可以隨時做出更改。最後，系統還可以將MR集成到製造環境中，從車間入手改善製造流程。通過數位技術的更新實時信息，工廠可以減少工人暫停和機器空轉期。

在Blue Sky創新中心進行初步測試後，Jabil和Tulip在高度專業化工作流程和生產環境中進行了進一步測試。在這六個月裡，工程師通過連續時間研究和根本原因分析，通過新的數位化工具監測循環和步進數據，進一步優化製造流程。結果生產產量提高了10％以上，手動裝配質量問題在最初四周中減少了60％，超過了客戶預期的產量和設計的預期。

據Tulip聯合創始人Natan Linder，在不久的將來，AR可能放大物聯網的力量，就如同上述解決方案。Linder表示，增加產品和服務質量、減少返工、提高工作效率、提高生產量、減少培訓時間，不需要屏幕就可以為工作人員提供情境信息，這些都是它為全球製造商帶來的好處。

「現在在製造業中有越來越多的基於光的AR應用，它使用雷射和投影機將可視信息分層顯示在物理對象上。這種方法避免了其他AR界面的許多缺點，最重要的是，它不需要工人戴頭顯。當AR與傳感器、機器和來自智能工具的數據相結合時，它就會發揮真正的力量。這些來自IoT（物聯網）數據源的實時信息，比如操作員工當下需要完成的工作，可以優化流程，同時AR也在正確的時間和地點提供信息。「

還有什麼有趣的？

上述混合現實解決方案通過傳感器和多個攝像頭收集數據，增加生產能力，日常生活中還可以改變人們與周圍的世界之間的互動。

在過去幾年裡，我們看到了體育賽事的VR直播，如NASCAR、籃球、高爾夫等等。它們給以觀眾360度視角，並可以在整個比賽中選擇有利位置，輔以完全混合的3D VR音頻，播音員評論，類VR的圖形和實時統計信息等等。

西班牙創業公司FirstV1sion是一家可穿戴設備公司，他們在運動員制服中嵌入了視頻和無線電傳輸設備，VR觀眾可以從特定運動員的視角觀看比賽。除了視頻之外，這些電子設備還包括心臟監視器和加速度計，因此觀眾可以隨著遊戲的進行跟蹤玩家的生物識別數據，他們可以看到球員的心率隨著動作的加劇而增加，從而更有情感地參與到比賽中。

音樂會和演唱會也是重要社交互動場合，音樂會的虛擬直播正變得越來越普遍。例如Coachella音樂節為觀眾提供了cardboard，讓不想離開帳篷的觀眾能觀看樂隊。 

一個VR公司正在嘗試讓音樂迷成為表演者：TheWaveVR已經開發了一個VR音樂會平臺，不僅能讓用戶觀看音樂表演，與HTC Vive配對時，他們能夠在一個虛擬的場地當DJ，觀眾可以在「俱樂部」聽音樂和跳舞，同時與彼此交談。

在政治方面，NBC新聞使用了混合現實來鼓勵美國選民在總統競選期間進行對話，它虛擬地重建了紐約洛克菲勒中心的「民主廣場」，使觀眾在家就可以進入廣場，查看現場節目，訪問實時觀眾意見調查，與新聞廣播員和專家互動，和其他觀眾成員交流。

似乎虛擬實境的反社會孤立主義的預言已經被誇大了，通過添加傳感器、語音識別和數據覆蓋來創建混合現實，人們在其中更自然地進行交互，對遊戲行業和工業來說都很有吸引力。

經驗之談

UPSKILL CEO、創始人Brian Ballard

長期存在的技術差距使得員工在車間等其他工作現場（工作實際完成的地方）與推動工作的數據解決方案完全分離，然而，可穿戴設備和混合現實有望彌合這種鴻溝。我們Upskill的使命是為員工提供更有用的信息、更深入的理解，幫助他們擴大他們的專業知識。我們於2010年開始為智能眼鏡開發軟體，今天，我們為客戶提供採用AR/VR力量的製造、現場服務和物流平臺。

數據證明，航天工作者使用可穿戴設備工作時，速度加快32％，能源工人加快35％，這還是在他們第一次使用這種新技術的情況下。還有什麼其他解決方案能像這樣大幅度提高工作效率呢？

當討論混合現實的商業潛力時，我們一般目前人們迫切想要解決的問題開始，然後嘗試根據現有的新技術來發現新機會，以實現真正的價值。

例如，某公司需要解決物流響應問題，解決辦法可以是讓倉庫員工戴智能眼鏡，然後眼鏡上根據不同的貨架位置顯示相應的實時的貨物信息，或者在製造過程中，進行生產——拾取零件——添加到手推車——運送到相應的工作站，這些都是我們已知的現實世界中的挑戰，我們的一些客戶的交付時間已經改善了50％。

總的來說，這些跨行業的嘗試結果非常令人興奮。最近我們和幾個工業客戶的工人進行了實驗，我們讓這些工人在兩種不同的情況下執行複雜的裝配任務：一種是任務指令是顯示在紙張或平板上的，另一種是通過智能眼鏡交付相同的指令，結果相當令人驚訝：通過數字指令，使用可穿戴設備工作的航空航天工作者效率提高了32％; 同樣，使用可穿戴設備的能源行業工人工作速度提高了35％，這都是他們第一次使用新技術。

在這兩種情況下，工人和他們的工作職能都沒有改變，唯一改變的是工人訪問他們需要的信息的方式。使用上下文或教學信息的疊加來可視化手邊的任務可以是非常有意義的，它不需要停下工作來閱讀說明書，同時可以提高安全性，解放了工人的雙手，並可以抬著頭作業，它還能讓工人增強自己的專業知識，做更好的決策。

它極大地減少了面對極複雜情況時的困惑，甚至直接消除了培訓過程漫長的守則背誦過程，它就像是你的工作GPS，不用記路，不用找路。實際上MR和GPS的發展歷程之間還有很多類似的巧合，我們曾經也是很習慣用紙質地圖的。

可穿戴設備還能用來數位化、分析、優化組織性行為，比如，在複雜的組裝環境中，製造商可能能夠捕獲正在進行的一萬個步驟的每一個的信息，通過對所得到的數據應用機器學習分析，然後進行分組和分解工作以提高生產力，並且基於理解他們擅長的任務可能的發展機會來對工人提供指導和訓練 。再回到GPS的對比中，這就像根據實時交通狀況給予指示。

經常有公司問我，想做MR該怎麼著手，是先實時構建模擬數據，還是直接全盤推出，經驗告訴我，最好的做法是先根據投資回報率（ROI）確立明確的目標。比如「我要讓新員工進入狀態的過程縮短20%」，或者「我要將組裝線的首輪質量提高35%」之類的。

一旦確定了確鑿的使用場景的量化目標再進行環境模擬。儘可能在實際生產環境中做測試，以了解真實情況下的用戶行為、利益和發現改進的機會。 當然，安全、隱私和操作連續性都是必不可少的，可以在推出測試版本的時候再解決。 這樣流程監督人會對可穿戴設備的成功案例之多感到驚訝的。

永遠不要忽視網絡安全

想入行MR的公司必須考慮虛擬實境、增強現實和物聯網（IoT）固有的幾個網絡安全和風險因素，需要問自己如下幾個問題：

1. 當沉浸在MR環境中時，你可以信賴顯示器上的數字的完整性嗎？ 你能確定它的真實性嗎？ 您是否認為通過物聯網技術獲得的數據不容易受到惡意黑客攻擊呢？

2. 當沉浸在MR環境中時，你如何確定自己看到的東西不是被操縱過的呢？有很多MR應用都是用於訓練甚至商業用途的，你確定自己沉浸其中的環境是對的那個嗎？這些數據內容、體驗會不會是更改後誤導你的呢？或者更甚，他們會不會通過鼓勵浪費、品牌破壞甚至更危險的行為，來引導用戶進行數字公司破壞？

3. 當你和另一個人處在MR環境中，你如何相信這個人就是他自稱的那樣呢？這種情況下如何保持信任？

這些體現了MR主要的風險和挑戰之一：控制與保護相關的數字資產。 虛擬實境，增強現實和物聯網技術引入了全新的智慧財產權內涵，可能包含設計安全和隱私控制、法規和合規性問題、商業競爭等敏感信息，例如設備的高解析度3D渲染詳情、財產和設備位置跟蹤等。相關的信標、傳感器等一環環的設備需要被保護、加密和進行訪問資產權限管理。

在MR環境中，因為每種技術都存在各自的風險，所以很有挑戰性。例如，AR需要比VR更多的數據點來驅動GPS定位、標記、共享元數據和面部識別的內容。此外，為了增強單個用戶的體驗，AR系統還會搜集跟蹤此用戶周圍各種傳感器（比如健康監測器）的數據，這就引發了一系列安全和隱私問題。

至於物聯網科技，只要具有物聯網生態系統的設備都自帶被惡意攻擊的風險。IoT生態系統結構通常取決於多個參與者的密切協調行動，從供應鏈上的供應商到客戶、運輸部門、展銷場所和終端客戶。傳感器、設備或玩家之間的每個節點都很脆弱，這時候不要指望供應商或其他第三方有保持數據的可靠性和防範違約的機制。

然而硬幣的另一面則是VR、AR可以作為幫助客戶提高整體安全和隱私策略的工具，例如，VR可以用其逼真的模擬天分用於災後重建和戰爭模擬，同樣，AR可以幫助公司更好地可視化他們面臨的網絡威脅。

那麼從哪開始呢？混合現實可能帶來全新的商業流程和用戶使用產品的方式，然而，由於MR的企業潛力還在增長過程中，這時候對其要求過高可能會導致挑戰，為了避免潛在的錯誤，請考慮採取以下初始步驟：

• 先自己試試：潛在的利益相關不要僅僅是火花一現就開始著手開公司，至少在做MR之前自己體會個透徹。

• 啟航：MR產品計劃應從思考「這些事情本該這樣達成」開始，而不是始於現有的交互。MR是和笨拙的靜態顯示天壤之別的存在，不要試圖逐漸改變既已存在的現實，從大膽的使用場景開始。

• 早點下手：鑑於MR現在的火爆程度，許多公司和政府機構都在積極地進行，許多公司已經進入了廣泛的生產投資，觀望態度只會使你進一步落後於你的競爭對手。

• 目光不要太長遠：將投資集中在當前潛在的領域，並設計一個儘可能鬆散耦合的架構，讓市場動搖，不要讓長期的不確定性幹擾短期利益。

• OT遇上IT：對於一些行業，MR可能會引發操作技術（OT）和信息技術（IT）之間的新層次的協作。最好的MR解決方案都會深入到核心應用中，和MEMS和機器對機器系統的集成很必要。這也可能需要一個新的治理和架構來在OT和IT之間進行協調。

結語

混合現實通過結合數字和物理現實整合了AR、VR和物聯網技術的潛力，它不是完全從真實世界中移除用戶，或是簡單地將內容疊加在視野上，而是將智能物理、重力、尺寸，甚至個性等數字內容按需添加到我們相應周圍空間上。進而模糊真實和想像之間的界限，同時消除幹擾我們做出快速決策、吸收和處理關鍵信息的障礙，在採取行動之前可視化可能發生的後果，或和個人和團體之間共享知識或任務。這不是科幻小說，而是未來。