「MR研究小組」是Unity實驗室新成立的團隊。該團隊旨在研究MR/AR技術的影響和未來應用方向，並據其制定戰略，幫助Unity開發者理解開發、設計和使用遊戲和應用的新方向。
小組進行深入研究，以長遠的眼光假設未來，並做出預測，使命是支持開發者更好地走向未來。
本系列共有三篇文章，分別為：
上篇：MR應用
中篇：MR設計挑戰
下篇：MR的未來願景
本系列的上篇闡述了MR的現狀和將來可能面臨的問題，並點明了其在主流應用中的定位；中篇則探討了開發者在新興的MR媒介中所面臨的設計挑戰；本文為 本系列的第三部分，也是最後一部分，我們將分析基礎平臺會如何發展，並概述我們如何創建和執行MR應用的願景。
基礎MR服務
Unity提供的用於創建應用程式的工具和服務，以及應用本身，必須與一系列基礎服務相互作用。因此，為了了解MR的未來方向，我們退後一步，全盤思考。
Facebook在2014年收購了Oculus，開啟了消費者VR設備和應用的最新潮流，正因為如此，MR已經被預測成為下一個計算平臺。高盛在2016年初表示，VR和AR具有「從特定用途的出現到更廣泛的計算平臺」的潛力。2017年3月的福布斯一篇題為《下一代移動計算平臺：一副眼鏡》的文章預計，MR眼鏡將取代手機、顯示器和電視，基礎軟體和服務將隨之發展。
路透社曾將這個新興平臺稱為增強現實、人工智慧和雲服務的組合。各大科技公司提供了他們各自的觀點和措施。Clay Bavor將VR和AR結合在一起，將人工智慧和機器學習看作是「Google組織世界信息的下一階段任務」。
通過Windows 10秋季創作者更新和VR / AR設備，微軟的目標是建立一個「讓每個人都創造的平臺」。今年6月，蘋果公司推出了iOS 11的ARKit，他們的主題演講展示了A11仿生晶片與其用於面部識別的人工智慧神經引擎。
作業系統和平臺服務在不斷發展，包括沉浸式技術的功能。Android Nougat在作業系統級別引入了對虛擬實境的支持和優化。Windows混合現實平臺API成為通用Windows平臺的一部分。蘋果的新硬體是為AR和AI而構建的，作業系統和SDK緊密耦合以便優化使用。現在，MR作業系統還需要什麼？它是什麼樣子的？
第14屆USENIX作業系統熱門話題研討會的一篇論文探討了作業系統如何演進支持AR應用。由於AR需要自然的用戶輸入，作者在對現實世界的持續感知的背景下重新構想輸入。他們分析了用戶隱私機制，因為敏感的信息與原始數據混雜在一起。此外，他們認為傳感器輸入訪問不應該限制在一個應用，而希望讓來自不同供應商的多個AR應用程式同時讀取傳感器輸入，並在共享的3D現實中呈現虛擬疊加層。
他們還指出，傳統GUI中的合成窗口抽象不再可行，所以作業系統必須演變為「將3D對象作為顯示抽象，並在3D空間中執行顯示隔離和管理」。在AR應用中非常常見的功能，如計算機視覺和人工智慧，應該從應用程式轉移到專用的作業系統模塊。
現在我們正在重新思考「內容或服務等於應用程式圖標」的原則。我們認為，MR應該是以人為本，以物為中心，以世界為手段（也稱為「可點擊的世界」）。因此，我們正在重新審視應用程式被呈現為單獨圖標的概念，從前的應用必須由用戶點擊圖標才能執行。
在這個計算機視覺和人工智慧為基礎服務的新型計算平臺中，我們設想不僅在用戶要求時，而且在用戶需要時應用就能出現。例如，當玩家拿起nerf槍時，遊戲可以自動啟動，或者人們從冰箱中拿出食物時，微波爐自動出現烹飪指南。
在之前的文章中，我們也提出了預測：MR設備外部的傳感器將存在於我們周圍的物理空間。物聯網將與MR可穿戴設備雙向通信。這種情況很可能是受到弗諾·文奇的《彩虹盡頭》的啟發：「現在到處都是神秘的機器。它們伏在牆上、坐在樹上、甚至散落在草坪。他們每天24小時都默默無聞地工作。 」
但是已經有一些通用感應的例子，比如卡內基梅隆大學的合成傳感器計劃。正如Greg在中篇提到的那樣，我們需要傳感器來更好地理解物理世界。保持用戶與周圍的有形世界的連接，也能夠在混合的現實中操作物理對象。目前允許這種雙向通信的例子是Reality Editor和Open Hybrid。
對於新興的MR計算平臺來說，這意味著MR眼鏡上的作業系統服務應該擴展輸入/輸出設備的概念，包括它識別、連接並在運行時控制新的非本地硬體（即識別並連接到進入空間時的環境傳感器，或在運行時與智能室外攝像機進行識別和互動），以便應用程式不必每次都重新實現。
因此，根據目前的趨勢，我們對下一個計算平臺作出了若干個假設：
1.連接性不會成為問題：第五代（5G）無線網絡將與固定寬帶競爭。光保真（LiFi）通信已經部署，預計很快將在美國、歐洲或其他地方迅速發展。
2.作業系統和平臺將包括機器學習和計算機視覺服務（在雲中運行），並允許與物聯網進行雙向通信。
3.雲服務將允許存儲持久性矩陣，即物理世界的數字副本以及同步的共享混合現實。這樣，設備就成為了持久現實的窗口。
4.連接到物聯網的各種傳感器和設備將處於環境中，並與MR設備雙向通信。
當然，我們並不能確切知道這些假設將如何實現，以及Unity這樣的引擎構建的功能有怎樣的影響。此外，數據隱私和安全影響也需要所有參與者深入考慮。我們希望我們的實驗帶來一些答案，使混合現實以正確的方式成為主流。
增強應用
在上一節中描述的世界中，我們設想MR體驗採用情境應用的形式，如博客第二部分介紹的名片。這些類型的應用將需要改變傳統創作方法。
首先，我們希望在需要時MR體驗可以自己啟動。創作者應該指定啟動應用程式必須滿足的條件，我們使用「情境觸發」這個術語來定義它：
情境觸發是激活MR體驗的虛擬或物理環境標準。它是某個時間、GPS坐標、接近某個物理對象、基準標記，網際網路設備上的序列號以及通過腦機接口、神經科學和機器學習的進步的組合。情境觸發來自用戶的意圖、偏好和行為。
其次，我們解決了應用作為獨立的可執行文件在自己的內存空間上運行的問題。相反，我們將情境應用定義為決定MR體驗的數據集合，並且可以訪問持久的現實。簡而言之，我們「增強」交互式應用由以下三點組成：
1.情境觸發器
2.應用程式邏輯，即交互規則：如何與用戶和世界進行交互
3.資源：在客戶端上呈現的3D / 2D視覺效果和音頻。
情境觸發器和應用程式只是目前還處於基礎概念階段。目前我們正在對其進行詳細闡述和原型設計，但是還有很多問題需要回答：當3D對象是顯示抽象時，Unity畫布應該是什麼樣子？如何將物理對象帶入創作過程？調試器或旁觀者模塊在編輯現實的時候如何？「編輯現實」是最重要的主題。我們不僅要考慮應用程式如何實現虛擬和物理現實交互，還要考慮創建這些應用程式的過程。
下面的視頻探索了如何在MR內部創建MR情境應用。用戶界面應該是乾淨、微妙、高效、具有情境的。但是我們要不斷重新思考用戶體驗和互動，走向屏幕消失的未來。
本文信息源於unity3d博客。編譯：羅小魚
編輯推薦
黑五優惠信息匯總：這次不買，再等一年