文/VR陀螺 朱瑾
隨著技術的發展,VR、AR、MR的界限也越來越模糊。就在本月17號,HTC發布了一款Vive SRWorks SDK,讓開發者可以利用Vive Pro的前置攝像頭實現AR功能。而這款SDK一經推出就引起了人們的廣泛注意,因為它的開放極大地拓寬了開發者的想像力,並為內容開發提供了無限可能性。
借著香港環球資源電子展的機會,陀螺君對HTC北亞區總經理鮑永哲進行了專訪。而對於HTC此次推出的SDK,鮑永哲也表示:「5G時代已經來臨,VR與AR的界限也很難再劃分得很清楚。」
SRWorks SDK是什麼?
據HTC Vive的官方解釋,SR指的是「See through Reality」。這款SRWorks SDK是通過Vive Pro的兩個前置攝像頭,為開發者提供一個可以創建AR體驗的工具。開發人員現在可以使用立體聲前置攝像頭創造新的體驗,將透視立體相機視圖與虛擬世界混合在一起,並利用立體聲RGB傳感器執行3D感知和深度感應。
開發者可以完全控制pro的前置相機以開發自己的混合現實體驗。該SDK包括三個模塊:深度模塊、透視模塊和三維重建模塊。這是一套基礎工具,通過前置攝像頭,允許開發人員使用該數據創建有趣體驗,而這些體驗可以是純粹的AR或VR體驗,也可以是兩者的組合。
HTC還表示,SRWorks SDK包含對Unity和Unreal插件的本地開發支持,並且可以實現以下功能:
深度
空間映射(靜態和動態網格)
將虛擬對象放置在前景或背景中
與虛擬對象進行實時以及簡單的手勢交互
在視頻中,我們可以看到用戶能夠抓起虛擬道具丟到真實世界的場景中,且道具的物理反饋相當不錯。除此之外,用戶還可以拉出一個連接虛擬世界的傳送門,可進行場景的無縫切換。除此之外,還能看到Vive Pro可以通過攝像頭對場景進行識別,這展示了空間映射模塊如何創建房間內幾何圖形的模型以供應用程式使用。
除了SDK外,團隊還更新了OpenVR相機API。目前Vive SRWorks SDK可通過HTC的開發人員門戶網站下載測試版。
採用新工具,Vive Pro的前置立體相機可以有效模擬AR眼鏡將在未來實現的理想體驗,即具有精確跟蹤且身臨其境的寬視場和環境映射。這將可能成為開發人員構建未來XR硬體所需的優秀開發工具包。
對於那些希望能夠開發將現實與虛擬結合在一起的內容的開發者們來說,Vive Pro提供了新的選擇。相比起註冊Magic Leap SDK,並嘗試從該公司獲取難以獲得的硬體,同時還要嚴守保密協議來說,選擇Vive Pro來開發MR內容要容易得多。這可以幫助開發者們在一個更加開放的環境中快速實現他們的想法。
Project Ghost Studios是受邀利用這款SRWorks SDK進行內容開發的早期合作夥伴,他們通過這款SDK開發出了一款新遊戲。
在這款演示視頻中,我們可以看到用戶頭戴Vive Pro,透過攝像頭看到真實世界的場景,並可以在真實場景用手柄擊打虛擬小怪獸。同時,虛擬場景和現實場景還可以快速切換。
Project Ghost Studios的董事長Gaspar Ferreiro解釋道:「我們在今年年初有幸受到了HTC的邀請,成為小部分特邀開發者之一來研發涉及Vive Pro雙攝像頭的新SDK。我們最終得以揭曉這項研究成果。我們希望這個視頻能夠向你展示Vive Pro可以實現的部分新功能,以及這為故事敘述與沉浸式內容提供的全新可能性。」
兩個前置攝像頭的真正作用
Vive Pro是HTC Vive推出的專門針對高端市場的VR頭顯,自公布以來就備受矚目。但其前置攝像頭在之前並未過多引起人們的注意。
「我們最初的雙鏡頭設計是為了更好的安全性,用戶在使用時可以設置把攝像頭打開,其實對於第一代vive,有一些用戶反饋表示覺得攝像頭不夠真實或開的時間點不對。所以我們在設計產品的時候希望能夠對新產品的安全性做得更好,」鮑永哲說道。「到中後期時,發現雙鏡頭可以做see-through,還能提供深度信息,所以工程師內部產生一些比較開放的想法,覺得可以利用雙鏡頭做更多事情。」
有了深度信息之後,設備就可以實現一些簡單的slam、see-through、overlay的功能。所以HTC Vive選擇對開發者開放新SDK,從而更好地利用雙鏡頭。
鮑永哲透露,Vive團隊有試著把自己的遊戲和實際環境做結合,但由於內部的studio只有兩三個團隊,在創意上無法和瘋狂的遊戲開發者們相比,而團隊認為這項功能應該可以開發出更多的用途,所以希望開放SDK讓大家使用,並在未來做更多不同的嘗試。
「看你們怎麼用,我們也可以互相借鑑。以後未來的某一代鏡頭可能做得很好,就可以做成see-through的VR,」鮑永哲笑言。
他還補充道:「我在自己公司內部負責策略和產品。AR對消費端市場來說應用的方向是什麼還沒有看的很清楚。但通過這一樣一步一步積累很多開發者的開發和創意,也可以幫助我去找到一些方向。」
對於Vive Pro這項新功能,目前HTC Vive也還處於嘗試的階段。「我們希望用雙鏡頭做更多不同的事情,不管是一些物體辨識還是更多功能,我們都願意跟所有的partner合作。」
眾所周知,VR頭顯的Inside-out定位追蹤正是通過攝像頭來實現的,但目前HTC Vive並不考慮改變設備的追蹤方式。鮑永哲表示,「有別的公司用自己的算法做我們也歡迎,但我們自己不做。至少自己沒有往這個方向考慮。」
而對於這項新功能是否會對電腦運行產生壓力的問題,鮑永哲稱由於Vive Pro主要還是靠燈塔定位,因此深度信息的處理任務並不重。而背景貼合是由相機直接收錄,且精度並不算高,因此對電腦CPU和GPU的壓力並不會很大。
雖然這款SDK極大開拓了Vive Pro的可能性,但對於我們所期待的「VR當成AR用」的場景,Vive Pro暫時還無法實現。鮑永哲解釋道:「AR的應用場景主要還是在室外,而不是固定的房間。但我們的產品還是要依靠電腦和lighthouse,變成AR設備的可能性不高,因為用途不對。」
但同時他也表示,隨著技術的發展,未來有產品能夠走出室外,那麼實現這個場景也不是不可能。
我們的聯繫方式:
商務合作 | 採訪 | 投稿 :
西瓜(微信號 18659030320)
文靜(微信 mutou_kiki)
交流分享 | 爆料:案山子 (微信 shimotsuki_jun)
投稿郵箱:tougao@youxituoluo.com
推薦閱讀