微軟公開四個VR觸覺研究,讓你像《頭號玩家》一樣觸摸VR世界

2020-12-20 雷鋒網

雷鋒網(公眾號:雷鋒網)按:最近,史匹柏的《頭號玩家》熱映,劇中,男主能通過觸感手套、X1體感套裝真切地與虛擬世界互動。電影之外,如何在虛擬實境中獲得觸感,如何更自然地交互是目前的研究者最關切的問題。雷鋒網了解到,最近,微軟研究團隊公開了四個最新的虛擬實境研究成果:CLAW、Haptic Wheel、Haptic Links、Canetroller,它們能夠更好地幫助用戶 「觸摸」 到虛擬場景中的物體,盡情感受虛擬世界的奇妙。

本文由"微軟研究院AI頭條"譯自「Touching the Virtual: How Microsoft Research is Making Virtual Reality Tangible」,雷鋒網經授權轉載。

雖然 VR 和 AR 在過去 30 年裡取得了巨大的進步——已經能夠為用戶提供夢幻般的視覺和 3D 音頻世界,但當我們伸出手去觸摸那些虛擬物體時,幻想就會瞬時破滅,用戶觸摸到的只有空氣。

虛擬觸覺難以實現有很多原因。看過電影的人都明白,眼睛和耳朵可以被每秒 24 幀的電影欺騙,但是觸覺卻很不同,它要更複雜。實現虛擬觸感的一部分挑戰來源於硬體。在實驗室中,設計一個適合個人用戶穿戴的手持式設備往往很困難,目前許多原型設備僅僅能夠模擬特定的感覺,例如質地、溫度或重量,這種設備往往缺乏吸引力。而更加複雜的機械技術則可能導致設備太昂貴,太大或太脆弱而無法出現在消費市場。

微軟研究團隊一直在探索如何利用現有技術在手持式 VR 控制器上模擬產生多種觸覺感受,使用戶能夠觸摸和抓住虛擬物體,感受指尖在物體表面的滑動。他們的夢想是讓用戶能與虛擬數字世界進行更自然、更多元的交互。

CLAW

CLAW 是微軟研究團隊開發的第一款新型多功能觸覺控制器,通過使用單個電機,CLAW 將 VR 控制器的概念擴展至一款多功能觸覺反饋工具。CLAW 有一個獨特的機械臂,當用戶手握手柄、手指轉動時(如下圖),這個機械臂能夠模擬力反饋。

圖 1:(左)CLAW 的配置和組件;(右)CLAW 模擬用戶抓取物體並觸摸虛擬物體表面

作為一個多功能控制器,CLAW 包含普通 VR 控制器的所有功能(拇指按鈕和操縱杆、6DOF(Degree of Freedom)控制、食指觸發器),以及為最常見的手部交互時啟用的各種觸覺渲染:抓取物體,觸摸虛擬表面,以及接收力反饋。

CLAW 的獨特之處還在於它能夠通過感知用戶的抓握情況和虛擬情境環境之間的差異來調整觸覺渲染。當用戶嘗試握住虛擬物體時(如下圖),該裝置會在食指和拇指之間產生阻力,模擬出物體被握住的感覺。嵌在食指支架中的力傳感器通過改變電機的反饋讓用戶 「感受」 物體的不同材料。

如果用戶握住手柄並做出指向手勢(如下圖),那麼 CLAW 會提供觸摸感覺。手指尖朝向虛擬物體表面移動時,CLAW 會產生阻力,將手指推回並阻止手指穿透虛擬表面。此外,當食指沿著虛擬表面滑動時,安裝在食指尖端下方的音圈會產生小振動來模仿物體的表面結構觸感。

感知用戶施加的力量也可以幫助用戶與虛擬物體進行交互。例如在虛擬繪畫程序中,程序可以通過感知用戶的手的力度來調整畫筆的力度。


Haptic Wheel

為了進一步模擬食指對虛擬物體的材料和表面摩擦的觸覺體驗,微軟還開發了另一種新的觸覺控制器——Haptic Wheel。Haptic Wheel 使用的驅動轉輪通過上下移動來模擬手指與虛擬物體表面的觸碰,並且通過旋轉來模擬用戶沿著虛擬表面滑動時產生的剪應力(shear forces)和滑動感。

當用戶觸摸虛擬物體表面時,轉輪會上升並接觸到指尖,然後開始旋轉來模擬指尖與虛擬物體表面的摩擦。


圖 2:(左)當用戶將手指懸停在轉輪的藍色區域表面上方時,渲染引擎將合適的轉輪表面移到手指下方;(中)當用戶在虛擬環境中接近黑色區域邊緣時,渲染引擎會轉動轉輪以使跟黑色邊緣一樣的材質接近手指;(右)在手指懸停在較小的黑色表面上時,渲染引擎會調整轉輪的增益,以便正確模擬出手指接觸兩個邊緣的感覺。

該設備的轉輪是可替換的,可以包含各種物理觸覺元素,以便在用戶探索虛擬環境時為用戶提供不同的感受。當用戶探索虛擬環境時,渲染引擎會根據環境為手指傳遞適當的觸覺感受。例如,在虛擬紙牌遊戲中,當用戶觸摸卡片、撲克籌碼或桌子時,該裝置就會旋轉轉輪以在指尖下面呈現適當的紋理感受。當用戶沿著表面滑動時,轉輪會在手指下面旋轉以產生剪應力和滑動感。


圖 3:在不同虛擬環境中,Haptic Wheel 定製的包含不同觸覺感受的轉輪


Haptic Links

在觸覺探索中,另一個難以解決的問題是如何模擬在 VR 或 AR 應用程式中使用雙手的情況。 比如說雙手拿著一個盒子感覺它的大小,或者使用雙手在弓箭上感受到那種拉力。


圖 4:模擬用戶在虛擬環境中雙手使用的工具

Haptic Links 由幾種類型的連接器組成,這些連接器能夠在兩個手持式 VR 控制器之間提供不同的剛度感受。Haptic Links 可以動態地改變用戶雙手之間感受到的力量,以支持渲染各種雙手使用的物體以及與人之間的交互,使控制器表現得就像一個雙手使用的工具。它們可以約束控制器之間的特定自由度或運動方向,也可以設置在一定範圍內的剛度,以模擬不同的摩擦、粘度或張力。通過這些方式,Haptic Links 使 VR 場景中的交互更加真實,給人以身臨其境之感。

微軟做了三個 Haptic Links 的原型設備。每種設計都各有折衷和優勢,使其最適合某種特定應用。Chain 原型設備(圖 5 中)採用由球窩元件組成的高度鉸接式鏈條。一根強力電纜穿過整個鏈條並連接到每端的推桿電機(linear actuators)上。通過推桿電機的運動來控制鏈條的鬆緊,進一步控制用戶的操作空間。



圖 5:Haptic Links 的 3 個不同原型設備

Layer-Hinge(圖 5 左)使用球形接頭來調節控制器的旋轉,使用鉸鏈來控制它們之間的距離。它的優點是能選擇性鎖定控制器運動時的自由度。此外,它可以相對精確地控制每個關節的摩擦力,使得該裝置在鉸鏈和球窩關節中模擬出連續的一定範圍內的剛度值。

Ratchet-Hinge(圖 5 右)在控制器底部使用類似的球形接頭,但用雙棘輪結構取代了鉸鏈,能夠獨立制動向內或向外的運動。當兩個棘輪嚙合時,齒輪是固定的;兩個棘輪都脫開時,齒輪可以自由旋轉。當一個棘輪脫開時,齒輪可以在一個方向上自由移動,但不能沿相反方向移動。定向選擇性功能可以實現獨特的力反饋交互。

Haptic Links 可以改善虛擬環境中需要雙手操作的物體的感知真實性,而不會過於影響兩個控制器的正常交互。


Canetroller

 「傳統」 的虛擬實境體驗本質上是強烈視覺化的,因此視覺受損者通常無法使用。微軟研究院開發的 Canetroller 原型設備,則希望讓視力受損人士在虛擬環境中也能夠使用手杖進行導盲。

Canetroller 提供三種類型的反饋:(1)由可穿戴式、可編程制動器產生物理阻力——模擬虛擬手杖碰到虛擬物體;(2)振動觸覺反饋——模擬手杖撞擊物體或者划過各種表面時產生的振動; (3)3D 聽覺反饋——模擬真實世界手杖發出的聲音。


圖 6:一位盲人正在使用 Canetroller

Canetroller 可以讓低視力者和盲人在不同的虛擬空間中進行模擬導盲訓練,減少他們在日常環境中的危險。微軟希望這項工作能夠激勵研究人員和設計人員設計更有效的工具,使 VR 更具包容性,考慮到世界各地各種不同的群體。

微軟研究團隊在虛擬觸覺方面的這些創新,一方面希望可以激發其它研究者的想像,另一方面也希望能為視障等特殊人群帶來新的應用和希望,幫助他們改善生活質量。此外,研究人員還希望這些創新能夠鼓勵更多的消費產品使用觸覺渲染技術。相信觸覺產品很快就會讓 VR 和 AR 產品更加逼真和身臨其境。

雷鋒網版權文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 當VR還原觸覺:你能虛擬體驗手中蘋果滑落的感覺
    ,使我們朝著虛擬實境(VR)體驗前進,最近,微軟最新的VR觸覺研究——「PIVOT」,提出了一種極度真實的VR接球和投擲體驗。研究人員還用一組「野外求生」的視頻演示,真實感難以置信。 VR讓虛擬的世界無限逼真,但在某些方面,VR的效果並不是特別令人滿意。
  • Oculus VR手套新專利曝光 玩家可同步感受VR內容觸覺反饋
    據悉,兩項專利都與觸覺反饋VR手套有關。OculusRift手柄專利顯示,觸覺反饋手套將所謂的「Tendons」(跟人類肌肉的肌鍵有些相似)植入加重器,在VR世界內模擬觸感。Tendons在用戶手背上排在線,當你觸摸對象時,它會生成阻力,也就是說當你完成各種任務時,比如按下按鈕,撿起東西,感覺會更真實。Oculus觸覺反饋VR手套專利圖不過,需要注意的是,手套上似乎只有兩條Tendons,分別對應拇指和食指。
  • 我的世界vr版怎麼玩?我的世界vr版玩法攻略,帶你玩嗨我的世界!
    隨著vr日益火熱,眾多廠商也越來越重視內容的建設,這不火熱的我的世界也加入老人VR遊戲的行列,讓這款遊戲成為了名副其實的VR遊戲,那你們是不是也行痒痒了呢?想不想換個方式玩我的世界呢?那我們就來解決實際操作中的一些小問題和玩法攻略吧,別太沉迷哦近日既推出三星Gear vr配適的我的世界後,推出了支持Oculus Rift VR的版本,相較以前的版本,新版本將包括對鍵鼠的支持;VR控制選項使得用Xbox One手柄「搬磚」更加舒服;視效設置如抗鋸齒等可以使用更強大的圖像處理器;VR特定選項允許玩家調整VR體驗而不影響原本的遊戲
  • 在虛擬世界感受觸覺?港城大青年學者研製皮膚VR
    2020年中國「35歲以下科技創新35人」入選者于欣格在現場介紹觸覺反饋電子皮膚的最新進展。于欣格現年34歲的于欣格是香港城市大學生物醫學工程系助理教授,他開發了一種超薄類皮膚、無線的電子觸覺反饋系統,該系統可以實現多觸覺感知。相關研究於2019年在學術期刊《自然》上發表。于欣格介紹,在電影《頭號玩家》中,所有人生活在虛擬和現實之間。
  • 《頭號玩家》裡標配的觸感手套,在現實中做到哪一步了?
    《頭號玩家》原著小說完成於 2011 年,電影被設定在了 2045 年,離我們並不遙遠。雖然現在的 VR 技術還無法做到那樣真實,但研究方向基本和影片中類似,用技術模擬五官感受,「欺騙」大腦。電影中最重要的 VR 設備之一就是觸感手套,而這樣的交互方式在現實中已有雛形。
  • VR設備銷量大漲,這幾款遊戲搭配VR技術一定非常酷炫
    最近有權威媒體表示,在2025年前後,vr遊戲在全球將有4500萬的活躍。作為一種新興的遊戲技術,vr確實有著非常廣闊的前景,這三款遊戲未來若是能和vr技術相結合一定非常有趣。1.《方舟:生存進化》《方舟:生存進化》是一款發行於2015年沙盒冒險類遊戲,在遊戲中,玩家將扮演人類在神秘的方舟世界進行生存,這裡是一個虛擬的開放遠古世界,無數早已滅絕的遠古野獸都紛紛在這裡復活,玩家需要合理運用資源和生存技巧來保證自己的存活。
  • 日本的VR體驗店業績火熱,為什麼國內的VR產業普及不快?
    虛擬實境技術(VR)主要包括模擬環境、感知、自然技能和傳感設備等方面,除了計算機圖形技術所生成的視覺感知外,還有聽覺、觸覺、力覺、運動等感知,甚至還包括嗅覺和味覺等感知內容。雖然VR技術發展速度較快,但是由於人體感知系統的模擬難度大、硬體設備成本高,使得VR產品的推廣難度比較大。
  • VR恐怖遊戲《紙娃娃》上線PS VR應用商店
    故事以父親與女兒對話開始,談話結束後,玩家被帶到一個古老而廢棄的寺廟之中。從那裡,玩家需要找到失蹤的女兒。為了創造儘可能最沉浸的環境,我們為遊戲開發了一種新的運動系統,其中包含最小化模擬疾病症狀的技術,讓玩家更好地參與到故事之中。
  • 臺灣VR產業聯盟主席高煥堂:VR行業快速入門法,從技術應用、商業模式說起
    你所看到目前的AR\VR遊戲其實都是很小的,並不是遊戲大廠所做的。所以目前在遊戲這塊,並不會衝突到手遊和桌遊。遊戲大廠之所以採取保留態度,道理很簡單,因為目前的頭顯(VR頭盔)普及率不高,也就說像HTC到現在賣了20W臺,對遊戲來講,10W20W甚至百萬臺都太少,所以遊戲廠商提不起興趣。AR的手遊其實已經存在很久,比如最近流行的口袋怪獸。所以對手遊不會造成很大的衝擊。
  • vr體驗館加盟為什麼那麼火vr體驗館加盟多少錢
    第8感vr主題樂園之所以推出這樣一款9DVR虛擬實境體驗館,是因為中國消費者對虛擬實境非常感興趣。  9DVR虛擬實境體驗館肯定會極大的受到歡迎,在上世紀90年代,虛擬實境已經掀起過一次熱潮。當時人們對虛擬實境報有極大的熱情,但是由於技術跟不上而停止了下來。而這一次虛擬實境同樣讓人們熱切地關注,但是由於設備的昂貴,所以在全球也有百分之九十八的人沒體驗過。
  • VR虛擬實境在遊戲行業的應用優勢
    虛擬實境技術最先在娛樂領域落地,大家最熟悉的3d電影,ar互動遊戲等,近幾年,vr技術在網頁遊戲中的應用也逐漸生成,那麼虛擬實境在遊戲領域的應用優勢有哪些呢虛擬實境技術可以大大增強遊戲的真實感、沉浸感,結合手、眼、耳多感官上刺激人的興奮感。
  • 康奈爾大學研究觸覺反饋設備,讓VR體驗更加真實
    虛擬實境(Virtual reality ,VR)能夠把我們的視覺和聽覺帶入數字世界——這兩種技術在VR上的應用已經非常廣泛,並且逐漸臻於成熟。但是,當今的技術還不足以讓我們在VR頭戴設備施展觸覺、嗅覺和味覺。
  • vr體驗館加盟多少錢VR虛擬實境眼鏡體驗館加盟
    而第8感vr主題樂園的9DVR虛擬實境體驗館,則是一個已經落地的遊樂項目。到商業廣場中的9DVR虛擬實境體驗館,花幾十塊錢就可以馬上體驗一次大家都沒有體驗過的虛擬實境電影。  因為VR注重沉浸感,所以連接VR頭顯的電腦硬體要求非常高。現在全球僅有不到1%的電腦可以支持虛擬實境頭顯,原因是電腦的核心GPU達不到要求。
  • ·黑龍工作室宣布推出VR射擊遊戲《the Scraptown shot - out》
    美國狂野西部的主題類似於Guns『n』Stories的視頻遊戲:防彈VR,High Noon VR,以及Cogs和Cowboys,Scraptown Shoot-Out是一個瘋狂的第一人稱射擊遊戲(FPS),故事發生在一個機器人橫行的世界。「你發現自己在對抗腐敗執法機器的入侵時寡不敵眾,武器裝備也不足。
  • VR/AR行業投資機會系列文章: 域名篇
    好的域名是稀缺資源就跟美女一樣,供不應求,眾星捧月,能抱得美人歸的必然是人中龍鳳,非富即貴,非高即帥。因此域名不僅僅是一個網站地址,品牌門牌號,更是一個公司品牌的構建組成以及實力的象徵。這就是為什麼網際網路巨頭們,特別是電商類對流量敏感的巨頭比如:樂視的le.com,小米的mi.com,京東的jd.com都是花了幾千萬上億的血本,就是因為域名象徵品牌、實力、美譽度以及最重要的流量!
  • VR眼鏡品牌推薦:告訴你VR眼鏡買什麼牌子好
    VR眼鏡品牌推薦:告訴你VR眼鏡買什麼牌子好 來源:www.18183.com作者:皮卡時間:2016-06-23 現在VR眼鏡成為娛樂應用的新熱點。對普通消費者來說,vr眼鏡哪個好,vr眼鏡有哪些品牌也成為了熱切關心的話題。
  • vr怎麼連接電腦屏幕 vr眼鏡怎麼連接電腦教程
    vr怎麼連接電腦屏幕,很多人買了vr頭盔不知道vr怎麼用,下面VR中文網小編就來談談vr設備怎麼連接電腦的具體使用方法。現在世面上有兩種vr設備,一種是自帶顯示屏的,我們叫做vr頭盔,另外一種是僅提供一個架設與鏡片,要放手機上去觀看的,我們叫做vr眼鏡。
  • VR大型遊戲設備價格一套vr設備大概多少錢
    如今社會的快速發展,開一家VR體驗館是很多投資者都覺得是個非常好的項目,但是在選擇的時候難免會麻痺大意。無論是多好的投資項目,面對偌大的市場,強大的競爭壓力,都要在投資之前了解並清楚VR體驗館行情,還有對VR大型遊戲設備價格一套vr設備大概多少錢要了解清楚,這對於創業者來說是非常重要的。
  • 從《上古捲軸5》VR版來看端倪
    在《頭號玩家》推波助瀾之後,VR遊戲再度成為玩家熱議的話題。影片中展現的立體式綠洲世界、真實的交互場景以及拳拳到肉的對戰系統,都是目前受制於技術而難以實現的遊戲體驗。在史匹柏導演的鏡頭下,這個遙不可及的世界仿佛就在眼前。
  • VR遊戲《Budget Cuts》推出新版本
    Arcade版有四個「全新的關卡和任務」,哈裡森說。《Budget Cuts》的最佳玩家將免費獲得新的Arcade版。目前並沒有關於Arcade版本何時到來的消息,更多細節我們將持續關注。題圖來源:roadtovr原文連結:https://www.roadtovr.com/budget-cuts-getting-levels-launch-new-arcade-version/