微軟演示觸覺反饋控制器PIVOT,VR中摘蘋果更逼真

2021-01-10 砍柴網

來源:映維網

當你嘗試伸手從蘋果樹上摘下一顆蘋果時,你會獲得一系列不同的感知體驗,如抱握蘋果時的硬度,拽拉蘋果時的樹枝阻力,摘下蘋果後手掌承受的蘋果重量,以及指尖觸碰蘋果時的光滑圓潤等等。

微軟研究院近年來在控制器方面取得了穩步的進展,而團隊一直致力於實現一種能夠匹配頭顯逼真視覺的觸覺反饋。對於NormalTouch等設備,團隊可以在指尖模擬虛擬對象的表面傾斜質感與紋理;CLAW能給你一種用手指抓握對象以探索其順應性和彈性的感覺;而TORC則帶來了接近於現實世界的靈活度水平。利用所述原型,你可以感知虛擬蘋果皮,擠壓虛擬水果,並且用手把玩移動。但為了在虛擬環境中實現與虛擬蘋果的完全交互,我們必須同時考慮對象的空間動態。現在,微軟提出了一種全新的控制器Haptic PIVOT,把力的物理性質帶到虛擬實境控制器。PIVOT屬於腕戴設備,是一種包含觸覺手柄的可攜式組件,可根據需要在手上來回移動。

相關論文:Haptic PIVOT: On-Demand Handhelds in VR

如果牛頓需要從一顆從虛擬樹上掉下來的虛擬蘋果中找到關於運動定律和引力定律的靈感,他將需要一個類似於PIVOT的控制器。通過將PIVOT固定到手腕,團隊可以渲染拋接對象的動量和阻力。這一切都受牛頓定律的控制,包括模擬對象到達手部時的速度:機器化的觸覺手柄在需要時展開,接近並最終到達手部,從而創造從空手到握著對象的首次接觸感覺,並以傳統手持控制器所無法做到的方式模擬我們與物理對象的自然交互。由波茨坦大學、微軟研究院、史丹福大學和蘇黎世聯邦理工學院組成的團隊研究了PIVOT的性能和限制,並共同撰寫發表了名為《Haptic PIVOT: On-Demand Handhelds in VR》的論文。另外,所述小組將在本周舉行的2020 ACM Symposium on User Interface Software and Technology (UIST)大會介紹Haptic PIVOT。

PIVOT能夠按需提供關於虛擬對象的控制和觸覺渲染。它包括一個通過電動鉸鏈展開(左)和收回(右)的觸覺手柄。被動橈尺鉸鏈允許自然的手部傾斜。

1. 從物理到虛擬:按需提供

PIVOT的核心是鉸鏈機制和觸覺手柄。觸覺手柄屬於可換組件,能夠置換為現有的控制器。但在PIVOT的研究中,團隊為原型手柄配備了一個可以檢測對象接觸和釋放的電容式觸控傳感器;一個用於提供振動反饋的音圈致動器;以及一個用於控制輸入的觸發開關。觸覺手柄通過一個改進的伺服電機(驅動鉸鏈)工作,並且可以根據需要釋放到手掌,不需要時則收起以保持雙手自由。這種能力讓PIVOT成為增強現實或混合現實場景的理想選擇。例如,你可以正常操作鍵盤,使用滑鼠,或者處理其他物理對象。只要需要,你快速擺動手腕即可啟動PIVOT,並將手柄旋轉釋放到手掌,這樣你就可以與虛擬對象進行交互。再次擺動手腕,手柄就會收回。兩個召喚動作都由一個內部加速度計進行檢測。

PIVOT可允許用戶的雙手自由活動,並在需要控制器時提供支持。手腕的快速擺動可以把觸覺手柄旋轉到手中。這種隨需應變的能力在增強現實或混合現實場景中非常有用。

基於電容式傳感器的感知,當用戶握著手柄時馬達就會停止運轉。被動橈尺鉸鏈可允許用戶在繼續握住手柄的同時左右移動(最高60度)和上下移動手腕。為了防止觸覺手柄在靜止位置和激活位置之間移動時撞到拇指,電動鉸鏈會向手部傾斜,而不是垂直於手部。另外,團隊設置了190度的工作範圍以防止手柄在不使用時妨礙用戶。

2. 原力與你同在

當與虛擬對象交互時,PIVOT將會閃耀其真正的威力。以從樹上摘蘋果為例。從蘋果進入工作範圍的那一刻起,機械、電子、固件和軟體就開始協同工作,直到蘋果停在用戶的手掌。

諸如微軟HoloLens這樣的頭顯可以針對雙手進行計算機視覺追蹤,這樣控制系統就可以檢測到用戶何時開始接觸目標,比如說蘋果。當蘋果位於30釐米的工作半徑內時,PIVOT會把觸覺手柄移動到一個預備位置。當用戶手部靠近蘋果不到10釐米時,手柄會按比例靠近,並在用戶用手指握住虛擬蘋果時落在手掌。手柄的移動速度與用戶伸手摘蘋果的速度一樣快,這樣可以提供非常逼真的衝擊模擬。沿手柄表面布置的四個電容式觸摸區會註冊用戶與手柄的接觸,並通過串行通信接口向虛擬手部發送信號,從而致使虛擬手部在用戶真實手部握住手柄時圍繞蘋果閉合。使用不到1毫秒的輪詢,接口提供了符合用戶期望的觸覺響應即時性。

當用戶伸手摘蘋果時(左圖),PIVOT會按比例將觸覺手柄旋轉到用戶手掌(右圖)

當拽拉蘋果時,你會遇到來自樹枝的預期阻力,因為PIVOT會通過馬達嘗試將觸覺手柄從用戶手部拉走。這種阻力將持續到蘋果從樹枝分離,這時音圈致動器將產生「砰」的感覺,然後用戶會感覺到蘋果落在手掌的衝力和重量。PIVOT不會將手柄拉走,而是將其壓入手掌,從而產生一種衝力和重量感。PIVOT可以在手掌和手指渲染這些力,因為它是基於手腕而不是手掌。只要簡單地轉動手部,鬆開手柄,你就可以把壞蘋果扔到地上,或者把一個好蘋果放到籃子裡。另外,當戴在兩個手腕時,PIVOT可以促進雙手的交互,比如用手柄撿起籃子裡的蘋果。設備可通過同步各自的觸覺反饋來呈現抓握的感覺。

雙手穿戴PIVOT可以實現雙手交互的觸覺反饋。在這裡,被試正在拉伸和壓縮籃子,設備將同步向雙手渲染推拉力

3. 來玩球吧

在圍繞手腕穿戴PIVOT進行設計時,團隊首先考慮的是棒球。從向擊球手投球,再到跑向一壘,手臂會經歷很多事情。其他運動同樣如此。通過納入一種手腕形狀參數或設計,設備可以在不幹擾玩家周圍物理環境的情況下提供更廣泛的活動性。

利用PIVOT,你可以拋接虛擬對象。接住飛行中的虛擬對象的反應時間要短於抓住靜止的虛擬對象(團隊可以通過視覺-運動錯覺來模擬以55.9英裡/小時的速度投擲對象)。與模擬靜止對象的抓握一樣,接住虛擬對象的模擬要求PIVOT和視覺輸入正確對準,從而在對象碰到手部時進行精確的渲染。可以針對高速運動實現更大的碰撞半徑,從而提高設備的響應能力。

就像把蘋果扔到籃子一樣,投擲依靠PIVOT感知手部的運動和觸覺手柄的釋放。這與虛擬對象的釋放相吻合。鬆開後,馬達以物理正確的角速度(最高0.55毫秒/度)嘗試將手柄從手掌中拉走。換句話說,手柄可以在340毫秒內從被抓握到完全收回(大約190度),這是眨眼所需的時間。這種人與人之間的拋接對象和傳遞對象模擬不僅可以用於體育遊戲,而且可以擴展到虛擬工作場所內的協作。例如,在實際製造產品之前,工人或設計師可以以全新的方式感受虛擬設計或產品的力感。

PIVOT不僅可以幫助你抓握虛擬蘋果,還能夠允許你把蘋果扔到籃子,往外拋擲蘋果,以及接住飛過來的蘋果。

4. 終極前沿

觸感是渲染的終極前沿。一旦你能夠在虛擬實境和增強現實中實現令人難以置信的逼真視覺效果,接下來你就要模擬與這種虛擬對象的自然交互。這時,觸覺將登上舞臺中心。

如今,虛擬實境的視覺效果已經能夠達到身臨其境和引人入勝,以至於當你戴上虛擬實境頭顯並進入一個蘋果掛在樹枝上的虛擬世界時,你會情不自禁地想伸手摘下它。但當你伸手去摘那隻蘋果,卻感覺不到它的光滑和硬度、樹枝往後拉的阻力、或者它在掌心的重量時,這種錯覺就會破滅。藉助PIVOT這樣的觸覺控制器,微軟的研究人員正在努力解決這一難題。

原文連結:https://yivian.com/news/79156.html

相關焦點

  • 利用Vive控制器 微軟為視障者設計VR手杖控制器
    儘管虛擬實境似乎能夠為視障人士創造一個全新的界面來與虛擬空間進行交互和實現導航,但新技術使得視障者更難以將他們已經在日常生活中熟悉的技能轉移到虛擬實境。為此,微軟研究院發明了一種新穎的手杖型控制器(把Vive追蹤器安裝在手杖型設備上),其能夠模擬盲人所使用真實的手杖,從而為視障者打開了一扇新的大門。這種杖控制器採用了一系列不同的觸覺反饋路線來模擬虛擬表面的觸感,紋理和聲音。
  • 韓國研究員研發力反饋VR控制器ElaStick,用彈性筋模擬柔性運動響應
    來源:映維網 作者 夢秋觸覺技術為增加虛擬實境的真實感提供了一個巨大的機會。事實上,用於遊戲和仿真的觸覺控制器能夠顯著提高相關體驗的真實性和享受性。用戶對虛擬世界的感知受到有形代理和觸覺錯覺的極大影響,再結合視覺界面,這將有助於改變用戶的感官體驗。業界和學界已經出現了眾多既利用觸覺反饋又利用力反饋的系統。過去的大多數努力都是由商業可行性和經濟可行性驅動,而這往往會導致人們更傾向於使用振動電機來產生觸覺反饋,而不是更複雜的機械裝置。
  • Facebook新AR/VR專利提出「用於觸覺反饋的氣動控制觸覺機制」解決...
    針對這種情況,社區正在研究一系列的解決方案,比如說力反饋手套。日前,美國專利商標局公布了一份名為「Pneumatically Controlled Haptic Mechanisms For Haptic Feedback(用於觸覺反饋的氣動控制觸覺機制)」的Facebook專利申請。包括多個Pod(莢)的可穿戴設備示意圖。
  • 最新的索尼VR頭顯專利擁有觸覺反饋和佩戴傳感器
    然而,即便像這樣的新專利出現時,展示了具有觸覺反饋和有助於舒適性的傳感器的設計,該公司將何去何從仍是一個謎, 本周,let Go Digital發布了一份專利申請,展示了一種確保玩家正確佩戴耳機,從而在使用過程中不會造成不適的設計。
  • 這項新技術讓VR控制器長出幻肢
    使用手持控制器的VR遊戲玩家都知道它會使你看到的遊戲畫面和你用雙手所做的動作產生違和感,從而產生從遊戲體驗中剝離出來的錯覺。於是在由東京大學Eisuke Fujinawa領導的一項研究中,一支學生團隊創建的程序希望用於設計物理感覺體積更大的緊湊型VR控制器,來模擬更加逼真的觸感,提出了「觸覺形狀幻覺」這個概念。
  • vr是什麼
    vr是什麼?  對於vr很多人還感覺到比較陌生,並不知道這是什麼意思,代表著什麼技術,其實vr也就是虛擬實境,下面我們具體介紹一下vr是什麼,它有哪些特徵,具體應用領域在哪些地方等等,我們全方位了解一下。vr是什麼技術?
  • 機器擁抱「觸覺反饋」的正確姿勢是什麼? | 雷鋒網公開課
    劉碩:在觸覺反饋技術市場中,我們是沒有競品的。Immersion於1993年創立,至今在haptics觸覺反饋技術領域已有20多年的研發經驗積累和技術創新。去年6月,公司在紐交所舉行了隆重的儀式,慶祝haptics觸覺反饋技術已經成功覆蓋30億臺硬體設備。
  • vr虛擬實境技術原理是什麼
    現在VR越來越火了,既有價格幾元錢的眼鏡盒子,也有幾千塊的VR一體機等等,讓人很是詫異,那麼到底vr虛擬實境技術是什麼東西呢?vr虛擬實境技術原理是什麼?如何才能實現虛擬實境這樣聽起來似乎有點不可思議的技術?一起來看看下面對vr眼鏡的核心技術的詳細解析!
  • Facebook探索氣動型AR/VR觸覺反饋手套
    實際上,FRL Research正在與康奈爾大學的研究人員開發一種搭載柔性氣動執行器、可以「測量局部力」、並為用戶提供「觸覺反饋柔性組織在機器人技術中特別有用,因為柔性組織的低模量和大可擴展性能夠允許製造出幾乎可以變形成任何狀態而不會斷裂的靈活機器人。
  • MRTK V2 演示視頻中展示了微軟HoloLens 2神奇的手動交互
    上周末,微軟首席用戶體驗設計師Dong Yoon Park錄製了一段HoloLens 2視頻,並在YouTube MRTK頻道上分享。給我留下了深刻的印象,展示了HoloLens 2有多麼的強大。Park的視頻並沒有在工作中展示該設備及其軟體的商業化演示,而是給了我們一個令人耳目 一新的第一人稱視角,通過微軟的開源混合現實工具包(MRTK)手動交互組件來了解該系統 的真正性能。視頻的一部分展示了我今年早些時候描述的邊界框交互。
  • 機器人與觸覺傳感技術的碰撞,一文初探人類與機器人的觸覺傳感
    將這些不同來源的數據融合成更有意義的、更高層次的狀態表徵也是感知過程的一部分。多個傳感器可以提供更及時、成本更低的信息。此外,由於傳感器的工作速度不同,可以並行處理它們的信息。在需要與環境交互來完成的任務中,可以將觸覺感知與其他感知方式相結合,以提高任務完成的準確度和魯棒性。典型的感知融合方式有觸覺感知與視覺、動覺線索、力矩和距離感測的結合等等。
  • 可以感知觸覺的假肢:複製神經反饋迴路,讓截肢者行走更容易
    可感知觸覺的假肢這個假肢試圖複製神經系統的反饋迴路問題:雙腿行走的正常人依靠神經和大腦之間不斷的反饋來走動。但使用假肢的人沒有這種腦-足循環反饋迴路,這會讓他們更難自信地走路。結果:志願者在三個多月的時間裡接受了一系列測試,在有和沒有神經反饋的情況下交替進行試驗。他們發現,有神經反饋的步行對身體和精神的要求要低得多。在人類和老鼠身上先前已經進行過幾次假肢感覺反饋系統的測試,但這是首次在膝上截肢者身上實時演示這種反饋恢復情況。
  • 微軟的調查問卷疑似為Xbox控制器增加PS5新功能
    儘管有少量的耐用性問題,但它仍然通過新的觸摸和反饋給遊戲帶來了新的體驗。雖然微軟新推出的Xbox控制器很優秀,但相比之下幾乎是有趣的,這讓被玩家戲稱為大控制器廠商的微軟坐不住了。近日,微軟向購買Xbox系列X|S的新用戶發出問卷,詢問他們對未來的預期體驗。在這些問題中,有一個引起了特別的關注,就是問玩家是否對PS手柄的功能感興趣,是否希望將這些功能添加到Xbox中。
  • 這種新型觸覺反饋手套,可利用人工肌肉賦予更真實的觸感
    據外媒報導,能夠向用戶傳輸觸覺反饋的聯網手套,無論是來自遙遠地點的物體還是虛擬實境環境,無疑都能帶來一些有趣的可能性。澳大利亞從事這一領域工作的科學家們展示了一種新的設備,他們稱通過利用更接近人們觸覺的柔軟人工肌肉,提供了比以前的解決方案更真實的體驗。
  • 索尼PSVR新專利曝光:頭顯帶有觸覺反饋及傳感器
    索尼PSVR新專利曝光:頭顯帶有觸覺反饋及傳感器;腦機接口公司OpenBCI針對VR/AR頭顯構建硬體與軟體平臺 看日報是個好習慣。
  • PS5手柄續航問題解釋 觸覺反饋密集遊戲更消耗電量
    YouTuber Dave Lee在自己的PS5評測視頻中透露,當遊玩《Astro’s Playroom》遊戲時,DualSense手柄持續了4個小時,這還是在持續產生觸覺反饋的遊戲場景中。此外,此外,在遊玩《漫威蜘蛛俠:邁爾斯》時,Dualsense手柄持續了5個半小時,因為其觸覺反饋相對一般。
  • 深度 探索實物與VR間重量轉換的方法
    步驟2:探索其他感官線索除了「舉起」和「抓拿」這兩種機制,我們覺得探索出能夠轉換重量的反饋的其他形式很重要。後來證明有2種形式:視覺反饋和觸覺反饋。在任何一種情況下,當用戶的控制器接近某個物體的拉力閾值時,我們都會刻意使用戶對「張力」的感覺更加明顯。
  • 什麼是VR? 什麼是AR? AR和VR哪一個更高級?
    AR和VR哪一個更高級?時間:2016-06-14 09:06   來源:三聯    責任編輯:沫朵 川北在線核心提示:原標題:什麼是VR? 什麼是AR? AR和VR哪一個更高級? AR和VR的區別是什麼?什麼是VR?什麼是AR?哪一個更高級一些呢?下面一起來看看相關介紹你就知道了。
  • 對比三大主流觸覺反饋技術:ERM、LRA、壓電各有什麼優劣?
    觸覺反饋(Haptic feedback)並非新技術。我們回到1960年代,就能發現採用振動反饋向用戶發送信息的首次設備更迭。過去用於產生振動的系統,目前仍然在低成本設備中用於產生基本的觸覺反饋。
  • Apple Pencil可以通過振動和轉移重量來增加觸覺反饋
    Apple Pencil作為一種實現方式,與iPhone或Apple Watch等其他物品有很大的不同,因為它不向用戶提供觸覺反饋。作為輸入設備,它根本不提供任何形式的反饋,而是依靠配對的iPad或iPad Pro為用戶提供某種形式的刺激。