康奈爾研發的手套不僅識別手勢,還識別觸覺

2020-12-20 青亭網

近年來,在Oculus Quest系列一體機的推動下,VR以更加「平易近人」的姿態切入C端遊戲市場,同時也讓更多VR玩家體驗到用手勢來交互的方式。Quest和Quest 2利用頭顯配備的4顆光學攝像頭和算法來識別手勢,優勢是低成本、性能足夠穩定、容易上手。

儘管如此,基於傳感器的手勢追蹤手套在準確性和靈敏性依然比光學識別方案更優秀,目前市面上已有包括BeBop、Manus等多種手勢手套方案,此前Facebook Reality Labs也曾展示過一項基於光線追蹤原理的手勢追蹤手套,看起來精準性比無手套方案更好,可以用於模擬鍵盤打字。

當然,現有方案幾乎很少用於C端,因為成本較高、體積外形較笨重,所以應用場景以B端為主。

近期,康奈爾大學科研人員研發了一種柔性手勢識別手套,特點是成本足夠低,而且不僅可以識別手勢,還能識別手指動作的力度、彎曲度和拉力,也就是說可以實現更加精準的手勢模擬。

據青亭網了解,該手套方案由康奈爾大學工程學、院副教授Rob Shepherd帶領的科研團隊研發,原理是結合光導纖維傳感器、低成本LED和吸光染料來追蹤3D的手勢變化。利用上述材料開發的手套體積足夠小、材質足夠靈活柔軟,同時製作工藝較簡單、可集成開發為設計輕便的手套產品。目前,科研人員計劃將該方案於明年商業化,應用於運動醫學、物理治療、AR/VR等場景。

那麼這款手勢識別手套方案具體是怎樣操作的?和其他方案有何不同?接下來就一起來了解一下。

據悉,Shepherd此前負責的有機機器人實驗室曾研發出多種柔性傳感器技術,其中一項的原理利用光電二極體識別光束通過光波導材質時強度的變化,來判斷光波導材料的變形程度。科研人員將這項技術用於提升柔性機器人的感知,還將方案中的傳感器與矽基材質結合,用於識別溼度、溫度和拉力。

不過,矽纖維材質並不兼容可延展的柔性電子元件,而且由於柔性材質變形的規律複雜,可能同時融合多種模式的變形,因此康奈爾科研人員研發了一種能夠分離不同變形模式的傳感器。

具體來講,科研人員研發了一種支持多模式傳感的柔性光導方案(SLIMS),即:一個包含雙彈性聚氨酯內核的長管,其中一個內核保持透明,另一個內核的不同位置注入吸光染料,並與LED燈相連。同時,與雙內核集成的RGB傳感器晶片用於記錄光束通過產生的幾何變化。

通過觀察光束通過染料,這種雙內核方案提升了傳感器可識別到的變形數據(包括壓力、彎曲、延長等)。也就是說,被LED燈照亮的吸光染料可作為一種可追蹤的空間編碼。接著,科研人員開發了一種可通過識別到的數據區分不同變形動作的數學模型,來推斷手指的確切位置,以及彎曲的力度。

除此之外,相比於此前的分布式光導纖維傳感器,SLIMS傳感器可搭配解析度較小的小型光電元件運行,從而降低成本、更容易製造、體積更小。

應用場景方面,該方案與柔性機器手集成後,可識別抓取物體時產生的滑動。另外,也可以集成於穿戴式AR/VR手套,科研人員利用3D列印技術只做了一款基於SLIMS傳感器的原型手套,採用集成式一體設計,配備鋰電池和藍牙模塊,可無線控制一些基礎軟體。據稱,手套識別手勢的速度幾乎實時。

總之,作為一款低成本手勢識別方案,康奈爾大學的手套原型可以做到市面上一些視覺手勢方案不具備的效果,比如識別觸覺交互、力度等等。

Shepherd表示:目前,手勢識別技術以視覺方案為主,但大多數幾乎不會去識別觸覺,而我們研發的手套方案同樣基於RGB光學原理,不止能識別手勢,還能識別觸覺反饋。

未來,這項技術有望應用於物理治療、運動醫學、AR/VR領域。尤其是在AR/VR應用場景,它可以識別手與虛擬物體的觸覺和力反饋,模擬更逼真的物理交互。舉個例子,在AR修車或換輪胎培訓中,準確模擬動作力度和物理效果相當重要,這樣學員才能在虛擬環境中感受擰螺母所需的力度,增強肌肉記憶。參考:康奈爾大學

相關焦點

  • 機械臂也有觸覺!康奈爾造了一雙「傳感手套」
    ,它不僅可以讓人類體驗更逼真的虛擬實境、進行運動康復,也可以成為機器人更靈活的「雙手」。▲康奈爾大學研究團隊研發的傳感手套該套手套的亮點就是每個手指上的SLIMS傳感器(多模式傳感的可拉伸光導,stretchable lightguide for multimodal sensing ),主要研發人員之一
  • 康奈爾大學造出「傳感手套」,機器也可以擁有觸覺
    大家在科幻電影中都看過這樣的畫面,主人公在身體受到傷害之後進行了再生,從而擁有了非常酷炫的機械肢體,如果機械肢體是冷冰冰的,那就沒有任何意義,除非它可以擁有"觸覺"。康奈爾"傳感手套"康奈爾大學的研究人員通過3D列印的方式,創造了一雙"傳感手套",它可以讓機械臂擁有"觸覺"。該套手套的亮點就是每個手指上的SLIMS傳感器,主要研發人員之一Hedan Bai曾表示SLIMS的靈感來自於二氧化矽材料的分布式光纖傳感器。
  • 康奈爾大學用可伸縮分布式光纖傳感器研製低成本觸覺手套
    來源:映維網 作者 廣州客康奈爾大學的研究人員日前發明了一種結合低成本發光二極體和染料的光纖傳感器,並帶來成一種可以檢測壓力、彎曲和應變等變形的可伸縮「皮膚」。這種傳感器可以用於機器人系統和XR等領域,並為其提供人類在自然界生存所依賴的豐富觸覺感受。
  • VR要成為下一代計算平臺還得靠手勢識別? | 雷鋒網公開課
    手勢識別的實現路徑有哪些?技術原理是什麼樣的?現在的手勢識別方案主要有四種:第一種是機械手勢識別,例如DExmo;第二種,慣性傳感器,Ahrs九軸的noitem的動捕手套就是這種;第三中是基於彎曲傳感器的方案;最後一種是最自然的手勢,基於視覺的手勢識別,例如leapmotion、Kinect和ThisVR等。我們主要聊一下基於視覺的方案。
  • 手勢識別已起步,要想厚積薄發還得先找準剛需
    這類技術的缺點就是不能識別動態手勢,只能識別預設好的靜態手型,拓展性差;而優點就是,該技術實質上是一種模式匹配技術,研發難度及硬體要求低;二維手勢識別,與手型識別一樣,不含深度信息,但它可以識別動態手型以及追蹤簡單的二維手勢動作,例如對著攝像頭進行滑動操作。
  • 以彈性波智能觸覺識別為核心技術,「鈦方科技」已推出壓感觸控...
    在日前結束的2020年CES上,「鈦方科技」對外展出了公司自研的彈性波智能觸覺技術。成立於2015年的鈦方科技以彈性波智能觸覺識別技術為核心技術,研究智能設備的交互與感知,並推出了相關的解決方案。而鈦方的技術就是利用傳感器接收這種極細微的波信號,通過信號處理和智能算法分析,識別接觸力度和接觸位置等信息。」鈦方科技創始人杜朝亮博士告訴36氪。簡單來說,彈性波智能觸覺識別技術是一種可以識別出多種材料和多類結構上接觸的力度、位置和模式的技術。
  • 烏克蘭研究人員發明超級手套 能讓手勢變成語言
    烏克蘭研究人員發明超級手套 能讓手勢變成語言 2012-07-13 14:30:01 來源:網上輕紡城 據英國《每日郵報》7月10日報導,一組烏克蘭研發人員發明了可將手勢轉換為聲音的高科技手套
  • 【尖端】使用可伸縮的觸覺手套學習人類抓取的特徵
    5月29號,《自然》雜誌上發表了一篇論文:MIT的研究人員研發出了一種配有傳感器的觸覺手套,從而學習人類抓取物體時的特徵。  雖然基於計算機視覺的機器人抓取策略已經取得了大量的可視化數據和新興的機器學習工具,但目前還沒有相應的傳感平臺和大規模數據集來探測人類在抓取物體時所依賴的觸覺信息的使用情況。
  • 康奈爾研發可伸縮傳感器:給虛擬實境體驗觸覺互動
    來源:新浪VR 康奈爾大學的研究人員已經創造了一種結合了低成本led和染料的光纖傳感器,從而產生了一種可拉伸的「皮膚」,可以檢測諸如壓力、彎曲和張力等變形。
  • Facebook新研究:結合手勢識別技術,將任何物體變成AR/VR手柄
    據了解,Gripmarks利用手勢識別技術,通過與預設手勢進行對比,識別使用者握住易拉罐等物體的手勢,並計算器手中物體的形狀,為該物體生成支持交互的虛擬界面。具體來講,當你握住一樣物體時,你需要做出特定手勢來將它作為手柄激活,接下來的使用方式類似於手機觸屏,你可以在該物體上進行多種不同功能的選擇,比如播放媒體、計算等等。將周圍物體作為手柄的好處在於,可進一步增強AR/VR的沉浸感,在與虛擬界面交互的同時,還能感受到真實物體帶來的反饋。
  • 百度研發全新語音識別系統 準確率超谷歌
    北京時間12月19日消息,據《福布斯》雜誌網絡版報導,百度在美國康奈爾大學arXiv.org網站發表論文稱,已經研發出了全新語音識別系統Deep Speech,準確率超過了谷歌和蘋果的產品。百度研發全新語音識別系統 準確率超谷歌(圖片來自Forbes)    百度首席科學家吳恩達表示,Deep Speech使用了端對端的深度學習技術,如果按照衡量語音識別系統出錯率的標準基準
  • 加州大學伯克利分校研發用於手勢識別的可穿戴生物傳感系統
    帶有印刷柔性電極的自適應機器學習功能的可穿戴生物傳感系統,用於手勢識別想像一下在沒有鍵盤的情況下在計算機上打字,在沒有控制器的情況下玩視頻遊戲或在沒有輪子的情況下駕駛汽車。這是加利福尼亞大學伯克利分校的工程師開發的一種新設備的目標之一,該設備可以根據前臂中檢測到的電信號識別手勢。
  • 有了隔空手勢識別,移動AR也能變得更好玩?
    其優勢在於不需要AR頭顯、追蹤手套、搖杆、AR標記,用手和手機就能進行交互。不過,將物理原理應用在手勢交互上並不容易,有時候用戶容易將手放錯位置,甚至直接將手指插入AR物體中。除了調節適應手勢操作外,布朗大學的科研人員還加入了感知反饋機制,比如用點亮AR物體、手機振動等方式來提示手勢的交互。關於優化實驗接下來,就一起來看看布朗大學科研人員的整個實驗過程吧。
  • Facebook探索氣動型AR/VR觸覺反饋手套
    然而,本次活動並沒有介紹FRL Research的一個富有前景的手套項目。實際上,FRL Research正在與康奈爾大學的研究人員開發一種搭載柔性氣動執行器、可以「測量局部力」、並為用戶提供「觸覺反饋」的3D列印型手套。
  • 3D手勢識別背後的技術
    現在,人機互動技術已邁上了更高的臺階,進入了手勢識別時代,不過這也並不是一帆風順的。手勢識別現已在娛樂及遊戲市場出現,然而這種技術將對我們的日常生活產生怎樣的影響呢?不妨假想一下,有人坐在沙發上,只需一揮手就能操控燈光和電視,或者汽車自動檢測附近是否有行人。隨著手勢識別技術支持人機互動的不斷深入發展,這些及其它功能將很快得以實現。
  • 新研發3D交互手套會說話 未來可用手勢唱歌(圖)
    一名戴著手套的女歌唱家邊演唱邊做手勢,隨著手勢變化,3D交互手套發出高低起伏的不同聲音,原本女歌唱家的清唱變成一段二重奏3D交互手套聲似電影復仇裡黑武士的聲音  【搜狐科學消息】據外國媒體報導,科學家研發出一種會說話的3D式交互手套,與人類優雅的聲音相比之下,其發音聲似電影復仇裡黑武士的神秘聲音
  • 馬維英:抖音將在農曆新年加入更多的手勢識別應用
    會上,字節跳動副總裁兼人工智慧實驗室負責人馬維英發表了演講,闡述了今日頭條、抖音等產品背後的AI技術應用,並透露抖音在農曆新年將加入更多的手勢識別應用。馬維英表示,字節跳動利用人工智慧技術,實現了內容分發的智能化、個性化、社交化和無處不在。
  • 亮風臺聯合Inuitive,Heptagon,國際合作展現手勢識別實力
    近日,亮風臺在京舉辦HiAR 產品大會,隆重發布新一代AR眼鏡HiAR Glasses,據悉新一代產品完整加入了手勢、語音等自然人機互動方式,智能程度較上一代產品有了質的提升。其中,自然手勢功能由亮風臺聯合國際化公司Inuitive及Heptagon共同研發。實現自然手勢操作,需要軟體和硬體的深度配合。
  • 讓聾啞人發聲:華人學者發明神奇手套,手語識別率達98.63%
    這是一副神奇的手套,可通過智慧型手機應用程式將聾啞人的手語實時轉換為語音,使用便捷且價格便宜。 研究負責人、加州大學洛杉磯分校薩穆埃爾工程學院助理教授陳俊說,希望該發明能幫助那些手語使用者與其他人進行正常交流。當然,該裝備也可以幫助正常人學習手語。
  • 如何玩轉基於電場感應原理的3D手勢識別技術?
    當年蘋果藉由電容觸控屏,將鍵盤、滑鼠、軌跡球等一眾技術拉下馬的景象,相信很多人還記憶猶新。而今天,人機互動技術似乎又來到了升級換代的門檻上,誘惑著開發者和用戶往裡走的種種因素中,手勢識別技術絕對算是最強的一股力量,特別是3D手勢識別。畢竟,舉手投足間就可以讓電子設備對用戶的「心思」做出響應,將是一件很酷的事情。