康奈爾研發的手套不僅識別手勢,還識別觸覺

2020-12-17 青亭網

近年來,在Oculus Quest系列一體機的推動下,VR以更加「平易近人」的姿態切入C端遊戲市場,同時也讓更多VR玩家體驗到用手勢來交互的方式。Quest和Quest 2利用頭顯配備的4顆光學攝像頭和算法來識別手勢,優勢是低成本、性能足夠穩定、容易上手。

儘管如此,基於傳感器的手勢追蹤手套在準確性和靈敏性依然比光學識別方案更優秀,目前市面上已有包括BeBop、Manus等多種手勢手套方案,此前Facebook Reality Labs也曾展示過一項基於光線追蹤原理的手勢追蹤手套,看起來精準性比無手套方案更好,可以用於模擬鍵盤打字。

當然,現有方案幾乎很少用於C端,因為成本較高、體積外形較笨重,所以應用場景以B端為主。

近期,康奈爾大學科研人員研發了一種柔性手勢識別手套,特點是成本足夠低,而且不僅可以識別手勢,還能識別手指動作的力度、彎曲度和拉力,也就是說可以實現更加精準的手勢模擬。

據青亭網了解,該手套方案由康奈爾大學工程學、院副教授Rob Shepherd帶領的科研團隊研發,原理是結合光導纖維傳感器、低成本LED和吸光染料來追蹤3D的手勢變化。利用上述材料開發的手套體積足夠小、材質足夠靈活柔軟,同時製作工藝較簡單、可集成開發為設計輕便的手套產品。目前,科研人員計劃將該方案於明年商業化,應用於運動醫學、物理治療、AR/VR等場景。

那麼這款手勢識別手套方案具體是怎樣操作的?和其他方案有何不同?接下來就一起來了解一下。

據悉,Shepherd此前負責的有機機器人實驗室曾研發出多種柔性傳感器技術,其中一項的原理利用光電二極體識別光束通過光波導材質時強度的變化,來判斷光波導材料的變形程度。科研人員將這項技術用於提升柔性機器人的感知,還將方案中的傳感器與矽基材質結合,用於識別溼度、溫度和拉力。

不過,矽纖維材質並不兼容可延展的柔性電子元件,而且由於柔性材質變形的規律複雜,可能同時融合多種模式的變形,因此康奈爾科研人員研發了一種能夠分離不同變形模式的傳感器。

具體來講,科研人員研發了一種支持多模式傳感的柔性光導方案(SLIMS),即:一個包含雙彈性聚氨酯內核的長管,其中一個內核保持透明,另一個內核的不同位置注入吸光染料,並與LED燈相連。同時,與雙內核集成的RGB傳感器晶片用於記錄光束通過產生的幾何變化。

通過觀察光束通過染料,這種雙內核方案提升了傳感器可識別到的變形數據(包括壓力、彎曲、延長等)。也就是說,被LED燈照亮的吸光染料可作為一種可追蹤的空間編碼。接著,科研人員開發了一種可通過識別到的數據區分不同變形動作的數學模型,來推斷手指的確切位置,以及彎曲的力度。

除此之外,相比於此前的分布式光導纖維傳感器,SLIMS傳感器可搭配解析度較小的小型光電元件運行,從而降低成本、更容易製造、體積更小。

應用場景方面,該方案與柔性機器手集成後,可識別抓取物體時產生的滑動。另外,也可以集成於穿戴式AR/VR手套,科研人員利用3D列印技術只做了一款基於SLIMS傳感器的原型手套,採用集成式一體設計,配備鋰電池和藍牙模塊,可無線控制一些基礎軟體。據稱,手套識別手勢的速度幾乎實時。

總之,作為一款低成本手勢識別方案,康奈爾大學的手套原型可以做到市面上一些視覺手勢方案不具備的效果,比如識別觸覺交互、力度等等。

Shepherd表示:目前,手勢識別技術以視覺方案為主,但大多數幾乎不會去識別觸覺,而我們研發的手套方案同樣基於RGB光學原理,不止能識別手勢,還能識別觸覺反饋。

未來,這項技術有望應用於物理治療、運動醫學、AR/VR領域。尤其是在AR/VR應用場景,它可以識別手與虛擬物體的觸覺和力反饋,模擬更逼真的物理交互。舉個例子,在AR修車或換輪胎培訓中,準確模擬動作力度和物理效果相當重要,這樣學員才能在虛擬環境中感受擰螺母所需的力度,增強肌肉記憶。參考:康奈爾大學

相關焦點

  • 機械臂也有觸覺!康奈爾造了一雙「傳感手套」
    論文連結:https://science.sciencemag.org/content/370/6518/848一、雙段彈性光纖:從光路變化測運動信息該柔性傳感器目前的研究成果是一個3D列印出來的傳感手套,它不僅可以讓人類體驗更逼真的虛擬實境、進行運動康復,也可以成為機器人更靈活的「雙手」。
  • 康奈爾大學造出"傳感手套",機器也可以擁有觸覺
    大家在科幻電影中都看過這樣的畫面,主人公在身體受到傷害之後進行了再生,從而擁有了非常酷炫的機械肢體,如果機械肢體是冷冰冰的,那就沒有任何意義,除非它可以擁有"觸覺"。
  • 康奈爾大學用可伸縮分布式光纖傳感器研製低成本觸覺手套
    來源:映維網 作者 廣州客康奈爾大學的研究人員日前發明了一種結合低成本發光二極體和染料的光纖傳感器,並帶來成一種可以檢測壓力、彎曲和應變等變形的可伸縮「皮膚」。這種傳感器可以用於機器人系統和XR等領域,並為其提供人類在自然界生存所依賴的豐富觸覺感受。
  • 戴口罩也能識別面部表情?康奈爾研發耳機表情識別系統
    通常,面部識別技術基於攝像頭和計算機視覺算法,為了提升面部識別準確性,可能還會採用3D攝像頭或是多顆攝像頭陣列。但現在面臨的問題是,攝像頭方案需要檢測到完整的面部五官,在公共場合你也不得不摘掉口罩才能人臉識別,尤其是要用面部識別解鎖手機會比較麻煩。
  • 科學家研發可檢測手勢的智能手套
    打開APP 科學家研發可檢測手勢的智能手套 cnBeta.COM 發表於 2020-12-22 11:02:00 儘管市面上已經有能夠檢測用戶手勢的計算機視覺系統和配備傳感器的手套,但加州大學伯克利分校的一支研究團隊,還在此基礎上推出了一種更加科幻的替代方案。
  • 車載手勢識別「小規模量產」 國內有哪些技術提供商
    該產品基於未動科技自主研發的國內頂尖的3D手勢識別與3D人臉識別技術,實現車內智能座艙的非接觸式手勢控制、身份認證與駕駛員狀態監控,從而提供一種安全愉悅的車載人機互動體驗。未動科技(Untouch)正在加強和拓展與Tier1的合作關係,從而把視覺交互技術應用到更多的新車型中。
  • 谷歌推出基於AI的開源手勢識別算法,可識別單手21個骨骼點
    8月20日消息,谷歌發布全新的手勢識別技術,該技術集成於開源跨平臺框架MediaPipe(可為多種類型的感知數據構建處理流程),特點是採用機器學習技術,支持高準確性手勢和五指追蹤,可根據一幀圖像推斷出單手的21個立體節點。
  • 菜鳥程式設計師開發系統識別火影手勢,收穫大把二次元粉絲
    但是,手勢太多也容易搞混。這不,一位初學深度學習一年的印度小哥AngryCoder不僅把《火影忍者》裡面的手勢學了個遍,還用機器學習開發了一個系統,專門來識別這些手勢。熟悉《火影忍者》的小夥伴都知道,《火影忍者》裡面的每個手勢都有不同的作用,比如文摘菌最喜歡的影分身之術,當按照結印順序做出手勢後,就可以創造出和你一樣的身體。但是,各種功能和修煉等級配合不同的手勢,很難全部記下來,在艱難抉擇之下,小哥最後選擇了下圖的這些手勢進行識別:
  • FRL:基於4顆黑白攝像頭,Quest如何實現3D手勢識別?
    售價僅399美元,低成本的VR一體機Oculus Quest自推出以來不斷為使用者帶來多樣化的玩法,比如無線大空間體驗、PC VR模式(Link),甚至還支持手勢識別,讓人不得不誇讚它的性價比。
  • 科技湃丨蘋果獲懸浮手勢操控專利,比「手套模式」更準確
    科技湃丨蘋果獲懸浮手勢操控專利,比「手套模式」更準確 澎湃新聞記者 李怡清 2016-02-03 21:01 來源:澎湃新聞
  • 菜鳥程式設計師開發系統識別火影手勢
    這不,一位初學深度學習一年的印度小哥AngryCoder不僅把《火影忍者》裡面的手勢學了個遍,還用機器學習開發了一個系統,專門來識別這些手勢。然後就到了真正面對敵人的時候了,當你準確做出上述手勢之一,系統會將你的手勢進行識別,將其轉化成1和0的計算機語言,再將其送入訓練好的模型中進行識別,就可以得出最後的結果了。
  • 蘋果VR/AR觸覺手套專利、AR地圖專利公開
    (VRPinea 5月12日電)今日重點新聞:蘋果VR/AR觸覺手套專利公開;蘋果AR地圖專利公開;目前41.01%Steam用戶擁有VR Ready顯卡,總數約為5800萬01蘋果VR/AR觸覺手套專利公開
  • 手勢識別比賽奪冠,阿爾法蛋大蛋2.0的技術太強!
    說起阿爾法蛋大蛋2.0機器人,有不少家長和孩子最感興趣的就是TA的指讀功能:只要把小學語文英語課本放在TA面前,再用手指著課本上的詞句,大蛋2.0馬上就能聲情並茂地朗讀出來,屏幕上也會同步顯示所指的內容,還可以點擊進行跟讀評測。
  • 聯想ThinkReality A6 AR眼鏡新增手勢跟蹤和識別功能
    近期美國手勢跟蹤和識別軟體公司Clay AIR官網發文稱,聯想與該公司達成了合作,通過此次合作,聯想旗下ThinkReality A6 AR眼鏡將新增Clay AIR手勢跟蹤和識別功能。Clay AIR手勢跟蹤和識別技術在AR/VR設備中至關重要,通過該功能用戶可以在AR中的虛擬界面進行自然交互並創造更直觀的體驗。Clay AIR CEO Thomas Amilien表示:「與聯想的合作推進了企業設備獲得手勢跟蹤和識別技術功能的進程。
  • 科學家研發新系統,手勢即可操縱無人機完成各種動作
    該論文表示,這是一種新的人機互動模式,用戶直接與無人機互動,通過手勢就可以對其進行操控,減少了用戶學習無人機飛行的成本。 手套是DroneLight系統的輸入數據源,由控制器、傳感器和其他模組組成。研究人員事先為手套定義了五個不同的手勢,分別是字母S、K、O、L和J。 當用戶移動佩戴手套在空中繪製字母時,手套會跟蹤這些移動軌跡並將數據無線傳輸到基站計算機。計算機算法將這些手部運動匹配到先前被教定義的字母形狀。
  • FRL光追手套打字方案揭秘:平均速度73字/分鐘,錯誤率僅2.4%
    與此同時,用光追手套模擬打字也是FRL正在探索的輸入方式之一,目前它可以讓你在任何表面實現73字/分鐘的輸入速度,距離FRL的研究目標前進了一大步。今天,FRL在最新發布的一篇博客中詳細介紹了光追手套VR虛擬鍵盤方案的更多細節,以及為Quest開發手勢識別技術背後的故事和設計理念。
  • Xbox Series X主機上有觸覺指示 輔助玩家識別接口
    這是Xbox Series X的一項傑出的設計:主機的埠上添加了觸覺指示,在埠被遮擋而看不見或者盲人的情況下幫助玩家接線走線。
  • 手勢識別、多點觸控、拍照上傳,綿陽這款「黑板」還有哪些打開方式?
    四川在線記者 祖明遠12月9日,中國(綿陽)科技城工業技術研究院舉行線上發布會,會上發布了由綿陽科技企業研發的「交互式智慧黑板」,除可作為顯示器展示視頻或文字課件外,還支持手勢識別、多點觸控、拍照上傳等,可方便地實現交互,提高課堂展示效果。
  • 馬上金融自主研發唇語識別系統上線
    近日,馬上金融自主研發的唇語識別活體檢測系統正式上線,並應用於風控反欺詐場景,成為消費金融智能風控領域的一項重要創新性突破。據悉,該系統集人臉識別、機器視覺、語音識別及自然語言處理等多種AI技術於一身,識別通過率達96.67%以上,識別速度在3s以內,能夠有效降低線上欺詐風險,提升用戶體驗。目前,人工智慧與金融業務的深度融合正在產生深刻變革。
  • 能手勢識別!InBody Band參展CES 2015
    點擊任意圖片,進入讀圖模式