提臂、握拳、翻肘!簡單手勢+肌肉信號近乎「無縫」操控無人機

2020-12-11 DeepTech深科技

愛因斯坦曾說,「唯一真正有價值的東西是直覺」。

但直覺這種東西很難言傳身教,尤其是對機器而言。如何讓機器感知人類直覺並作出正確的反饋?這可能是每個人都會關心的問題。

我們想與機器實現如人與人間那樣的無縫交流,但使用預先指定的語音/觸控螢幕命令或設置複雜的傳感器後,往往讓機器變得很笨拙。讓機器理解我們的非語言暗示,比如手勢,可能是實現更廣泛人機協作的重要一步。此外,肌肉信號也可以為機器提供難以從視覺上觀察到的狀態信息。

一項來自麻省理工學院計算機科學與人工智慧實驗室(MIT CSAIL)研究學者的新研究,或許可以實現「近乎無縫」的人機協作。相關論文已發表在本月 ACM/IEEE 國際人機互動會議上。

「我們設想這樣一個世界——機器可以幫助人類進行認知和體力勞動。但要做到這一點,機器需要主動適應人類,而不是人類去適應機器。」麻省理工學院計算機科學與人工智慧實驗室主管、論文作者之一丹妮拉·羅斯(Daniela Rus)教授說。

在一個名為「Conduct-A-Bot」的系統中,研究人員通過在肱二頭肌、肱三頭肌和前臂上放置肌電圖和運動傳感器,使用簡單手勢和肌肉信號成功操控了機器的動作。該系統旨在減少普通用戶與機器交互的障礙,通過使用少量可穿戴傳感器和即插即用的機器學習算法,為人類與機器助手或其他電子設備進行更自然的交流建立了新的可能。

研究學者表示,該系統可用於各種潛在場景,包括電子設備上的導航菜單和監督自主機器人。在這項研究中,測試對象為「Parrot Bebop 2」無人機,通過旋轉手勢、握緊拳頭、緊繃手臂和移動前臂等動作,控制無人機向左右、上下和前後移動,以及旋轉和停止。

結果顯示,無人機在 1500 次實驗中正確識別了 82% 的手勢,識別準確率較高。

圖|各類手勢的識別準確度。(來源:CSAIL)

在無人機試驗中,基本手勢對應動作如下:

緊繃上臂,使無人機停止運動(類似於人在犯錯時表現出的短暫畏縮):肱二頭肌和肱三頭肌信號;

單手左右、上下擺動,使無人機側向或垂直移動:前臂肌肉信號(用前臂加速度計指示手的方向);

握拳,使無人機向前移動:前臂肌肉信號;

順時針/逆時針旋轉,使無人機轉向:前臂陀螺儀。

圖|使用手勢、可穿戴肌肉和運動傳感器操控無人機。(來源:CSAIL)

快速理解人類手勢,有助於機器對人類在日常生活中使用的非語言信號作出正確反饋。「該系統可以幫助我們與機器進行無縫互動,就像人與人那樣。」論文第一作者約瑟夫·德爾普雷託(Joseph DelPreto)表示。

在此次無人機試驗中,該系統無需離線校準或訓練數據就能檢測預定義的手勢,只需簡單佩戴 EMG(肌電圖)和 IMU(慣性測量單元)傳感器,就可以遠程操控無人機。佩戴在肱二頭肌和肱三頭肌上的肌電圖傳感器用於檢測上臂肌肉何時緊繃,前臂上的肌電圖和運動傳感器則用於檢測手勢和肌肉信號。

圖|肌電圖傳感器監測肱二頭肌、肱三頭肌和前臂肌肉。(來源:CSAIL)

當研究人員在做控制機器的手勢時,該系統會根據來自肌肉的信號進行自動校準,從而使普通用戶可以更快、更容易地與機器互動。在這一過程中,該系統利用機器學習算法同步處理採集到的肌肉信號,實時檢測手勢,且無需進行任何離線校準。

機器學習分類器使用可穿戴傳感器檢測手勢。無監督分類器對肌肉和運動數據進行處理,並對其進行實時聚類,學習如何將手勢與其他動作區分開來,神經網絡也可以通過前臂肌肉信號預測手腕的彎曲或伸展。

圖|記錄肌肉和運動信號。(來源:CSAIL)

研究人員表示,「這個系統使我們實現與機器無縫工作的願望又近了一步」,它們會成為更有效和更智能的工具以完成日常任務。

然而,要想在現實場景中普遍有效,就需要保證該系統簡單可用。研究人員表示,該系統根據以前用戶的數據進行訓練,而不需要每個用戶提供新的訓練數據;該系統只使用兩、三個可穿戴傳感器,不需要其他多餘的東西,大大降低了普通用戶與機器互動的障礙。

這種類型的系統最終可以應用於人機協作的一系列應用,包括遠程探測、個人助理機器人,或者像運送物品或搬運材料這樣的機械任務。

此外,該系統可能為未來的非接觸工作開闢一個新領域。比如,在保持一個安全距離的前提下,我們可以控制機器人打掃醫院病房、為病人開藥等。

未來,研究小組希望擴大測試對象範圍,比如增加更連續的或用戶自定義的手勢。最終,研究人員希望機器可以從這些人機互動中自我學習,從而更好地理解任務,提供更有預見性的幫助,增加它們的自主權。

相關焦點

  • 麻省理工學院開發系統 使用肌肉信號控制無人機
    來源:【cnBeta.COM】麻省理工學院的研究人員創造了一個新的系統,能讓我們更接近於人與機器人的無縫協作。這套系統被稱為 "行為-A-Bot"。它利用可穿戴式傳感器發出的人體肌肉信號來駕駛無人機,控制無人機的運動。
  • 靠肌肉信號操作無人機鑽鐵環!MIT科學家想讓機器擁有直覺
    為了實現人機之間的無縫協作,我們把肌電圖和運動傳感器戴在二頭肌,三頭肌和前臂上來測量肌肉信號和運動。然後,算法將處理這些信號來實時檢測手勢,無需離線校準或收集每個用戶的訓練數據。該系統僅使用兩個或三個可穿戴式傳感器,不使用環境裡的任何數據,這大大減少了普通用戶與機器人之間互動的障礙。
  • 無人機智能化的開端:機器視覺下的手勢自拍
    【TouchSky摩天·技術百科 作者:後裔】最近兩年無人機行業異常火爆,各路牛鬼蛇神都出來造飛機,宣傳更是天花亂墜,各種牛掰功能一一面市,今天后裔就給大家說說一個看似簡單,實際真牛掰的功能—手勢自拍。說到手勢自拍,大家也許會想到各種茄子、比心~~~。
  • 吊車指揮手勢圖 吊車指揮手勢圖文教學
    預備:手臂伸直置於頭上方,五指自然伸開,手心朝前保持不動。    要主勾:單手自然提拳,置於頭上,輕觸頭頂。    要副勾:一隻手握拳,小臂向上不動,另一隻手伸出,手心輕觸前只手的肘關節。    升臂:手臂向一側水平伸直,拇指朝上,餘指握攏,小臂向上擺動。
  • 硬拉重量提不上去,引體向上抓不住槓,小臂肌肉也要練
    首先,要採取單側訓練的方式,這可以讓注意力更集中,當然,另一隻手也不能無所事事,最好的辦法是託住發力手臂的肘部,同時,發力一側的大臂要與小臂成90度,小臂平行於地面,五指用力握住負重,要能感受到前臂肌肉的緊張感。
  • Apple Watch新款APP:簡單揮手可控制無人機
    【環球科技綜合報導】據英國《每日郵報》報導,臺灣研究小組PVD+為 Apple Watch 開發了一款APP,此款軟體能通過遠程遙控揮舞手腕控制無人機。PVD+成立於2013年,由一群臺灣土木工程的博士生組成,他們與一名教授和另外仨個小組成員合作開發軟體。
  • 鍛鍊兒童的專注力,靠意念操控,UDrone意念無人機上手測評
    這不,隨著科技的不斷,UDrone推出的這款意念操控無人機,除了APP操控外,還可直接靠人的意念去操控,絕對是鍛鍊小朋友專注力的最好「神器」。那麼,很多小夥伴可能會表示好奇,真的可以靠意念去操控嗎?答案是可以的,對於UDrone意念無人機主要原理是採用國際的醫療級腦電晶片與MCh-Sim技術設計的電極,形成腦控接口技術,對人類的腦電波分析解讀,再將腦電波轉化為相應的動作,也就有了這個所謂的意念控制。不單如此,UDrone意念無人機還有比較完善的功能體驗,包括手勢拍照、人臉追蹤,高清航拍,拍照上不僅釋放雙手,還能有更多新的拍照玩法。
  • 一切盡在「掌握」,Power Glove手套可控制無人機飛行
    戴客網也曾向大家介紹了可打字的智能指環Tap Strap,以及Manus VR手套等手勢操控設備。而今天戴客網要介紹的一款智能手套同樣會讓你耳目一新,因為它是用來控制無人機的。  近日,極客發燒友兼工程師Nolan Moore為他的Parrot AR無人機設計了一個智能手套,並向觀眾展示了如何利用這款手套控制無人機。
  • EMUI10隔空手勢操作,給你一雙魔術手
    隔空手勢操控功不可沒! 一雙普通的手,在Mate30 系列手機面前,就是一雙魔術手!今天30秒,小E帶你走進神奇的【隔空手勢操控】。 什麼是隔空手勢操控? 無論你在吃螃蟹啃雞爪,還是在洗衣服化妝,手總有不方便操作手機的時候,這時就可以通過隔空手勢滑動屏幕或者截圖。
  • 夾臂伏地挺身練哪塊肌肉四步教你練出秀美肌肉
    肘關節角度越大肱二頭肌用力越大。2.寬距伏地挺身。一般是1.5倍肩寬,主要鍛鍊胸大肌外側,同時發展三角肌前束、肱三頭肌。3.中距離伏地挺身。略大於肩寬,主要鍛鍊胸大肌中部(增加厚度),同時發展三角肌前束、肱三頭肌4.窄距伏地挺身。
  • 新設備可直接讀取手勢
    新設備結合了可穿戴生物傳感器和人工智慧軟體,可根據前臂的電信號模式識別用戶手勢。不用鍵盤在電腦上錄入字符?不用手柄玩電子遊戲?或者不用方向盤駕駛汽車?這些場景可能會在不久的將來一一實現。論文作者、UCB電氣工程與計算機科學博士生Ali Moin說,「手勢讀取是改善人機互動的途徑之一。雖然用攝像頭和計算機視覺技術也可以達到類似效果,但手勢讀取對個人隱私維護更加友好。」Moin團隊與UCB電子工程學教授Ana Arias團隊合作設計了一種靈巧的臂帶,以讀取前臂上64個不同位置的電子信號。
  • 前臂肌肉解剖圖展示三大方法教你鍛鍊手部肌肉
    頻率的變化能更好地刺激肌肉生長,交叉運用它們,鍛鍊中就不易感到疲勞了。練習伏地挺身要循序漸進、由易到難;做前要充分按摩、甩動、拉伸上肢,防止肌肉僵硬;練習中要摸索適合自己的伏地挺身形式,合理控制運動負荷。2、手法、腳法變化-手法可分為全掌撐、拳撐和指撐三種形式,從方向上又可以分為指尖向前、向內、向外三種撐地姿勢。
  • 新研發機械臂實現思維操控
    美國一個研究團隊在《柳葉刀》雜誌上發表報告說,他們最新研發的機械臂已實現思維操控,並且其靈活度非常接近正常人的手臂,這將為那些癱瘓病人帶來新希望。
  • 手腕和小臂太細怎麼辦,七個動作帶你提升小臂肌肉
    有粉絲後臺問我,手腕和小臂太細了怎麼辦?今天我們來說說小臂訓練的要點是什麼,哪些動作能夠幫助我們提升小臂肌肉。我們可以通過有針對性的訓練,提升小臂肌肉來達到增粗小臂的目的,但是手腕的粗細是天生由我們的骨骼決定的,沒辦法後天通過鍛鍊來提升。
  • 如何練習腰背肌肉及方法
    文章簡介:如何練習腰背肌肉及方法,隨著社會生活的快速發展,人們在享受高質量的現代化生活的同時,也出現了很多各種各樣的問題,很多人檢查出自己體質弱
  • MIT打造新型機械臂RoboRaise:幾乎能實時模仿人類動作
    然而如果機器人能從人類的動作中獲取線索,那麼機器人和人類是否能夠更加無縫地展開合作呢?對此,麻省理工學院(MIT)的科學家們相信,他們確實有可能開發出一種由人類手臂運動控制的機械手臂。據悉,這臺機械臂機器被稱為RoboRaise,它是MIT計算機科學與人工智慧實驗室(CSAIL)最新研製,旨在探索一種新型的機器人指揮系統。
  • 仙女棒寫字落伍了,戴上這手套就能操控「無人機」在空中畫畫!
    未來只要一隻手套,無人機就能幫你「空中傳情」。日前,俄羅斯斯科爾克沃科學與科技研究院(Skolkovo Institute of Science and Technology,Skoltech)科學家設計開發出新的無人機使用接口,允許用戶利用手勢操作引導小型無人機飛出相同路徑。
  • 為什麼配上遙控器後,大疆Spark才是一臺全能的便攜無人機?
    不久前,我們曾評測過大疆Spark無人機,不過由於當時還沒有拿到遙控器,因此只體驗了Spark的手勢操控和手機遙控的模式,雖然這兩種模式操作簡單便捷,但也有不少場景使用限制,而對於老手來說更缺乏專業性和可玩性。
  • 對於手臂肌肉來說,二頭三頭肌的確重要,但也不要忽略了小臂肌肉
    上連肘關節,多少也會對你肱二頭肌以及肱三頭肌有影響!你看小臂肌肉雖然體積不大,但細分起來數量卻有很多,並且各個肌肉之間小臂肌肉協調性功能性是十分強的。二.為什麼很多人不注重小臂肌肉?很多人認為沒有必要單獨的去鍛鍊小臂肌肉,平常三頭二頭類的動作足以練到小臂肌肉,這麼說也沒有錯,單獨拿出訓練日來安排太浪費了。
  • 前瞻無人機產業全球周報第68期:超八成準確率!麻省理工開發可手勢...
    麻省理工開發可手勢遠程控制的無人機近日,麻省理工學院的研究人員創造了一個新的系統,被稱為 "Conduct-A-Bot"。它利用可穿戴式傳感器發出的人體肌肉信號來駕駛無人機,控制無人機的運動。MIT研究人員將肌電和運動傳感器放在控制飛行無人機操作員的二頭肌、三頭肌和前臂上。這些傳感器測量肌肉信號和運動,並使用算法處理信號,以實時檢測手勢。