基於Leap M otion遠程控制仿生人手運動研究

2020-12-08 電子產品世界

　　張起浩，王建亮，蔣少國（南開大學 濱海學院，天津 300270）

本文引用地址：http://www.eepw.com.cn/article/201908/404223.htm

　　摘 要：針對仿生人手的遠程控制的研究，設計了體感設備Leap Motion和基於STM32微控制器而設計的仿生人手相結合的人機互動系統。通過對三維變換矩陣的求解，驗證了Leap Motion對空間中物體運動數據的捕捉原理。利用Leap Motion採集人體姿態，經過最新藍牙5.0協議，將標識數據遠程發送給STM32微控制器，再經過三極體的放大控制舵機轉動指定角度，進而驅動仿生人手指運動，實現對物體的遠程控制。最後設計實驗，驗證不同距離對仿生人手指的靈敏度和穩定性的影響。在距離5 m、10 m的閾值力、手指屈伸和響應時間都一樣，但隨著距離增加，靈敏度和穩定性越來越差，直至30 m時藍牙接收不到PC端傳來的數據流。

　　關鍵詞：Leap Motion；三維變換矩陣；藍牙5.0

　　0 引言

　　隨著人工智慧（artificial intelligence）的爆炸性發展，圖像識別變得越來越智能化，並且出現了許多基於機器視覺原理的體感設備。本項目主要研究leapmotion採集人手姿態動作，通過本地計算機對數據進行處理並識別出多種手勢後，遠程與STM32板載藍牙(Bluetooth 5.0)通訊 [1] ，STM32作為控制單元，根據不同指令控制仿生人手各關節的旋轉角度，從而實現對物體的抓取等控制 [2] 。

　　1 Leap Motion體感控制器

　　1.1 Leap M otion的工作原理

　　Leap Motion是一種採用立體視覺原理，內部配備雙攝像頭如同人眼從不同角度捕捉畫面，重建出來手掌在真實三維空間的運動信息並對空間物體進行坐標定位見圖1。它能夠識別的範圍大概在傳感器上方的25 mm～600 mm，工作精度可達到0.01 mm，可實現高操作性。

　　1.2 Leap M otion數據捕捉

　　為了捕捉人手指關節在三維空間的位置和方向 [3] ，建立了右笛卡爾坐標系的3種運動數據：位移、旋轉、縮放，需要通過人手運動模型或者投影法將笛卡兒三維空間數據映射出來才能得到人手關節角度信息 [5] ,並分別把X、Y、Z作為旋轉軸（實際上僅在垂直坐標軸的平面上進行二維旋轉），P在XY平面、XZ平面、YZ平面的投影分別為點M、點P、點N，三維旋轉變換矩陣公式直接由二維旋轉公式變化得來 [6] ，如圖2。

　　1）繞Z軸旋轉，相當於將 OP，在XY平面的投影OM圍繞原點旋轉， 如圖3所示 ， OM旋轉θ角到OM′ 。

　　設旋轉前的坐標為(x,y,z) 旋轉後的坐標為( x',y',z′,)T， 則 的 坐 標 為 ( x,y)T，N′的 坐 標 為( x',y')T，由此可得：

　　對於x′和y′進行三角展開：

　　且有 z'=z；可得繞軸旋轉 θ 角的旋轉矩陣為：

　　2）繞軸旋轉，相當於將 OP在平面的投影繞原點旋轉，如圖4，旋轉 θ 角到ON′。

　　設旋轉前的坐標為 (x,y,z) ，旋轉後的坐標為( x',y',z′,)T， 則 的 坐 標 為 (z,y)T，N′的 坐 標 為( x',y′)T，由此可得：

　　對於z′和y′進行三角展開：

　　且有 x'=x；可得繞軸旋轉 θ 角的旋轉矩陣為：

　　3）繞軸旋轉，相當於將 OP在平面的投影繞原點旋轉，如圖5所示，旋轉 θ 角到OO′。

　　設旋轉前的坐標為 ( x,y,z) ，旋轉後的坐標為( x',y',z′)T， 則 的 坐 標 為 ( x,z)T，Q′的 坐 標 為( x',z′)T，由此可得：

　　對於x′和z′進行三角展開：

　　且有y'=y；可得繞Y軸旋轉 θ 的旋轉矩陣為：

　　4）繞X、Y、Z軸旋轉的旋轉矩陣分別為：

　　2 硬體電路設計

　　2.1 系統框圖

　　該系統利用Leap Motion高識別度與以Cortex-M3為內核的STM32等其他器件作為整體系統，見圖6。該系統由Leap Motion、PC、STM32F103C8T6、信號放大電路等組成。工作流程是Leap Motion傳感器將採集到人體手勢數據發送給PC端，PC端接收數據流，並通過藍牙5.0的協議透傳給主STM32標識數據格式，STM32數據發送相應的控制指令，進而控制舵機的轉動角度。

　　2.2 ST M 32F103C 8T 6電路設計

　　STM32F103一款帶有Cortex-M3內核的中低端32位Arm微控制器。最高CPU速度可達到72 MHz，1.25DMIPS/MHz，單周期乘法和硬體除法，本次實驗選擇STM32F103C8T6晶片作為主控器，加入復位電路，增加電路運行的穩定性。

　　2.2.1 電源電路

　　該系統採用LMZ12003作為總電源管理晶片（如圖7）,12 V輸入，5 V輸出的模式，5 V輸出主要為舵機供電。它是一種穩固、安全、可靠的設計，具有輸入欠壓鎖定、輸出電壓保護、短路保護、輸出電流限制和使能偏置電壓輸出的功能。

　　2.2.2 信號放大電路

　　STM32微控制器的I/O口是弱電信號，不能直接驅動舵機的運動，因此有必要設計一個信號放大電路進行放大，故採用三極體2N3904。如圖8所示。

　　2.3.3 藍牙H C -42模塊

　　該系統使用HC-42無線通訊模塊進行仿生手的遠程控制，藍牙5.0的理論最大傳輸速度為24 Mbit/s（是之前藍牙4.2版本的2倍）。傳輸達到無損耗水平，理論有效工作距離可達300 m，是藍牙4.2版本的4倍。模塊原理圖如圖9所示。

　　2.3.4 舵機

　　顧名思義，舵機是控制舵面的電動機，驅動位置伺服的驅動器。它可以接收特定的控制信號，輸出恆定的角度，適用於角度不斷變化且需要保持的控制系統。本系統選用MG995舵機，它由舵盤、減速齒輪組、位置反饋電位計5 kΩ、直流電機、控制電路板等組成。

　　MG995舵機控制圖如圖10所示。有3條線，分別是：電源線V CC 、地線GND、控制線。舵機的控制關係，如圖11所示，如果PWM的幅度為5 V，則其輸出軸將保持相應的角度。無論外部扭矩如何變化，只有在提供下一個寬度脈衝信號時，輸出角度才會更改為新的相應值。

　　3 遠程控制距離實驗

　　Leap Motion API在獲取到人體手勢數據後遠程控制仿生人手指的運動。為了更好地測試藍牙5.0的無線傳輸穩定性，故在空曠處設置10組不同的距離，驗證不同距離對仿生人手指的靈敏度和穩定性的影響。如表1所示，在距離5 m、10 m的閾值力、手指屈伸和響應時間都一樣，但隨著距離增加，3個測量的量越來越小，直至30 m時，藍牙接收不到PC端傳來的數據流。

　　4 結論

　　本文通過對國內外手勢交互技術的研究以及LeapMotion技術的基礎上，研究了Leap Motion在智能仿生手中的應用，該電路配有藍牙模塊，可遠程控制仿生人手的移動。現在仿生人手的控制模式相對單調，大多採用傳統控制方式，但是傳統的控制方式通常依賴鍵盤等其他的輸入工具，所以操作過程複雜，如果可以連接到人機互動的Leap Motion傳感器界面裡，使控制仿生人手更方便，這是一種新型的機器人控制模式，讓人們直接用自己的雙手指揮機器人做出想要的動作並協助人們完成任務，但系統的遠程控制距離還待提高，選擇藍牙5.0作為遠程通訊模塊距離達到30 m就無法接收到數據流，且響應速度不夠理想。

　　參考文獻

　　[1] 王紅全,淮永建.基於Leap Motion手勢識別方法在樹木交互的應用[J].計算機應用與軟體,2018,35(10):153-158.

　　[2] 李松林,徐大傑,張文.基於Leap Motion的六自由度機械臂控制系統[J].電子世界,2017(15):158.

　　[3] 王豫.基於Kinect的手臂關節三維運動捕獲[D].杭州：浙江大學,2015.

　　[4] 況鷹.基於Kinect運動捕獲的三維虛擬試衣[D].廣州：華南理工大學,2012.

　　[5] 劉源.人手抓取運動解析及姿勢協同仿人手研究[D].哈爾濱：哈爾濱工業大學,2018.

　　[6] 劉浩.從三階魔方談空間圖形旋轉變換矩陣[J].課程教育研究,2018(27):145-146.

　　作者簡介：

　　指導教師：

　　王建亮（1982—），男，高級工程師，碩士，主要研究方向：智能儀表。

　　張起浩（1995—），男，本科，主要研究方向：智能硬體設計。

　　蔣少國（1998—），男，本科，主要研究方向：智能硬體設計。

　　指導教師評語：論文選題有意義，在吸收學術界研究成果的基礎上，有自己的心得體會，提出自己的看法，言之有理。論述觀點正確，材料比較充實，敘述層次分明。

　　本文來源於科技期刊《電子產品世界》2019年第9期第39頁，歡迎您寫論文時引用，並註明出處。

相關焦點

  • 基於ARM和乙太網的遠程電參數測量技術研究
    摘要 針對目前各地用電及收費管理不便的問題，文中研究了基於ARM和乙太網的遠程電參數測量技術。該技術主要用於對電參數的採集和存貯。文中結合網絡技術，採用高性能的乙太網控制晶片W5100，利用專用的電能計量晶片CS5460A研究了電參數的遠程傳輸。通過W5100嵌入乙太網，可以實現數據的遠程傳輸，有效地將經CS5460A採集的電流值、電壓值及功率值傳送至PC，較好地完成了電能計量和收費管理。
  • 一種基於手機APP的PLC遠程控制系統實現
    基於手機APP的PLC遠程監控控制系統能給設備的製造方和使用方都帶來極高的經濟利益。設備使用方能隨時觀察設備的運行狀態，及時進行預警，提高了設備運行的可靠性，避免設備故障帶來不必要的損失。生產方能也能通過遠程實時查看設備的運行狀態，來及時排除故障，提高售後維修的時效性 ，提高客戶對產品的滿意程度，提升產品的品牌。
  • 基於嵌入式Web網頁控制的遠程監控模塊
    在ZLSN2000之後，上海卓嵐科技依託其自身的ZLWeb嵌入式Web伺服器技術，推出了專門針對嵌入式網頁控制的模塊——ZLSN2030.基於Web的(也就是B/S架構的)物聯網監控方案，比基於客戶端(也就是C/S的架構)要優越，這是因為監控用戶端無需安裝專用的軟體
  • 香港科技大學成功研製基於納米線陣列視網膜的球形仿生人眼
    北京時間2020年5月20日晚23時，香港科技大學電子與計算機工程系範智勇教授課題組在Nature雜誌在線發表論文，題為 「Abiomimetic eye with a hemispherical perovskite nanowire retina」，宣布研製成功世界首個基於鈣鈦礦納米線陣列半球狀視網膜的仿生人眼
  • 基於MATLAB的遠程信號分析與診斷系統的開發
    摘要：討論了MATLAB通過WWW實現異地信號分析的原理和關鍵技術，設計了基於MATLAB的機械設備遠程信號分析及遠程故障診斷系統。它集數值分析、矩陣運算、信號處理、仿真控制和圖形顯示等於一體，構成了一個方便的、功能強大的、界面友好的用戶環境和系統開發平臺，在故障診斷等眾多工程領域有著廣泛的應用[2,3]。近年來，隨著計算機技術與通信技術的發展，Internet/Intranet技術已成為遠程信號分析與處理系統開發的理想平臺，然而，要實現真正意義上的基於WEB的遠程監測、分析與診斷，非常困難[4]。
  • 仿生人不會夢見電子羊
    在這本書中，人類創造出了，或者說「複製」出了這麼一群仿生人——樞紐六型仿生人——聰明，理智，接近完美。他們甚至比人類更加具有理想，並樂於追求理想為之奮鬥。這到底是人形機器還是人。倘若一個機器具備了人類的情緒，那我們該以人去看待還是以機器去看待？如何甄別真正的「人類」和「仿生人」？作者提供了一個奇妙的觀點。根據「沃伊特·坎普夫性格量表」。
  • 催生仿生人的十大科技--中國數字科技館
    科學家距離成功製造仿生人的目標越來越近，從讓盲人恢復視力，到研製比任何人的味蕾都更加敏感的舌頭，都已不在話下。以下是科學家在仿生人科技上所取得的十大進展。 1．大腦修復術 美國南加州大學教授西奧多· 伯傑製造了一個可以取代大腦海馬體的電腦晶片，海馬體是控制短時記憶和空間理解能力的大腦部位。大腦受到老年痴呆症和中風等疾病的頻繁破壞後，通過海馬體移植可幫助一個人維持正常的身體功能，避免出現嚴重的身體缺陷。
  • FRP內網穿透與遠程桌面——遠程控制與遠程工作
    向日葵需要在電腦 A 中安裝服務端，註冊帳號並登錄，在電腦 B 或電腦 C 中安裝控制端，用同樣的帳號登錄，就能看到電腦 A 已經是在線狀態，即可發起遠程控制。Teamviewer 在電腦 A 和電腦 B 中同時安裝，運行TeamViewer後會顯示ID和密碼，電腦 B 輸入電腦 A 中的 ID 進行連接，輸入密碼即可實現遠程控制。
  • 基於MODBUS總線伺服電機運動控制方案
    引言　　現代工業自動控制系統朝智能化、網絡化和開放式結構的方向發展。利用現場總線技 術，將符合同一標準的各種智能設備統一起來，徹底實現整個監測系統的分散控制，將提高系統集成度和數據傳輸效率、延長有效控制距離，並有利於提高系統抗幹 擾性能和擴展系統功能。在運動控制中，伺服電機以其響應速度快，控制精準等優點以被更多的客戶所選用。如果把總線通信與伺服控制技術統一起來，將推動運動控制技術以及設備遠程監控技術的發展。
  • 用磁場和光遠程控制軟機器人
    sciencedaily網站報導，美國北卡羅來納州立大學和依隆大學的研究人員開發了一種可以遠程控制軟機器人運動的技術。該技術可以將軟機器人鎖定在預定位置，然後在光和磁場的作用下重新配置成新的形狀。相關成果刊登於《科學進展》雜誌。北卡羅來納州立大學材料科學與工程教授、論文作者Joe Tracy說：「軟機器人的可重構性讓我們倍感興奮。
  • 關於示波器遠程控制之有線控制的分析和應用
    打開APP 關於示波器遠程控制之有線控制的分析和應用 發表於 2019-09-10 14:51:44 我們打算在是德科技感恩月利用一周的時間給大家詳細講解示波器的遠程控制，具體安排如下： 1  通過網線或USB線纜實現的遠程圖片存取和控制（適用於辦公室環境使用） 2  通過無線網絡環境實現的遠程圖片存取和控制（適用於特殊場合或者遠程debug） 3  基於特殊軟體快速無基礎實現自動化測試（適用於簡易自動化測試的快速設定） 4  基於SCPI指令編程基礎
  • ...第93期:聯想發布自研工業機器人:5G遠程控制,有「手、腳和大腦」
    聯想發布自研工業機器人：5G遠程控制據悉，聯想晨星機器人是一個能夠幫助用戶立體感知遠程環境，並且與之實時交互的機器人系統。具備自主模式和人機協同模式，自主模式下機器人可以智能行動、智能建圖，無需人的控制而移動。採用3D物體識別，用於引導機器人上的機械臂執行任務，同時，路徑規劃也實現自主，能夠實現避障功能。
  • 向日葵遠程控制
    向日葵遠程控制軟體是一個支持遠程Android、iOS、Windows、Mac、Linux等多系統多設備間相互遠程控制的軟體，是具有遠程管理等需求的IT技術、遊戲玩家、設計師等人群的不二選擇。通過使用向日葵app下載，可隨時遠程控制其他電腦或手機，無人值守即可實現遠程高危作業、遠程開關機、遠程下載文件、遠程遊戲掛機等。向日葵app下載免費遠程桌面，遠程，輕鬆控制電腦手機。
  • 遠程控制防爆除溼機的參數與執行標準
    型號：BCF-790Ex除溼量：90L/天電源：220V50HZ額定功率：1KW最大功率:1.35KW溼度調節範圍:10％-90％溼度控制精度※智能化精準控制，精度控制±3％※密封式控制系統，保護電路系統※高強板金，結構緊湊，抗撞擊力強※新一代化霜模式、高效自動除霜※軟管連續排水、自帶排汙功能※故障自檢功能、人性化物理進風結構
  • 可以打造出仿生人的十大技術
    隨著技術的進步，生物醫學工程領域已經取得了極大突破，瑞士心理學家Bertolt Meyer與機器人技術工程師合作，創建了一個以自身為藍本的「仿生人」，感興趣的朋友可以去看看BBC的紀錄片《如何打造一個仿生人》（How to Build a Bionic Man）。
  • 《銀翼殺手》影片,什麼是仿生人?
    ，故事的核心就是在探討「何以為人」這個千古大問題，並透過了由科技所打造出來的「仿生人」，與大自然的產物「人類」之間的互動來探索「生命的意義」！那到底什麼是「仿生人」呢？仿生人不管在外形，智力還是內部結構幾乎和人沒有差別，甚至體能還更為優越，而作為「安全機制」Nexus-6的仿生人被設定為無法生育而且只有4年的壽命，這個設定主要有兩個目的，確保並管控仿生人的數量，不讓他們有足夠的時間發展「成熟的人格」，雖然仿生人依舊具有人類的本能情緒反應，例如憤怒，開心和恐懼等，但更複雜且成熟的情緒例入「同情心」與「同理心」，則需要更長的時間培養
  • 基於B/S結構的網絡控制系統開發
    1 引言本文引用地址：http://www.eepw.com.cn/article/155932.htm　　在工業自動化領域裡，控制網絡正向體系結構的開放性方向發展，信息溝通的領域正迅速覆蓋從工廠的現場設備到控制、管理的各個層次，基於 internet/intranet的企業綜合自動化方案已經成為熱門的研究方向。
  • ART021 BEYOND-EXTENDS|陳抱陽「VR迷宮—仿生人會夢見電子奶牛嗎」
    本期介紹2019 ART021 Beyond Extends單元合作藝術家陳抱陽於BFC上海外灘金融中心落地的展覽《VR迷宮—仿生人會夢見電子奶牛嗎》。題目《仿生人會夢見電子奶牛嗎》源於2016年夏天陳抱陽的一個夢境 , 那是一個寫著「Do Androids Dream of Electric Cows?」藍色霓虹燈標牌在黑暗中閃爍。
  • 繞開「恩紹定理」，磁場也可遠程控制
    在最新研究中，薩塞克斯大學和巴塞隆納自治大學等機構的研究人員攜手，研發出一套由精心設計的電線組成的設備，這套設備產生的磁場可以抵消有害磁場的影響，因而繞開了恩紹定理。研究人員指出，多年來，科學家一直在努力應對這一挑戰，儘管此前已有人在更高頻率上實現了類似效果，但這是科學家首次在低頻和靜態場域（例如生物頻率）上實現這一點。
  • 衛星思維控制–遠程神經監測
    科學雜誌《科學》（Science）在其1956年11月號的「控制人類行為的一些問題」一書中有14頁，卡爾·羅傑斯教授（Carl R Rogers）教授說：「我們可以選擇利用不斷增長的知識以前所未有的方式奴役人們以前，通過如此精心選擇的方式來控制他們，以至於他們也許永遠不會意識到失去人格」。