大學生創新創業訓練計劃項目
項目名稱:基於手勢識別技術的智能電視遙控系統
目錄
項目研究意義項目簡介項目可行性分析技術方案硬體支持創新點取得成果完成情況項目簡介
1科技發展趨勢
在過去幾十年中,計算機技術飛速發展,在各行各業中,計算機都給人們帶來便捷,人們己經與計算機密不可分,其中,人與計算機的信息交互是必不可缺的一步。人機互動最常見模式是依賴於簡單的機械裝置,即鍵盤和滑鼠,真他的還有諸如觸控螢幕等。儘管上述交互方式廣泛存在於人們的日常生活中並被熟練使用,我們還是不禁要想,是否還有更自然,更符合人類習慣的人機互動方式,其中一種主流趨勢就是手勢識別技術。手勢是一種人類的基本特徵,是人際交往過程中不可缺少的一部分。
手勢識別技術的發展,為人與機器或其他設備的交互提供了可能。根據手勢在時間和空間上的差異,手勢可分為靜態手勢和動態手勢,對靜態手勢的研究主要考慮手勢的位置信息,而研究動態手勢除了要考慮手勢空間位置變化,還需要考慮手勢在時序中的變化規律。隨著科技的發展,對手勢識別技術的研究已經成為熱口課題,基於手勢識別技術的應用也開始滲透到人們生活的方方面面,這是一項技術走向成熱的標誌。同時,手勢識別技術無論是在手勢樣本的採集,還是手勢設計上都有自己的優勢,手勢識別的深入研究有著很重要的意義。
2人們追求快捷的心理
隨著經濟的快速發展,人們的生活水平也在逐漸提高,從只求溫飽到如今的追求高品質的生活。高品質的生活,已經不是曾經人們認為的吃飽穿暖,這些曾經的單一元素已經不再能夠滿足人們的需求,現如今,衣、食、住、行各個層面的改變無一不體現著人們對高速便捷生活的追求。手勢操控不僅應用於部分生活設備中,它將可以打入我們生活中的方方面面,滿足人們各方面的生活需求。這將提快我們的生活速度,正如同我們再無需四處尋找遙控器,無需再快速趕去一個地方去做另外一件事,我們只需要通過我們的手勢操控便能輕鬆完成我們所需要做的工作。
3人們的懶惰心理
隨著經濟的發展,比如美團,餓了麼迅速的發展起來,是人們的懶惰還是時代的需要。可見隨著科技的發展人們越來越不願意去做費時費力的事了,都希望生活能更加快捷便利些。
4該設備未來的發展趨勢
我們的手勢識別技術主要有下面幾個應用領域:人機互動。手勢取代傳統的敲擊鍵盤或點擊滑鼠作為輸入來控制自己的計算機,能夠使人與機器之間的交互溼得更加智能化、自然化,而且可將人們在日常生活中所獲得的經驗,直接運用到交互活動中,能夠充分提高虛擬世界中的可操作性,並且可在虛擬世界中完成更加複雜的任務。近年來,電子遊戲開始逐漸進入我們的生活,並成為人們日常必不可少的一部分,尤其是虛擬實境技術的發展,如何將手勢控制加入虛擬實境中,也是當前一個非常重要的研究方向。如今市面上,功能也有多有少,帶給人們的智能生活體驗也不一樣。如何獲得更好的智能生活體驗,是該方面商家正在努力研究的一個課題。面對不同層次不同年齡層的消費者,對於該技術所具備的功能要求也不一樣。也許該技術的有些應用不能滿足所有人的需求,但是人們可以根據自己對於該應用的需求來選擇不同的設備。
項目簡介
1.1手勢識別智能電視的技術背景
手勢識別可以被視為計算機理解人體語言的方式,從而在機器和人之間搭建比原始文本用戶界面或甚至GUI更豐富的橋梁。手勢識別使人們能夠與機器進行通信,並且無需任何機械設備即可自然交互。
使用手勢識別的概念,可以將手指指向電視屏幕,使得光標將相應地移動,完成頻道切換和音量改變。
1.2手勢識別的關鍵技術
手勢無論是靜態或動態,其識別順序首先需進行圖像的獲取手的檢測和分割手勢的分析,然後進行靜態或動態的手勢識別。
1.2.1手勢分割
手勢分割是手勢識別過程中關鍵的一步,手勢分割的效果直接影響到下一步手勢分析及最終的手勢識別。
1.2.2手勢分析手勢分析是完成手勢識別系統的關鍵技術之一。通過手勢分析,可獲得手勢的形狀特徵或運動軌跡。
1.2.3手勢識別
手勢識別是將模型參數空間裡的軌跡(或點)分類到該空間裡某個子集的過程,其包括靜態手勢識別和動態手勢識別,動態手勢識別最終可轉化為靜態手勢識別。
1.2.4手勢識別實現
智能電視手勢控制系統以實現對智能設備的節目切換、音量調節、靜音開關等控制功能為目標,模擬系統由智能電視、可攜式計算機組成。系統中的無線視頻機頂盒連接智能電視,並通過無線方式接收可攜式計算機發送的手勢識別信號。
1.2.5紅外遙控模塊實現
紅外線遙控是目前使用最廣泛的一種通信和遙控手段。
1.2.6圖像收集和處理
基於stm32高位單片機通過軟體編程設置OV5640攝像頭內部參數果集圖像,並將採集到的圖像轉換為數位訊號存儲。
項目可行性分析
隨著人機互動技術的發展,人與設備之間的交互體驗越發簡單和自然。現今,不論是小小的智慧型手機終端還是大屏幕設備都可採用觸屏技術,使人們擺脫了繁瑣的鍵盤輸入和滑鼠控制。未來,人機互動的理想狀態可通過語言、手勢、表情等自然操作設備,而這些功能已在多種領域嘗試和應用,其功能優化和發展依賴於手勢識別等技術的發展。
就目前的形勢來看,智能家居是未來生活的一種發展趨勢,不僅是年輕一代,在中年老年人間也愈來愈受歡迎。智能家居產品已經多多少少開始滲透到我們普通的家庭中,智能插座、智能燈泡、安全攝像頭、智能鎖和智能恆溫,幾乎我們生活的各個方面都已經開始變得智能化。人機互動界面將從現有的圖形化界面(主要使用於觸屏的視窗與鍵盤滑鼠的操作方式)發展到實體使用界面。手勢識別技術將在智能家居中大量應用。目前手勢控制是近年智能家居的發展方向,隨著科技的進步,朝著更加人性化的方向發展,基於手勢識別的智能家居控制方式將會變得更為系統、智能,也會越來越普及。
另外,隨著物聯網智能設備產業的發展,智能設備將是智能家庭空間的重要應用,如何使用戶與智能設備更自然地交互,是各大家電廠商技術競爭的動力。目前,採用較廣泛的技術是在智能設備中嵌入無線模塊,通過無線感知、遠程控制、服務的方式為用戶提供操作功能,而這仍需要家庭用戶通過各種終端進行操作。現今,手勢識別技術取得較大發展,相對傳統手勢識別技術易受光照、背景等外部因素影響,手勢識別準確率具有較大提高
2014年全球手勢識別與傳感器市場達到了31.2億美元的規模,其複合年增長率為32.78%。日前一份新發布的分析報告稱,到2022年該市場規模預計將達321.6億美元。
技術進步使硬體精度大幅提升,從而進一步拉升了對手勢識別與傳感器市場的需求。在智慧型手機與汽車領域,手勢識別與傳感器市場呈現指數增長,其中的關鍵因素為硬體成本低廉,同時可大幅改善用戶體驗。而另一方面,高功耗也成為阻礙市場增長的主要原因。據預測,全球手勢識別與傳感器市場未來增長機會主要將落在智能家居以及部分新興領域。
目前北美與歐洲國家是傳感器最大的需求來源,預計亞太地區將迅速崛起並佔據大部分市場份額。除谷歌、蘋果、微軟、英特爾等科技巨頭外,各個細分領域也湧現出一批佼佼者,如體感技術公司 Softkinetic、圖像識別公司 Cognivue、物聯網公司 Pointgrab、以及提供半導體解決方案的英飛凌科技等。另一大趨勢是,中國、印度等發展中國家創業公司正在大量吸引投資,預計未來幾年內將成為該市 場的中堅力量。
技術方案
手勢識別系統流程圖
手勢識別相對來說可以簡單也可以很複雜,這取決與要識別的手勢。有三種基本的方法可以用來識別手勢:基於算法,基於神經網絡和基於手勢樣本庫。每一種方法都有其優缺點。基於算法的手勢識別相對簡單容易實現,基於神經網絡和手勢樣本庫則有些複雜。
結合應用需求,動態手勢識別算法包括3種,即基於語義識別、基於統計識別和基於模板識別,下表對各種識別方法進行了比較。
從比較來看,動態手勢識別算法主要應用HMM和DTW兩種,針對簡單孤立的手勢識別,兩種算法識別效果不大,但因HMM模型建立過程複雜,所以選擇較為簡單有效的DTW算法進行手勢識別。
DTW算法
算法簡介:DTW算法採用動態規劃的思想,可以很好地解決時間軸畸變問題,被廣泛應用於語音識別系統。而語音識別和手勢識別相類似,起決定作用的不是語言和手勢移動的速度,而是音調和手勢移動軌跡。
時間規整函數:設模板特徵向量時間序列A={a1,a2,…,ai}和待識別特徵向量時間序列B={b1,b2,…,bj},其中i不一定等於j。通過DTW算法可構建一個時間規整函數,使序列B的時間軸j映射到序列A的時間軸i的總誤差最小。設F={f(1),f(2),…,f(n)}為時間規整函數,其中f(n)=(i(n),j(n))表示第n個匹配點,i(n)和j(n)分別是序列A和B的特徵矢量,其匹配距離可表示為d(ai(n),bj(n))。按照DTW動態規劃先局部後整體的算法原理,即獲得使所有匹配點的特徵向量之間的加權距離和D最小。
設計手勢樣本
由於基於DTW的手勢識別是一種基於模板匹配的方法,因此需要建立手勢模板庫。
將錄製好的手勢數據存入模板庫,然後根據算法對控制手勢與模板庫匹配,識別出手勢。
紅外遙控模塊實現
工業設備中,在高壓、輻射、有毒氣體、粉塵等環境下,採用紅外線遙控不僅完全可靠而且能有效地隔離電氣幹擾。普通的家用遙控器實際上已經是多路控制紅外遙控系統。
多路控制的紅外發射部分一般有許多按鍵,代表不同的控制功能。當發射端按下某按鍵時, 相應地接收端有不同地輸出狀態。接收端的輸出狀態大數可分為脈衝、電平、自鎖、互鎖、數據五種形式。
STM32 開發板配套的遙控器使用 的是 NEC 協議,其特徵如下:8 位地址和 8 位指令長度地址和命令 2 次傳輸(確保可靠性)PWM 脈衝位置調製,以發射紅外載波的佔空比代表「0」和「1」;載波頻率為 38Khz;位時間為 1.125ms 或 2.25ms;紅外模塊設計思路
開啟定時器對應通道輸入捕獲功能,默認上升沿捕獲。定時器的技術頻率為1MHz,自動裝載值為10000,也就是溢出時間為10ms開啟定時器輸入捕獲更新中斷和捕獲中斷。當捕獲到上升沿產生捕獲中斷,當定時器計數溢出,產生更新中斷。當捕獲到上升沿的時候,設置捕獲極性為下降沿捕獲(為下次捕獲下降沿做準備),然後設置定時器計數值為0(清空定時器),同時設置變量RmtSta的位4為1,標記已經捕獲到上升沿。當捕獲到下降沿的時候,讀取定時器的值賦值給變量Dval,然後設置捕獲極性為上升沿捕獲(為下次捕獲上升沿做準備),同時對變量RmtSta的位4進行判斷。如果RmtSta的位4為1,說明之前已經捕獲到過上升沿,那麼對捕獲值Dval進行判斷,300-800之間,說明接收到的是數據0;1400-1800之間說明接收到的數據為1;2200-2600之間,說明是連發碼;4200-4700說明為同步碼。如果是定時器發生溢出中斷,那麼分析,如果之前接收到了同步碼,並且是第一次溢出,標記為完成一次按鍵信息採集。檢驗用戶碼與用戶反碼是否一致,數據碼與數據反碼是否一致。硬體支持
數據的採集圖像的採集用的是圖像傳感器OV5640它體良小,工作電壓低。它採用的是CMOS攝像模塊,是先進、節能的高精度相機的內置式組件,它把實現優質VGA 影像的CMOS 影像傳感器與高度集成的影像處理器、嵌入式電源和高質量的透鏡組結合在一起,輸出JPEG 圖像或視頻圖像,提供了完整的影像解決方案功能強大且使用方便靈活。
2.數據的存儲
一幀圖象信息通常包含640X480或720X480個字節,儲存一幀圖像的完整信息,則需要選擇適合存儲器。
3.數據的處理與顯示
數據顯示採用3.5寸液晶顯示屏,顯示圖像範圍較大,用stm32採集的數據,使用起來非常方便
4.圖像預處理
為了從圖像中找到需要識別的東西,還得對圖像進行分割,也就是進行定位和分離,以分出不同的物體。為了給觀察者以清晰的圖像,還要對圖像進行改善,即進行復原處理,它是把已經退化了的圖像加以重建或恢復的過程,以便改進圖像的保真度。
控制核心——STM32
arm cortex-m3內核:選用stm32系列單片機做為系統的控制核心。容量大,採用arm cortex-m3內核,性能高、功耗低、成本低且處理速度快,提供了更高的效率。,性價比較高。
嵌入式Flash存儲器和RAM存儲器:內置多達512KB的嵌入式Flash,可用於存儲程序和數據。多達64KB的嵌入式SRAM可以以CPU的時鐘速度進行讀寫(不待等待狀態)。
採用ov5640採集圖像,然後採用stm32處理數據並控制液晶將採集的圖像進行顯示。單片機的DCMI(數字圖像接口)對接攝像頭的輸出口;攝像頭配置的輸出時序為數字攝像頭時序;
stm32單片機優點:外設共用性提升了應用靈活性,使得可以在多個設計中重複使用同一個軟體。此外,STM32產品家族有低電壓和節能兩大優點。2.0V到3.6V的工作電壓範圍兼容主流的電池技術,如鋰電池,封裝還設有一個電池工作模式專用引腳Vbat。低功耗模式共有四種,可將電流消耗降至兩微安。從低功耗模式快速啟動也同樣節省電能。
STM32由於有各種外設 操作起來簡單,可以處理模擬以及數位訊號,適用於設計的控制電路。
stm32缺點:STM32是跑指令的,適合跑算法,但是針對多路的信號處理就需要很多片DSP(數位訊號處理技術)來並行處理
創新點
1.打破聲控、觸控等控制系統的限制
只需做手勢,手上不需帶任何器械,方便且成本較之於穿戴式系統低廉。
2.手勢識別與軟體圖像處理技術結合
通過手勢遠程控制電器的開關及其工作模式,使操作者在不與家居開關直接接觸的情況下,方便的進行控制。
3.手勢有多種操作功能
提出使用一種學習型紅外遙控模塊進行家用電器的學習控制,通過學習可以用一個手勢遙控器完成對多個不同家用電器的控制。並且最終將手勢識別系統的輸出與學習型紅外遙控裝置相關聯,能在不僅變現有家用電器結構的前提下直接使用。
4.遠程自動控制
具有較好的實時性和準確性,將手勢識別技術應用在遠程自動控制領域,
使操作者在不與家居開關直接接觸的情況下,方便的進行控制。
成果
系統功能模型展示
手勢樣本資料庫:
左右手共有10個左右的手勢單元,也就是說有10個基本的手勢動作。
首先,訓練手部的檢測器,用來獲得手部局部圖;接著,利用多種手勢檢測器對局部圖進行檢測分類。
左手(右手)握拳手勢識別開始:當行為人發出握拳的行為姿勢,經獲取圖像處理分析,特徵匹配之後,認定操作為觸發手勢識別,開始進行識別。
左手(右手)向右順向頻道切換:當行為人發出左手(右手)向右的行為姿勢,經獲取圖像處理分析,特徵匹配之後,認定操作為觸發頻道切換,開始進行順向頻道切換。
左手(右手)向左逆向頻道切換:當行為人發出左手(右手)向右的行為姿勢,經獲取圖像處理分析,特徵匹配之後,認定操作為觸發頻道切換,開始進行逆向頻道切換。
左手(右手)向上音量增大:當行為人發出左手(右手)向上的行為姿勢,經獲取圖像處理分析,特徵匹配之後,認定操作為觸發音量增大,開始進行音量增大。
左手(右手)向下音量減小:當行為人發出左手(右手)向下的行為姿勢,經獲取圖像處理分析,特徵匹配之後,認定操作為觸發音量減小,開始進行音量減小。
圖樣如下:
完成情況
(1)通過攝像頭進行手勢圖像採集,並建立手勢樣本庫;
(2)學會利用STM32進行圖像的處理、手勢的分割和特徵的提取,與手勢樣本庫中的手勢樣本進行匹配與識別;
(3)設計學習型紅外遙控模塊並調試;
(4)完成結題報告書
僅用大學生創新創業訓練計劃項目,嚴禁轉載