基於DSP和FPGA的機器人聲控系統設計與實現

2021-01-08 電子產品世界

機器人聽覺系統主要是對人的聲音進行語音識別並做出判斷,然後輸出相應的動作指令控制頭部和手臂的動作,傳統的機器人聽覺系統一般是以pc機為平臺對機器人進行控制,其特點是用一臺計算機作為機器人的信息處理核心通過接口電路對機器人進行控制,雖然處理能力比較強大,語音庫比較完備,系統更新以及功能拓展比較容易,但是比較笨重,不利於機器人的小型化和複雜條件下進行工作,此外功耗大、成本高。

本文引用地址:http://www.eepw.com.cn/article/21345.htm

本次設計採用了性價比較高的數位訊號處理晶片tms320vc5509作為語音識別處理器,具有較快的處理速度,使機器人在脫機狀態下,獨立完成複雜的語音信號處理和動作指令控制,fpga系統的開發降低了時序控制電路和邏輯電路在pcb板所佔的面積[1],使機器人的"大腦"的語音處理部分微型化、低功耗。一個體積小、低功耗、高速度能完成特定範圍語音識別和動作指令的機器人系統的研製具有很大的實際意義。

2 系統硬體總體設計

系統的硬體功能是實現語音指令的採集和步進電機的驅動控制,為系統軟體提供開發和調試平臺。如圖1所示。

系統硬體分為語音信號的採集和播放,基於dsp的語音識別,fpga動作指令控制、步進電機及其驅動、dsp外接快閃記憶體晶片,jtag口仿真調試和鍵盤控制幾個部分。工作流程是麥克風將人的語音信號轉化為模擬信號,在經過音頻晶片tlv320aic23量化轉化成數位訊號輸入dsp.dsp完成識別後,輸出動作指令。

fpga根據dsp輸入的動作指令產生正確的正反轉信號和準確的脈衝給步進電機驅動晶片,驅動晶片提供步進電機的驅動信號,控制步進電機的轉動。片外flash用於存儲系統程序和語音庫並完成系統的上電加載。jtag口用於與pc機進行聯機在線仿真,鍵盤則用於參數調整和功能的切換。 3 語音識別系統設計

3.1 語音信號的特點

語音信號的頻率成分主要分布在300~3400hz之間,根據採樣定理選擇信號的採樣率為8 khz。語音信號的一個特點在於他的"短時性",有時在一個短時段呈現隨機噪聲的特性,而另一段表現周期信號的特性,或二者兼而有之。語音信號的特徵是隨時間變化的,只有一段時間內,信號才表現穩定一致的特徵,一般來說短時段可取5~50 ms,因此語音信號的處理要建立在其"短時性"上[2],系統將語音信號幀長設為20 ms,幀移設為10 ms,則每幀數據為160×16 b。

3.2 語音信號的採集和播放

語音採集和播放晶片採用的是ti公司生產的tlv320aic23b,tlv320aic23b的模數轉換(adc)和數模轉換(dac)部件高度集成在晶片內部,晶片採用8 k採樣率,單聲道模擬信號輸入,雙聲道輸出。tlv320aic23具有可編程特性,dsp可通過控制接口來編輯該器件的控制寄存器,而且能夠編譯spi,i2c兩種規格的接口,tlv320aic23b與dsp5509的電路連接如圖2所示。

dsp採用i2c口對tlv320aic23的寄存器進行設置。當mode=o時,為i2c規格的接口,dsp採用主發送模式,通過i2c口對地址為0000000~0001111的11個寄存器進行初始化。i2c模式下,數據是分為3個8 b寫入的。而tlv320aic23有7位地址和9位數據,也就是說,需要把數據項上面的最高位補充到第二個8 b中的最後一位。

mcbsp串口通過6個引腳clkx,clkr,fsx,fsr,dr和cx與tlv320aic23相連。數據經mcbsp串口與外設的通信通過dr和dx引腳傳輸,控制同步信號則由clkx,clkr,fsx,fsr四個引腳實現。將mcbsp串口設置為dsp mode模式,然後使串口的接收器和發送器同步,並且由tlv320aic23的幀同步信號lrcin,lrcout啟動串口傳輸,同時將發送接收的數據字長設定為32 b(左聲道16 b,右聲道16 b)單幀模式。

3.3 語音識別程序模塊的設計

為了實現機器人對非特定人語音指令的識別,系統採用非特定人的孤立詞識別系統。非特定人的語音識別是指語音模型由不同年齡、不同性別、不同口音的人進行訓練,在識別時不需要訓練就可以識別說話人的語音[2]。系統分為預加重和加窗,短點檢測,特徵提取,與語音庫的模式匹配和訓練幾個部分。

3.3.1 語音信號的預加重和加窗

預加重處理主要是去除聲門激勵和口鼻輻射的影響,預加重數字濾波h(z)=1一kz-1,其中是為預加重係數,接近1,本系統中k取0.95。對語音序列x(n)進行預加重,得到預加重後的語音序列x(n):

x(n)=x(n)一kx(n一1) (1)

系統採用一個有限長度的漢明窗在語音序列上進行滑動,用以截取幀長為20 ms,幀移設為10 ms的語音信號,採用漢明窗可以有效減少信號特徵的丟失。

3.3.2 端點檢測

端點檢測在詞與詞之間有足夠時間間隙的情況下檢測出詞的首末點,一般採用檢測短時能量分布,方程為:


其中,x(n)為漢明窗截取語音序列,序列長度為160,所以n取160,為對於無音信號e(n)很小,而對於有音信號e(n)會迅速增大為某一數值,由此可以區分詞的起始點和結束點。

3.3.3特徵向量提取

特徵向量是提取語音信號中的有效信息,用於進一步的分析處理。目前常用的特徵參數包括線性預測倒譜係數lpcc、美爾倒譜係數mfcc等。語音信號特徵向量採用mel頻率倒譜係數mfcc(mel frequency cepstrum coeficient的提取,mfcc參數是基於人的聽覺特性的,他利用人聽覺的臨界帶效應[3],採用mel倒譜分析技術對語音信號處理得到mel倒譜係數矢量序列,用mel倒譜係數表示輸入語音的頻譜。在語音頻譜範圍內設置若干個具有三角形或正弦形濾波特性的帶通濾波器,然後將語音能量譜通過該濾波器組,求各個濾波器輸出,對其取對數,並做離散餘弦變換(dct),即可得到mfcc係數。mfcc係數的變換式可簡化為:


其中,i為三角濾波器的個數,本系統選p為16,f(k)為各個濾波器的輸出數據,m為數據長度。

3.3.4 語音信號的模式匹配和訓練

模型訓練即將特徵向量進行訓練建立模板,模式匹配即將當前特徵向量與語音庫中的模板進行匹配得出結果。語音庫的模式匹配和訓練採用隱馬爾可夫模型hmm(hidden markov models),他是一種統計隨機過程統計特性的概率模型一個雙重隨機過程,因為隱馬爾可夫模型能夠很好地描述語音信號的非平穩性和可變性,因此得到廣泛的使用[4]。

hmm的基本算法有3種:viterbi算法,前向一後向算法,baum-welch算法。本次設計使用viterbi算法進行狀態判別,將採集語音的特徵向量與語音庫的模型進行模式匹配。baum-welch算法用來解決語音信號的訓練,由於模型的觀測特徵是幀間獨立的,從而可以使用baum-welch算法進行hmm模型的訓練。

3.4 語音識別程序的dsp開發

dsp的開發環境為ccs3.1及。dsp/bios,將語音識別和訓練程序分別做成模塊,定義為不同的函數,在程序中調用。定義語音識別器函數為int recognizer(int micin),識別結果輸出函數為int result(void),語音訓練器函數為int train(int tmode,int audiod),動作指令輸入函數為int keyin(int action[5])。

語音識別器的作用是將當前語音輸入變換成語音特徵向量,並對語音庫的模板進行匹配並輸出結果,語音應答輸出函數將獲取的語音識別結果對應的語音應答輸出,語音訓練是將多個不同年齡、不同性別、不同口音的人語音指令輸入轉化為訓練庫的模板。為防止樣本錯誤,每個人的語音指令需要訓練2次,對於2次輸入用用歐氏距離去進行模式匹配,若2次輸入相似度達到95%,則加入樣本集。語音應答輸入函數是為每個語音庫中模板輸入對立的語音輸出,以達到語言應答目的。系統工作狀態為執行語言識別子程序,訓練時執行外部中斷,執行訓練函數,取得資料庫模板,訓練完畢返回。程序框圖如圖3所示。

4 機器人的動作控制系統設計

4.1 fpga邏輯設計

系統通過語音控制機器人頭部動作,頭部運動分為上下和左右運動2個自由度,需要2個步進電機控制,dsf完成語音識別以後,輸出相應的動作指令,動作執行結束後,dsp發出歸零指令,頭部回到初試狀態。fpga的作用是提供dsp接口邏輯,設置存儲dsp指令的ram塊,同時產生步進電機驅動脈衝控制步進電機轉動方向和角度。

fpga器件為動作指令控制單元,設計採用flexloke晶片,接收dsp數據後並行控制2路步進電機。fpga內部結構邏輯如圖4所示,fpga內部設置2個元件為電機脈衝發生器,控制電機的工作脈衝以及正反轉。ao~a7為dsp數據輸入埠,wr為數據寫埠,p1,p2為2個步進電機驅動晶片脈衝輸入口,l1,l2為電機正反轉控制口,enable為使能信號。

ram1和ram2分別為2個步進電機的指令寄存器,電機脈衝發生器發出與ram中相應數量的方波脈衝。dsp通過do~d8數據端輸出8位指令,其中。d8為ram選擇,為1時選擇ram1,為0時選擇ram0,do~d7為輸出電機角度,電極上下和左右旋轉角度為120°,精度為1°,初始值都為60°,do~d7的範圍為00000000~11111000,初始值為00111100。fpga作為步進脈衝發生器,通過時鐘周期配置控制電機轉速,與初始值對應坐標決定正反轉。系統動作指令程序如圖5所示。
其中r1為dsp指令寄存器,r2為當前坐標寄存器,通過dsp的輸出坐標與fpga的當前坐標進行差值運算來確定步進電機的旋轉方向和旋轉角度,優點是可以根據新的輸入指令的變化,結束當前動作以運行新的指令,指令執行完畢後,系統清零,步進電機回到初始狀態。

4.2 fpga邏輯仿真

fpga以max-plusⅱ開發平臺,用語言為vhdl語言對上述邏輯功能進行設計,並通過jtag接口進行了調試,flexl0ke晶片能夠根據dsp輸出指令輸出正確的正反轉信號和脈衝波形。

4.3 步進電機驅動設計

fpga通過p1,l1,p2,l2輸出控制控制步進電機驅動晶片。步進電機驅動採用的是東芝公司生產的單片正弦細分二相步進電機驅動專用晶片ta8435h,fpga與ta8435h電路連接如圖6。

由於flex1oke和tms320vc5509工作電壓為3.3 v,而ta8435h為5 v和25 v,所以管腳連接使用光電耦合器件tlp521,使兩邊電壓隔離。clk1為時鐘輸入腳,cw/ccw為正反轉控制腳,a,a,b,b為二相步進電機輸入。

5 結 語

系統充分利用了dsp的高處理速度和可擴展的片外存儲空間,具有高速、實時、識別率高的特點並支持大的語音庫,fpga的使用使系統電路獲得簡化,一片flexl0ke晶片可以完成2個步進電機的時序控制。雖然在處理速度和語音庫的存儲容量上與pc機系統具有一定的差距,但在機器人的微型化、低功耗和特定功能實現上,以dsp和fpga為核心的嵌入式系統無疑具有廣闊的前景。


相關焦點

  • 基於DSP與FPGA的機器人聲控系統設計方案
    本次設計採用了性價比較高的數位訊號處理晶片TMS320VC5509作為語音識別處理器,具有較快的處理速度,使機器人在脫機狀態下,獨立完成複雜的語音信號處理和動作指令控制,FPGA系統的開發降低了時序控制電路和邏輯電路在PCB板所佔的面積,使機器人的"大腦"的語音處理部分微型化、低功耗。一個體積小、低功耗、高速度能完成特定範圍語音識別和動作指令的機器人系統的研製具有很大的實際意義。
  • 基於FPGA的無損圖像壓縮系統設計
    編者按:  摘要:本文簡要介紹了圖像壓縮的重要性和常用的無損圖像壓縮算法,分析了快速高效無損圖像壓縮算法(FELICS)的優勢,隨後詳細分析了該算法的編碼步驟和硬體實現方案,最後公布了基於該方案的FPGA性能指標。
  • 基於小波變換與DSP的實時音頻視頻處理系統
    本文介紹一種基於adv611,ct8021晶片同時結合ti公司的tms320c6201晶片實現音/視頻實時處理系統。在該實時系統中,dsp晶片作為控制核心、一方面要管理adv611,ct8021,存儲器和通信接口,另一方面要對adv611的圖像壓縮效果進行調解,對數據速率實時控制。系統實現方案原理圖如圖1所示。
  • 第六講 DSP在雷達信號處理中的應用
    為了讓工程師在設計開發中完善和拓展基礎理論與系統知識,豐富應用經驗,《世界電子元器件》和中電網聯合清華大學等知名院校共同創辦了這個欄目,特約知名學者、教授以及著名半導體公司的應用工程師撰寫,以系列講座的方式對熱點ic技術進行全面而系統的介紹,涵蓋最新技術要點。最先開設的講座將圍繞三大課題:dsp、fpga和嵌入式系統,每個課題都將連載6期。
  • 基於FPGA高精度浮點運算器的FFT設計與仿真
    摘要 基於IEEE浮點表示格式及FFT算法,提出一種基2FFT的FPGA方法,完成了基於FPGA高精度浮點運算器的FFT的設計。利用VHDL語言描述了蝶形運算過程及地址產生單元,其仿真波形基本能正確的表示輸出結果。
  • 基於DSP的數字掃描探針顯微鏡的硬體解決方案研究
    系統設計思想 為了解決上述缺點,筆者給出了一種基於dsp的新型數字式spm系統的設計方案,新方案的系統框圖如圖2所示。 dsp控制板的結構和功能 經過對spm儀器的控制流程、時序要求、掃描方式、反饋模型和實時性進行全面分析,並對幾種dsp晶片的性能的比較,本設計決定採用ti公司的54x系列dsp晶片,該系統的dsp的運算處理速度、處理精度、功耗都能滿足spm應用系統的反饋要求。
  • 基於FPGA IP核的FFT實現
    目前現有的文獻大多致力於研究利用FFT算法做有關信號處理、參數估計、F+FT蝶形運算單元與地址單元設計、不同算法的FFT實現以及FFT模型優化等方面。而FPGA廠商Altera公司和Xilinx公司都研製了FFT IP核,性能非常優越。在FFT的硬體實現中,需要考慮的不僅僅是算法運算量,更重要的是算法的複雜性、規整性和模塊化,而有關利用FFT IP核實現FFT算法卻涉及不多。
  • 基於FPGA的實時中值濾波器硬體實現
    在許多實際應用場合,如高清視頻監控、X光圖像的降噪等,需要快速且實時地進行中值濾波,軟體實現達不到實時處理的要求,因此選用硬體實現。 在硬體實現上,文獻[1]、[2]等採用行延遲的方法形成鄰域數據,以實現3×3的中值濾波。文獻[7]為了提高紅外成像跟蹤器設計了大窗口的中值濾波器。
  • 基於單片機及傳感器的機器人設計與實現
    摘要: 本設計基於單片機及多種傳感器,完成了一個自主式移動機器人的製作。單片機作為系統檢測和控制的核心,實現對機器人小車的智能控制。本文針對具有引導線環境下的路徑跟蹤這一熱點問題,基於單片機控制及傳感器原理,通過硬體電路製作和軟體編程,製作了一個機器人,實現了機器人的路徑跟蹤和自動糾偏的功能,並能探測金屬,實時顯示距離。
  • 基於FPGA的OFDM系統設計與實現
    通常用漏同步概率P1、假同步概率P2和同步平均建立時間ts三個性能指標來表示同步性能的優劣。在本文的幀同步信號提取電路的建模與設計中,是以7位巴克碼識別器作為幀同步碼組的。在同步系統處於捕獲階段時,設置自動判決門限為7;在幀同步建立以後,則把判決門限降為6,這樣做的目的一方面是減少假同步的概率,另一方面是為了減少漏同步的概率。
  • 基於FPGA的伺服驅動器分周比設計與實現
    為此提出一種基於FPGA的整數分周比實現方法。該方法邏輯結構簡單,配置靈活,易於擴展,具有很高的實用價值。  1 電子齒輪比與分周比  電子齒輪比與分周比是數控工具機和數控加工中心中一個很重要的概念。國外大部分伺服驅動裝置有電子齒輪比和分周比功能,其中電子齒輪比KEG為伺服電機實際執行的脈衝量與指令脈衝量之比,分周比KDF是伺服驅動器接收到來自伺服電動機軸上脈衝編碼器的脈衝量與實際反饋到上位伺服控制系統(CNC)上脈衝量的比。
  • 基於FPGA的複數浮點協方差矩陣實現
    故目前國內外協方差運算的FPGA實現都是採用定點運算方式。 在所有運算都是定點運算的情況下,每次乘法之後數據位寬都要擴大一倍。若相乘後的數據繼續做加減運算,為了保證數據不溢出,還必須將數據位寬擴展一位,而協方差矩陣的運算核心就是乘累加單元,隨著採樣點數的增加,位寬擴展呈線性增加。最終導致FPGA器件資源枯竭,無法實現設計。
  • AMBE2000和AD73311在多模式電臺中的應用
    基於ambe2000和ad73311的語音處理模塊實現方法 實現方案 基於ambe2000和ad73311的語音處理模塊,能夠兼容多種調製方式、多種數據速率,晶片簡單高效的接口也簡化了電路的設計,其實現方案如圖3所示。
  • 基於FPGA的巴特沃茲IIR數字帶通濾波器設計
    其中IIR數字濾波器和FIR數字濾波器是目前人們使用較多的兩種。數字濾波器通常採用計算機軟體、專用數字濾波器、DSP器件或可編程邏輯器件(如FPGA) 實現。因為,用FPGA實現數字濾波器具有實時性強、靈活性高、處理速度快以及小批量生產成本低等優點,所以得到了較為廣泛的應用。本文以巴特沃思數字帶通濾波器為例,較為詳細地介紹了其設計和實現方法。
  • 基於fpga二維小波變換核的實時可重構電路
    項目背景及可行性分析本文引用地址:http://www.eepw.com.cn/article/266432.htm  2.1 項目名稱及摘要:  基於fpga二維小波變換核的實時可重構電路  現場可編程門陣列為可進化設計提供了一個理想的模板
  • 基於Spartan-3 FPGA的DSP功能實現方案
    雖然Spartan-3系列器件的價位可能較低,但它們同樣具有DSP設計所需的平臺特性。這些平臺特性能夠以較高的面積利用率實現信號處理功能,使設計達到更低價位點。  Spartan-3器件用作協處理器或預/後處理器是非常理想的,它們將運算密集型功能從可編程DSP上卸載下來以增強系統性能。
  • 基於FPGA的RCN226絕對式編碼器通信接口設計
    0 引言 光電碼盤是一種基本的位置、速度檢測反饋單元,非常廣泛地應用於變頻器、直流伺服、交流伺服等系統的閉環控制中。 絕對式編碼器廠家大多為其編碼器配套了接收晶片,實現串行編碼到並行編碼的轉換,便於控制器的讀取操作。但是此類晶片通常價格比較昂貴,大約佔絕對式編碼器價格的四分之一。目前國內外高端交流伺服系統中普遍採用FPGA+DSP結構。
  • 如何在 FPGA 上實現雙線性插值的計算?
    在FPGA上,乘法是一件非常消耗資源的事,雖然Xilinx和Altera這樣的FPGA廠商會在每塊FPGA板上設計dsp來專門應對乘法、除法等複雜運算。但dsp的數量是十分有限的,dsp的使用水平很大程度上決定了整個FPGA的計算速度。一個dsp可以當作一個乘法器使用,而一個除法器則需要多個DSP級聯組成。
  • 基於FPGA+MATLAB的串行多階FIR濾波器設計
    摘要 FIR濾波器的設計分為濾波器係數計算和濾波器結構的具體兩個部分。為說明使用FPGA實現FIR的靈活性,文中列舉了一個多階串行FIR濾波器實例,並給出主要的原始碼和相關模塊的時序和功能說明,最後使用Matlab和Quartusii聯合仿真驗證了FPGA硬濾波器工程的正確性。
  • 基於Spartan-6 FPGA的Sinc3 Filter設計
    Sinc3濾波器的基本原理本文引用地址:http://www.eepw.com.cn/article/129009.htm  Σ-Δ ADC利用過採樣的方法將量化噪聲搬移到高頻段,後端再使用數字抽取濾波器將高頻噪聲濾除,所以數字抽取濾波器的性能對整個Σ-Δ ADC系統非常重要