Widrow-Hoff神經網絡學習規則的應用研究

2021-01-17 電子產品世界

摘要：基於線性神經網絡原理，提出線性神經網絡的模型，並利用Matlab實現Widrow-Hoff神經網絡算法。分析Matlab人工神經網絡工具箱中有關線性神經網絡的工具函數，最後給出線性神經網絡在系統辨識中的實際應用。通過對線性神經網絡的訓練，進一步驗證Widrow-Hoff神經網絡算法的有效性，以及用其進行系統辨識的高精度擬合性。
關鍵詞：Widrow-Hoff學習規則；線性神經網絡；Matlab；系統辨識

本文引用地址：http://www.eepw.com.cn/article/191985.htm


1 引言
利用神經網絡解決實際問題時，必定涉及大量數值計算。為了解決數值計算與計算機仿真間的矛盾。美國MathWorks公司推出的集數學計算、圖形計算、語言設計、計算機仿真於一體的Matlab具有非線性適應性信息處理功能，克服傳統人工智慧方法對於直覺，如模式、語言識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域獲得成功，具有極高的編程效率。神經網絡工具箱是以神經網絡理論為基礎，用Matlab語言構造的典型神經網絡工具函數。Matlab中大量有關線性神經網絡的工具函數可為線性神經網絡研究和應用提供強有力的工具。


2 線性神經網絡原理
2．1 線性神經網絡的模型
圖1是具有R個輸入的單層(有S個神經元)線性神經網絡結構，其權值矩陣為w，閾值向量為b，這種網絡也稱為Madaline網絡。

2．2 線性神經網絡的學習規則
線性神經網絡是基於線性神經網絡算法。線性神經網絡採用Widrow-Hoff學習規則，利用learnwh()函數修正網絡的權值和閾值。使用Widrow-Hoff學習規則訓練網絡某一層的權值和閾值，使其線性逼近一個函數式。
首先定義一個線性網絡的誤差函數：


通過式(1)可知，線性網絡具有拋物面型的誤差曲面，因此只有一個誤差最小值。由於該值取決於網絡的權值和目標矢量，於是可通過調整權值使誤差達到最小。Widrow-Hoff學習規則是通過沿著相對於誤差平方和的最速下降方向，連續調整網絡的權值和閾值，根據梯度下降法，權值矢量的修正正比於當前位置上的e(w，b)的梯度，對於第i個輸出節點：


式中，η是學習率。
當η較大時，學習過程加速，網絡收斂較快，但η過大時，學習過程變得不穩定，且誤差增大；δ(i)=t(i)-a(i)。
以上各式為Widrow-Hoff學習規則最小均方誤差算法(LMS)。Widrow-Hoff學習規則的權值變化量正比於網絡的輸出誤差及網絡的輸入矢量。該算法無需求導，因此較簡單，並具有收斂速度快和精度高的優點。由於學習率與學習過程比較密切，因此學習率的取值非常關鍵。
採用Widrow-Hoff規則訓練的線性網絡，該網絡能夠收斂的必要條件是被訓練的輸入矢量必須是線性獨立的，且應適當選擇學習率。


3 線性神經網絡設計
Matlab神經網絡工具箱中含有易於構建的神經網絡函數。以下詳細說明線性神經網絡設計。
3．1 線性神經網絡的Matlab設計
3．1．1 線性神經網絡初始化
初始化是對連接權值和閾值進行初始化。initwb()初始化函數是對網絡的某一層的權值和閾值進行初始化，其格式為：net=initwb(net，i)。其中，i表示網絡的第i層。函數返回為第i層的權值和閾值都更新的網絡。
3．1．2 訓練網絡
線性神經網絡初始化後，就可對其訓練。設置參數，諸如學習步長、誤差目標等，同時在網絡訓練過程中，圖形顯示網絡誤差隨學習次數的變化而變化。
其格式為：


式中，Pd為延遲輸入；T為每一層的目標向量；Ai為初始輸入條件；Q為輸入向量個數；TS為時間步長；VV為空矩陣或確定的向量結構。
3．1．3 網絡仿真
仿真甬數sim()用來網絡仿真。其格式為：[Y，Pf，Af]=sim(net，{Q TS}，Pi，Ai)。其中，Y為訓練好的線性神經網絡的實際輸出；Pf為最終輸出延遲；Af為最終的層延遲。
3．2 訓練步驟
(1)根據給定的輸入矢量計算網絡的輸出矢量a=wxp+b，並計算與期望輸出之間的誤差e=t-a；
(2)將網絡輸出誤差的平方和與期望誤差相比較，如果其值小於期望誤差，或訓練以達到事先設定的最大訓練次數，則終止訓練；否則，繼續訓練；
(3)採用Widfrow-Hoff學習規則計算新的權值和閾值，並返回至(1)。


4 線性神經網絡在系統辨識中的應用
4．1 工作原理
線性神經網絡用於線性系統辨識必須遵循系統辨識的3個基本構成原則：(1)選擇在滿足給定的誤差準則下逼近系統的最簡單模型；(2)輸入信號的頻譜必須足以覆蓋系統的頻譜；(3)誤差準則由誤差的泛函表示。
對於一個具有m個輸入和n個輸出的r階離散線性系統，可由n個差分方程來描述，其中第l個差分方程的一般形式表示為：


式中，aij和bij是方程右邊各項係數，如果某項係數為零，則該項與y1(k)無關，去掉該項。
從式(5)可以看出，線性系統k時刻的輸出可以由前面時刻有關輸入輸出線性表示，這種關係類似於單層線性神經網絡輸入輸出之間的關係。根據上述原則(1)，建立線性神經網絡以辨識線性系統，神經網絡的輸入由系統輸入輸出信號的時延序列組成，網絡的輸入個數與系統階數有關，神經網絡的輸出代表系統輸出的估計值，網絡的輸出個數等於系統輸出個數。網絡建立後，根據基本構成原則(2)，運用Widrow-Hoff學習規則訓練神經網絡，反覆調節網絡的權值和閾值，使網絡輸出y(k)和系統輸出Y(k)之間的輸出誤差不斷減小，直至達到規定精度要求。
4．2 應用實例
設系統傳遞甬數為用線性神經網絡辨識其脈衝響應。設置如果迭代次數大於10 000或誤差小於0．001時，訓練結束。
採用其工作原理及Widrow-Hoff規則訓練給定系統。訓練過程中，當迭代的次數大於10 000或誤差小於目標誤差時，訓練結束。圖2為訓練後的訓練誤差及步數曲線，由圖2看出，經過7 766步訓練後誤差達到0．000 999 252小於誤差目標e=0．001，訓練結束。

圖3為訓練後的結果與期望結果的比較，圖中，「・」表示訓練值，連續曲線表示理論值。由圖3可見，訓練值和理論值基本擬合。

需要注意的是，在訓練過程中發現，由於權值的初始值是隨機的，經多次訓練，每次的訓練結果都不一樣，有時訓練到10 000步時仍然收斂不到0．001。由此可見，初始權值的選取對訓練是有一定影響的。選取初始值時應要根據具體要求而定，不能隨意而定。

5 結語
論述的Widrow-Hoff學習規則算法可實現，仿真結果表明Widrow-Hoff學習規則無需求導，算法比較簡單，收斂速度快。採用線性神經網絡辨識系統，無需建立實際系統的辨識模式，因為線性神經網絡本身已作為一種辨識模型，可達到很高的辨識速度且擬合精度較高。該方法還可推廣至其他本質非線性系統。

矢量控制相關文章:矢量控制原理

相關焦點

  • 什麼是人工智慧神經網絡? 神經網絡是怎麼應用到各領域的?|什麼|...
    川北在線核心提示：原標題：什麼是人工智慧神經網絡？ 神經網絡是怎麼應用到各領域的？ 　　人腦中的神經網絡是一個非常複雜的組織，成人的大腦中約有1000億個神經元，人類至今仍在探索人腦的工作原理。而人們通過對生物神經元的研究和理解，構建了一個模擬人腦的計算模型：人工神經網絡！ 　　那麼，人工神經網絡是什麼？人類通過構造神經網絡，能否給AI賦能，使之自我進化？ 　　什麼是神經網絡？
  • 基於憶阻器的神經網絡應用研究
    在神經形態計算的研究領域，類神經網絡與新型神經形態硬體是兩大基礎研究，在此研究基礎上，結合對生物大腦機制的愈加深入了解，最終實現人工智慧。 在類神經網絡方面，以深度學習為基礎的神經網絡研究已經普遍存在於人工智慧領域。神經網絡，即以數學模型來模擬人腦神經元及突觸的結構，並結合多層次傳導來模擬神經元的互聯結構，現如今已大量應用於人工智慧。
  • 基於憶阻器的神經網絡應用研究
    在神經形態計算的研究領域，類神經網絡與新型神經形態硬體是兩大基礎研究，在此研究基礎上，結合對生物大腦機制的愈加深入了解，最終實現人工智慧。在類神經網絡方面，以深度學習為基礎的神經網絡研究已經普遍存在於人工智慧領域。神經網絡，即以數學模型來模擬人腦神經元及突觸的結構，並結合多層次傳導來模擬神經元的互聯結構，現如今已大量應用於人工智慧。
  • 人工神經網絡研究的發展歷程及重要特性
    隨著大腦和計算機研究的進展,研究目標已從「似腦機器」變為「學習機器」,為此一直關心神經系統適應律的赫布(Hebb)提出了學習模型。羅森布拉特(Rosenblatt)命名感知器,並設計了一個引人注目的結構。
  • 【乾貨】圖神經網絡的十大學習資源分享
    乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行
  • 機器學習算法盤點:人工神經網絡、深度學習
    在非監督式學習中，數據並不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。 　　關聯規則學習通過尋找最能夠解釋數據變量之間關係的規則，來找出大量多元數據集中有用的關聯規則。
  • 人工神經網絡的五大主要應用場景
    輸入單元基於內部加權系統接收各種形式和結構的信息，神經網絡嘗試學習所呈現的信息以產生一個輸出報告。就像人類需要規則和指南才能得出一個結果或輸出一樣，ANN也使用一組名為反向傳播（back propagation）的學習規則來完善他們的輸出結果。（反向傳播是錯誤向後傳播的縮寫。)一個人工神經網絡最初要經歷一個訓練階段，在這個階段，它學會識別數據中的模式，無論是視覺，聽覺還是文本。
  • 神經網絡算法原理_神經網絡算法的應用_神經網絡算法實例說明
    神經網絡的用途非常廣泛，在系統辨識、模式識別、智能控制等領域都能一展身手。而現在最吸引IT巨頭們關注的就是神經網絡在智能控制領域中的自動學習功能，特別適合在需要代入一定條件，並且信息本身是不確定和模糊的情況下，進行相關問題的處理，例如語音識別。
  • 人工神經網絡及其應用
    第四個階段為新時期，開始於1987年6月，在美國加州聖地牙哥召開的首屆國際神經網絡學術會議，這標誌了在全世界範圍內掀起了研究神經網絡的熱潮。從1987年以來，神經網絡的理論、應用、實際開發工具均以令人興奮的速度發展。
  • 機器學習算法匯總:人工神經網絡、深度學習及其它
    常見的應用場景包括關聯規則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。而強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。 算法類似性根據算法的功能和形式的類似性，我們可以把算法分類，比如說基於樹的算法，基於神經網絡的算法等等。當然，機器學習的範圍非常龐大，有些算法很難明確歸類到某一類。而對於有些分類來說，同一分類的算法可以針對不同類型的問題。
  • 神經網絡預測編碼器的設計及應用
    1 BP網絡結構及其算法 反向傳播算法又稱誤差後向傳播算法(Error Back Propagation Algorithm)，它是用來訓練多層前饋網絡的一種學習算法。是一種有監督的學習算法。通常稱用誤差反向傳播算法訓練的網絡叫BP網絡。
  • 神經網絡和深度學習簡史(全)
    讓我告訴你，說來話長——這不僅僅是一個有關神經網絡的故事，也不僅僅是一個有關一系列研究突破的故事，這些突破讓深度學習變得比「大型神經網絡」更加有趣，而是一個有關幾位不放棄的研究員如何熬過黑暗數十年，直至拯救神經網絡，實現深度學習夢想的故事。
  • 剖析DeepMind神經網絡記憶研究:模擬動物大腦實現連續學習
    McCloskey 和 Cohen（1989）首先注意到了這種能力的缺失——他們首先訓練一個神經網絡學會了給一個數字加 1，然後又訓練該神經網絡學會了給數字加 2，但之後該網絡就不會給數字加 1 了。他們將這個問題稱為「災難性遺忘（catastrophic forgetting）」，因為神經網絡往往是通過快速覆寫來學習新任務，而這樣就會失去執行之前的任務所必需的參數。
  • 自動化所成功將腦神經系統原理應用於類腦脈衝神經網絡
    最近，中國科學院自動化研究所類腦智能研究中心研究員曾毅與團隊成員在一項研究中總結歸納了七條受腦啟發的學習準則，並成功應用於改善脈衝神經網絡。通過組合不同的受腦啟發的規則，實驗研究驗證了：隨著越來越多的、經過仔細選擇的、受腦啟發的規則的引入，深層脈衝神經網絡能夠得到越來越好的分類性能。
  • 為什麼神經網絡難以理解生命遊戲？
    生命遊戲，是一種在科學、計算和人工智慧領域廣泛應用的網格自動機，這個模型所產生的行為表現出，簡單的規則可以產生複雜的結果。儘管生命遊戲設定簡單，但對於人工神經網絡仍是一個挑戰，來自斯沃斯莫爾學院和洛斯阿拉莫斯國家實驗室的AI研究人員在他們最近的一篇論文中指出了這一點。
  • 神經網絡與人工智慧應用
    今天的文章包括一份目前已經在實踐中應用的 AI 算法與技術成果清單，如時序分析（深度學習正迅速取代信號處理領域中的一些傳統技術）等。一方面，這些成果可以說相當酷炫，但本文暫時不會對強化學習的實際應用進行展望，因為在我看來，實際上其還很難在某些工業應用環境中產生實際效果。當然，不能否認的是，強化學習確實是個前景廣闊，且正處於快速發展中的研究領域。
  • 一份完全解讀:是什麼使神經網絡變成圖神經網絡?
    一．為什麼圖有用在計算機視覺(CV)和機器學習(ML)的背景下，研究圖以及學習當中的模型至少可以給我們帶來以下四個好處：1. 因此，當我們想要解決輸入數據是圖結構的重要任務時，將這些屬性全部轉移到圖神經網絡(GNN)上，以規範它們的靈活性並使它們具有可擴展性。理想情況下，我們的目標是開發一個像GNN一樣靈活的模型，可以消化和學習任何數據，但同時我們希望通過打開或關閉某些先驗來控制(正則化)這種靈活性的元素。這可以在很多創新的方向上進行研究。然而，想要控制它並且達到一種平衡狀態還是很有挑戰性的。
  • 推薦| 九本不容錯過的深度學習和神經網絡書籍
    神經網絡設計（第二版）（Neural Network Design 2nd Edition)價格：28 美元本書作者著有 Neural Network Toolbox for MATLAB 一書。本書清楚詳細介紹了基本神經網絡結構和學習規則。其中，作者條理清楚地介紹了主要的神經網絡、訓練方法以及如何用來解決實際問題。
  • BP神經網絡
    其實在其他領域也是一樣，隨著神經網絡學習資料庫的範圍變大，學習程度的深入，使得神經網絡在更多領域得到運用，神經網絡正在成為一種有效的工具。由於財務風險預警的複雜性以及對決策的重要影響，國內外有大量的研究預測工作，採用各種方法來優化財務風險預警模型。
  • MIT重磅研究:基於人工神經網絡,探索抑制神經元的生物學意義
    這個模型是由一組輸入神經元陣列與同等數量的輸出神經元組成，採用「競爭學習規則」（winner-take-all）來操作。也就是說，網絡的輸出神經元之間相互競爭以求被激活，但在每一時刻只有一個輸出神經元被激活。