BP神經網絡

2021-03-02 FinTech劍客

 上篇劍客對神經網絡做了科普,還記得嘛神經網絡是長這個樣子的

  運行方式模擬人類神經系統，它由輸入層→隱藏層→輸出層依次進行數據傳遞,這就叫正向傳播，但輸出結果不對呢，如果有人看到『飛機場』非要告訴你是『大波』，這肯定神經系統出問題了得修正，那問題來了怎麼修正？正常邏輯肯定是從輸出層→隱藏層→輸入層反向修正權重，跟實際一樣你肯定也是對『大波』哥說『那是飛機場好不好!』，這種方法就是我們本文要講的反向傳播神經網絡。  BP神經網絡作為神經網絡和深度學習力最重要的一個算法，有必要掰開了揉碎了來研究的。老規矩蓄勢完畢，開始正題吧。第一層 先直接給出每一層權重的修正公式，手工走一遍反向修正過程。後續有相對較多不太友善的數學公式，如果只是看故事了解個大概的朋友基本可以轉發連結，後文點讚了。

我們使用韓老師的經典教科書案例，先講清楚神經元是怎么正向傳播和反向修正的。


 神經元的輸出由前一網絡層的輸出乘以相應權重進行累加，加上偏倚後代入擠壓函數，這個過程主要是兩步分解動作：

第一步，由前面一層的輸出乘以相應的權重，再加上一個偏倚得出累加值

第二步，累加值可能無窮小也可能無窮大太不規範，所以把值映射到0~1之間得到。

如何反向修正？

如果我們想得到的是1，算法給出的確是0,那就需要調整權重和，這裡先給出公式。

先算輸出層的誤差，以輸出層單元j為例：


是j層擠壓後的最終結果, 是真實的輸出如1。

隱藏層的誤差公式是：

   

k是j的下一層，j是隱藏層k就可能是輸出層，是j正向傳播後一層k神經元計算出來的誤差，從這裡就看出來誤差及參數的傳遞是由後向前進行的。

權重的改變如下：


是的變化量，前面有講是當前層的誤差，公式裡的l是學習率是梯度下降算法裡的概念，簡單舉例子來講步子邁太大容易扯著dan,邁太小進度又太慢，學習率就是這個步子，是當上一層擠壓的結果。

同樣我們也需要對偏倚進行修正:


有了上面粗暴給出的公式，我們來做一個具體的反向推導例子：


神經網絡如上圖，x1,x2,x3是輸入層，x4,x5是隱藏層，x6是輸出層，那我們算下淨輸出和各節點誤差如下：


我們依次進行反向修正，由x4,x5到x6的權重，依次到x1,x2,x3到x4,x5的權重，結果如下:


我們先重新定義正向傳遞子過程的公式的部分變量。現在設節點和節點之間的權值為，節點的閥值為，每個節點的輸出值為，而每個節點的輸出值是根據上層所有節點的輸出值、當前節點與上一層所有節點的權值和當前節點的閥值還有激活函數來實現的。具體計算方法如下

 

其中為激活函數，一般選取S型函數或者線性函數。正向傳遞的過程比較簡單，按照上述公式計算即可。在BP神經網絡中，輸入層節點沒有閥值。

反向傳遞子過程

在BP神經網絡中，誤差信號反向傳遞子過程比較複雜，它是基於Widrow-Hoff學習規則的。假設輸出層的所有結果為，誤差函數如下

而BP神經網絡的主要目的是反覆修正權值和閥值，使得誤差函數值達到最小。Widrow-Hoff學習規則是通過沿著相對誤差平方和的最速下降方向，連續調整網絡的權值和閥值，根據梯度下降法，權值矢量的修正正比於當前位置上E(w,b)的梯度，對於第j個輸出節點有


假設選擇激活函數為 


對激活函數求導得到


那麼接下來針對求導


 求導算出的修正公式，跟我們上一層講的完全對應。

是i到j的誤差就是之前講的

同樣對於有


這就是著名的學習規則，通過改變神經元之間的連接權值來減少系統實際輸出和期望輸出的誤差，這個規則又叫做Widrow-Hoff學習規則或者糾錯學習規則。上面是對隱含層和輸出層之間的權值和輸出層的閥值計算調整量，而針對輸入層和隱含層和隱含層的閥值調整量的計算更為複雜。假設是輸入層第k個節點和隱含層第i個節點之間的權值(這裡跟上一層的順序有區別要注意)，那麼有：


 此處公式推導的k是輸入層/隱藏層，i是隱藏層，j是輸出層區別於上一節裡所講解的順序需要注意，其中


這樣對學習規則理解更為深刻了吧。有了上述公式，根據梯度下降法，那麼對於隱含層和輸出層之間的權值和閥值調整如下


 伊塔是學習率，可以看做我們修正時邁的步子。

而對於輸入層和隱含層之間的權值和閥值調整同樣有


至此BP神經網絡公式推導講完

本次藉助的具體算法是MLPClassifier (多層感知機)，MLPClassifier使用了後向傳播算法。MLP 依靠兩個數組進行訓練，數組X保存了浮點型特徵值，Y數組儲存了訓練樣本的目標值，通過 hidden_layer_sizes數組設定每個隱藏層的神經元的個數。



這裡我定義一個MLPClassifier類。


這部分的輸出為，predict1是預測值，predict2除了預測值還包含預測的概率：

依次輸出，各層神經元的連接權重：

輸出結果：


BP神經網絡一般用於分類或者逼近問題。如果用於分類，則激活函數一般選用Sigmoid函數或者硬極限函，如果用於函數逼近，則輸出層節點用線性函數，即

 BP神經網絡在訓練數據時可以採用增量學習或者批量學習。

   增量學習要求輸入模式要有足夠的隨機性，對輸入模式的噪聲比較敏感，即對於劇烈變化的輸入模式，訓練效果比較差，適合在線處理。批量學習不存在輸入模式次序問題，穩定性好，但是只適合離線處理。

標準BP神經網絡的缺陷：

（1）容易形成局部極小值而得不到全局最優值。   

BP神經網絡中極小值比較多，所以很容易陷入局部極小值，這就要求對初始權值和閥值有要求，要使得初始權值和閥值隨機性足夠好，可以多次隨機來實現。

（2）訓練次數多使得學習效率低，收斂速度慢。

（3）隱含層的選取缺乏理論的指導。

（4）訓練時學習新樣本有遺忘舊樣本的趨勢。

BP算法的改進：

  （1）增加動量項 引入動量項是為了加速算法收斂，即如下公式

動量因子一般選取0.1~0.8。

  （2）自適應調節學習率

  （3）引入陡度因子

部分參考資料：

<數據挖掘概念與技術> <csdn BP神經網絡>  <sklearn文檔>

本篇完，後續講解theano 、tensorflow 及svm 、HMM的算法,歡迎轉發


我們專注深度學習，量化投資,歡迎給予建議

分享是種美德歡迎轉發

相關焦點

  • 什麼是人工神經網絡(ANN)?
    每天使用神經網絡的應用程式有很多，例如Google的翻譯服務，Apple的Face ID iPhone鎖和Amazon的Alexa AI驅動的助手。神經網絡也在其他領域的一些重要人工智慧突破背後，例如診斷皮膚和乳腺癌，讓目光投向自動駕駛汽車。人工神經網絡背後的概念和科學已經存在了數十年。
  • 圖神經網絡加速晶片進入倒計時 全球首款商用圖神經網絡加速IP核...
    因此,該IP核是全球首款圖神經網絡加速IP核,專注於高效加速圖神經網絡的推斷階段。　　適合圖神經網絡的算力　　此款圖神經網絡加速IP核代號為「GCU Zero」,主要研究人員之一是中科院計算所特別研究助理嚴明玉博士,其畢業於中科院計算所,曾在美國加州大學聖巴巴拉分校 SEAL 實驗室訪學,主要從事圖計算和圖神經網絡加速結構研究。
  • 資料| 神經網絡與深度學習(邱錫鵬)
    深度學習以神經網絡為主要模型，一開始用來解決機器學習中的表示學習問題。但是由於其強大的能力，深度學習越來越多地用來解決一些通用人工智慧問題，比如推理、決策等。目前，深度學習技術在學術界和工業界取得了廣泛的成功，受到高度重視，並掀起新一輪的人工智慧熱潮。主要特點：系統性：系統地整理了神經網絡和深度學習的知識體系。
  • 機器學習與人工神經網絡(二):深度學習(Deep Learning)
    但通常提到深度學習，人們指的是一種特定的機器學習法─「深度神經網絡」(Deep Neural Network)。在同系列的文章我們曾經介紹過人工神經網絡及其原理，它包含許多神經元，有些負責接受數據，有些負責傳遞數據。以手寫數字辨識為例，這個神經網絡包含三層神經元，除了輸入和輸出層外，中間有一層隱藏層(意指不參與輸入或輸出，隱藏於內部)，傳遞並處理數據。
  • BP自稱是首個獲VMA獎的韓團遭打臉，被指搶防彈少年團功勞
    其二是bp自稱是第一個在vma獲獎的Kpop藝人。的採訪原視頻中主持人稱bp是首個拿vma的kpop藝人，她們沒有對此作出否認，並回應了&34;，所以被認為是自稱。同時嘲諷bp一個大賞沒有得過成績不如防彈，如今卻將防彈少年團開除kpop籍，搶防彈的功勞。至於bp粉絲，則一力澄清Jennie的原話，並與防彈粉絲掀罵戰。
  • 出售全球化工業務、中國區換帥,「重塑」中的bp有何邏輯?
    經濟觀察網 記者 高歌 英國石油公司（bp）近期動作頻頻。7月1日，楊士旭履新bp中國總裁及集團地區事務與城市低碳解決方案高級副總裁，在bp有近30年的工作經歷的前任總裁楊筱萍在6月30日正式卸任。根據bp官網信息，楊士旭於1998年加入bp，此前主要領導bp在亞洲的下遊業務，擔任bp亞洲乙醯業務總裁，負責bp在亞洲諸多合資企業的管理工作。芳烴和乙醯共同構成bp化工業務的主要部分，在亞洲市場表現強勁。
  • 深度神經網絡推理時間的正確測量方法
    網絡延遲是將深度網絡部署到生產環境中要考慮的重要因素之一。大多數實際應用程式都需要非常快的推理時間，從幾毫秒到一秒不等。但是，正確而有意義地測量神經網絡的推理時間或延遲的任務需要對網絡有深刻的理解。即使是經驗豐富的程式設計師也經常會犯一些常見的錯誤，從而導致延遲測量不準確。這些錯誤有可能會引發錯誤的決策和不必要的支出。
  • 純貝葉斯神經網絡沒有意義?OpenAI科學家何出此言?
    但是當我們使用神經網絡時，實際設置顯然並非如此。增加神經模型的規模總能幫助提升性能，因此我們總想使用過參數化機制。在思考貝葉斯深度學習時，我們需要仔細考慮該差異的含義。不幸的是，這些事項結合到一起導致了一個重大問題：數據無法帶來神經網絡後驗集中。
  • 中科院計算所設計全球首款圖神經網絡加速晶片
    嚴明玉介紹道，圖神經網絡將深度學習算法和圖計算算法相融合，取長補短，能達到更優的認知與問題處理等能力，在搜索、推薦、風險控制等重要領域有著廣泛應用。現有的處理器晶片在執行圖神經網絡的計算中效率低下，其團隊前瞻性地展開面向圖神經網絡的加速晶片設計，為解決這一難題提供了可行方案。
  • 又是神經網絡!還能用來盜取XX女演員信息
    來源：煎蛋網四月初，名為Egor Tsvetkov的俄羅斯攝影師利用照片和應用程式FindFace(能利用面部識別將社交媒體帳戶信息與照片聯繫起來的神經網絡
  • 神經網絡引擎 蘋果晶片專題及常見問題 - CSDN
    最為神奇的部分在於A11晶片中的「神經引擎」，用於加速人工智慧相關的任務，例如負責處理Face ID的人臉識別、根據表情生成Animoji等機器學習算法。A11是一款人工智慧晶片A11 Bionic晶片上搭載的「神經網絡引擎」是一個專用於機器學習的硬體，這個神經網絡引擎跟麒麟970的NPU一樣，是在手機處理器平臺新加入的一個擅長神經網絡計算的硬體模塊。
  • MIT開發出輕量級MCU神經網絡系統MCUNet
    麻省理工學院的研究人員開發了一種系統，可以將深度學習的神經網絡帶到新的、小得多的地方，比如可穿戴醫療設備、家用電器中的微型計算機晶片，以及構成「物聯網」（IoT）的2500億個物體。 這個名為MCUNet的系統設計了緊湊的神經網絡，儘管內存和處理能力有限，但它為物聯網設備上的深度學習提供了前所未有的速度和精度。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。本文是一篇出自倫敦大學學院的圖表徵學習綜述，詳細介紹了圖核、卷積、圖神經網絡、圖嵌入、概率模型共五類圖表徵學習方法的起源與發展，並對圖數據表徵學習方法的最新進展和未來發展方向進行總結和討論。
  • ...與Kneron合作應用神經網絡與硬體協同搜索框架,並獲Facebook...
    在這個進程中，如何將神經網絡最優地實現硬體系統成為AI全民化的最後一英裡。華人教授史弋宇團隊與 Facebook 合作，提出了首個針對許多應用場景的神經網絡與ASIC協同設計方案 ASICNAS。　　神經網絡搜索(NAS)的研究極大地推動了人工智慧全民化的進程，即讓各行各業的應用都具有智能。
  • CrashCourse AI系列課程第4集:訓練神經網絡
    上回說到，製作人工大腦的方法是用神經網絡，試用數百萬個神經元，神經元之間有十億或萬億各個連接。當今的一些神經網絡又快又大，能夠比人類更好地完成一些諸如下棋和預測天氣等任務。但是，僅僅搭建一個空的神經網絡是不夠的，神經網絡還需要通過犯錯來學習。
  • 讓神經網絡給符號AI「打工」,視覺判斷準確率將遠超人類?
    現在的AI是神經網絡的天下，科學家們正在嘗試將神經網絡與「老式AI」結合。幾年前，科學家從小鴨子身上學到了一樣不尋常的東西。如果小鴨子出生後先看到的是兩個相似的物體，那麼之後會對相似物體產生更多的偏好。小鴨毫不費力地做的事情對於人工智慧來說是很難的，尤其是深度神經網絡這一AI分支。
  • 【乾貨】這8種神經網絡結構,你掌握了幾個?
    包括感知器、卷積神經網絡、循環神經網絡、LSTM、Hopfield網絡、玻爾茲曼機網絡、深度信念網絡、深度自編碼器。這些都是深度學習中非常經典的網絡。文章中，作者會深入淺出地對每個網絡結構進行講解，如果您想要從事機器學習或深度學習的研究，那麼這篇文章可以帶您快速了解神經網絡的經典網絡結構。如果您已經有了相關的基礎，希望通過閱讀本文，給您帶來新的感悟。專知內容組編輯整理。
  • 適用於特殊類型自然語言分類的自適應特徵譜神經網絡
    在完成大量的迭代計算之後，自適應特徵譜神經網絡得到了充分的訓練。訓練完成的自適應特徵譜神經網絡會對不同的輸入文本提取不同的特徵詞，並為其分配不同的權重。以古詩文《孔雀東南飛》為例，自適應特徵譜神經網絡根據不同文字的組合方式，對文中有助於主題分類的特徵詞進行提取，並為其分配了適當的權重，該權重經過後續網絡結構的運算即可得到最終的分類結果。
  • MIT重磅研究:基於人工神經網絡,探索抑制神經元的生物學意義
    Lynch 表示，「這一發現能夠為計算機網絡或以手機為代表的電子設備與生物系統中的神經網絡之間建立起緊密聯繫，我們正在嘗試從分布式計算的角度尋找可能使之受益的方向，並將重點放在算法上。」為了補充一些背景知識，雷鋒網先為大家簡單介紹一下人工神經網絡與人體神經網絡的聯繫與區別：我們都知道，大腦的神經細胞存在兩種狀態：興奮和抑制。
  • BP成員Lisa全球人氣第一，Jennie韓國人氣領先
    從銷量來看，目前bp在全球範圍內竟然中國粉絲最給力。對BP總體人氣有所了解後，四位成員個人人氣也一直是熱儀的話題。所以不論從哪個數據來看，Lisa都是bp全球：Lisa人氣最高對比bp成員全球人氣，沒有相對較準的計算方式，並且統計渠道多而雜，則以成員的流媒體搜索量來計量。目前有粉絲計算了從bp2016年8月至2020年6月的數據，我們以每年10月的數據為間隔點來看。2016年10月，bp出道不過在兩個月，當時全球的搜索量Lisa以大約高雙倍的數據領先隊友。