春節充電系列:李宏毅2017機器學習課程學習筆記07之反向傳播(Back Propagation)

2021-02-23 專知

春節充電系列：李宏毅2017機器學習課程學習筆記03之梯度下降

春節充電系列：李宏毅2017機器學習課程學習筆記04分類（Classification）

春節充電系列：李宏毅2017機器學習課程學習筆記05之Logistic 回歸

春節充電系列：李宏毅2017機器學習課程學習筆記06之深度學習入門

課件網址：

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

視頻網址：

https://www.bilibili.com/video/av15889450/index_1.html

李宏毅機器學習筆記7 反向傳播（Back Propagation）

在上一次筆記中我們討論到在深度學習中，我們尋找好的參數得到我們想要的輸出結果，得到參數的方法就是梯度下降方法，為了有效計算梯度，我們採用的是backpropagation方法

1. 鏈式法則

在數學分析課程中，涉及到複合函數的求導，我們會使用鏈式法則

由於神經網絡是多個神經元級聯起來的，涉及微分問題自然會用到鏈式法則

2. forward pass

c對w的微分可以分解為c先對z微分，然後z對w微分

其中c對w的微分很容易求得，這個過程稱為forword pass

3. backward pass

但c對z微分我們現在還不知道，因為該神經元後面的結構我們不知道，假設z通過激活函數後是a，a影響z』,z』』，再利用鏈式法則我們可以得到

通過上圖我們觀察到，如果c對z』,z』』的微分知道，c對z的微分等於一個線性函數乘以一個sigmoid函數的導數，這種函數形式和之前介紹的神經元的函數形式很類似，所以我們可以用類似的形式表示

如果z』和z』』是輸出層，那麼最終結果很容易求得

如果z』,z』』不是輸出層，我們可以遞歸繼續求解，直到達到輸出層

總結上述過程，我們可以先從輸出層求得c對z的微分，然後利用backward pass推得的公式從後到前依次推理求解，這也是為什麼這個方法叫做backpropagation的原因

4. summary

最後一步當然是z對w的微分和c對z的微分相乘

請關注專知公眾號（掃一掃最下面專知二維碼，或者點擊上方藍色專知），

人工智慧領域主題知識資料查看獲取：【專知薈萃】人工智慧領域26個主題知識資料全集（入門/進階/論文/綜述/視頻/專家等）

同時歡迎各位用戶進行專知投稿，詳情請點擊：

【誠邀】專知誠摯邀請各位專業者加入AI創作者計劃！了解使用專知！

請PC登錄www.zhuanzhi.ai或者點擊閱讀原文，註冊登錄專知，獲取更多AI知識資料！

請掃一掃如下二維碼關注我們的公眾號，獲取人工智慧的專業知識！

請加專知小助手微信（Rancho_Fang），加入專知主題人工智慧群交流！

相關焦點

  • 春節充電系列:李宏毅2017機器學習課程學習筆記16之無監督學習:自編碼器(autoencoder)
    話不多說，讓我們一起學習這些內容吧春節充電系列：李宏毅2017機器學習課程學習筆記01之簡介春節充電系列：李宏毅2017機器學習課程學習筆記02之Regression春節充電系列：李宏毅2017機器學習課程學習筆記03之梯度下降春節充電系列：李宏毅2017機器學習課程學習筆記04分類（Classification）春節充電系列：李宏毅
  • 春節充電系列:李宏毅2017機器學習課程學習筆記19之遷移學習(Transfer Learning)
    春節充電系列：李宏毅2017機器學習課程學習筆記01之簡介春節充電系列：李宏毅2017機器學習課程學習筆記02之Regression春節充電系列：李宏毅2017機器學習課程學習筆記03之梯度下降春節充電系列：李宏毅2017機器學習課程學習筆記04分類（Classification）春節充電系列：李宏毅2017機器學習課程學習筆記05
  • 春節充電系列:李宏毅2017機器學習課程學習筆記08之「Hello World」 of Deep Learning
    春節充電系列：李宏毅2017機器學習課程學習筆記03之梯度下降春節充電系列：李宏毅2017機器學習課程學習筆記04分類（Classification
  • 春節充電系列:李宏毅2017機器學習課程學習筆記27之循環神經網絡 Recurrent Neural Network
    【導讀】我們在上一節的內容中已經為大家介紹了臺大李宏毅老師的機器學習課程的Structured learning-sequence labeling
  • 春節充電系列:李宏毅2017機器學習課程學習筆記04之分類(Classification)
    【導讀】我們在上一節的內容中已經為大家介紹了臺大李宏毅老師的機器學習課程的梯度下降問題，一步步講解了梯度下降的若干主要問題：調整學習率、隨機梯度下降
  • 春節充電系列:李宏毅2017機器學習課程學習筆記03之梯度下降
    【導讀】我們在上一節的內容中已經為大家介紹了臺大李宏毅老師的機器學習課程的regression問題，其中簡要提及了梯度下降（gradient descent
  • 【CS224n筆記】 L4 Backpropagation andComputationGraphs
    本文為 Lecture 04 Backpropagation and Computation Graphs 的筆記。(全)||2017版|中英字幕如有疏漏之處，還望不吝賜教~Lecture 04 Backpropagation and Computation GraphsLecture PlanMatrix gradients for our simple neural net and some tipsComputation graphs and backpropagation
  • 中文課程!臺大李宏毅機器學習公開課2019版上線
    李教授的授課風格風趣幽默，通俗易懂，其課程內容中不僅有機器學習、深度學習的基礎知識，也會介紹 ML 領域裡的各種最新技術。近日，2019 版的課程資料與視頻終於上線了！2019 版《機器學習》課程目錄，括號內為新增內容：回歸、梯度下降分類、邏輯回歸，錯分類的原因深度學習，反向傳播（異常檢測）卷積神經網絡、Keras（對抗樣本攻擊）訓練深度學習模型（可解釋 AI）循環神經網絡（Order LSTM）Ensemble半監督學習、
  • 入門必備|中文課程!臺大李宏毅機器學習公開課2019版上線
    編輯：Cookies註：禁止二次轉載臺大教授李宏毅的機器學習課程經常被認為是中文開放課程中的首選。2019 版《機器學習》課程目錄，括號內為新增內容：回歸、梯度下降分類、邏輯回歸，錯分類的原因深度學習，反向傳播（異常檢測）卷積神經網絡、Keras（對抗樣本攻擊）訓練深度學習模型（可解釋 AI）循環神經網絡（Order LSTM）Ensemble半監督學習、
  • 大腦與反向傳播(Backpropagation and the brain)--上篇
    大腦與反向傳播（Backpropagation and the brain）Timothy P. Lillicrap, Adam Santoro, Luke Marris, Colin J. 接下來，研究人員定義了一個誤差函數【6】，該函數量化了網絡當前實現其目標的程度，然後他們尋找能夠通過計算突觸改變來縮小誤差的學習算法。在機器學習中，誤差的反向傳播（backprop）【7-10】是最常用於訓練深度神經網絡的算法（方框1），並且是這些網絡中最成功的學習方式。經過反向傳播訓練的網絡是最近機器學習成功的核心，其中包括最先進的語音【11】和圖像識別【12-13】以及翻譯【14】。
  • 李宏毅《機器學習》2019 新教程上線
    )授權轉載，禁止二次轉載參與：思源、澤南臺大教授李宏毅的機器學習課程經常被認為是中文開放課程中的首選。2019 版《機器學習》課程目錄，括號內為新增內容：回歸、梯度下降分類、邏輯回歸，錯分類的原因深度學習，反向傳播（異常檢測）卷積神經網絡、Keras（對抗樣本攻擊）訓練深度學習模型（可解釋 AI）循環神經網絡（Order LSTM）Ensemble半監督學習、
  • 機器學習入門經典課程,臺大李宏毅教授機器學習課程 2019 版來啦
    雷鋒網 AI 科技評論按，提到臺灣大學李宏毅教授，想必很多同學馬上會想到他的機器學習課程。近日，李教授機器學習課程 2019 年版視頻&課程資料終於上線啦~那麼我們在哪裡可以學習這個課程呢？list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4 李宏毅在國立臺灣大學獲得碩士、博士學位後，先後擔任過中國科學院信息技術創新研究中心的博士後研究員、麻省理工學院計算機科學與人工智慧實驗室（CSAIL）訪問科學家。目前，他是國立臺灣大學電氣工程系助理教授，研究方向是機器學習、語音識別和語意理解。
  • 【重溫經典】吳恩達機器學習課程學習筆記七:Logistic回歸
    【導讀】前一段時間，專知內容組推出了春節充電系列：李宏毅2017機器學習課程學習筆記，反響熱烈，由此可見，大家對人工智慧、機器學習的系列課程非常感興趣
  • 重磅推薦:大腦與反向傳播(Backpropagation and the brain)--上篇
    大腦與反向傳播（Backpropagation and the brain）Timothy P. Lillicrap, Adam Santoro, Luke Marris, Colin J. 接下來，研究人員定義了一個誤差函數【6】，該函數量化了網絡當前實現其目標的程度，然後他們尋找能夠通過計算突觸改變來縮小誤差的學習算法。在機器學習中，誤差的反向傳播（backprop）【7-10】是最常用於訓練深度神經網絡的算法（方框1），並且是這些網絡中最成功的學習方式。經過反向傳播訓練的網絡是最近機器學習成功的核心，其中包括最先進的語音【11】和圖像識別【12-13】以及翻譯【14】。
  • 最受歡迎中文機器學習課程,臺大李宏毅老師公開課2019版上線!
    臺大教授李宏毅的機器學習課程經常被認為是中文開放課程中的首選。李教授的授課風格風趣幽默，通俗易懂，其課程內容中不僅有機器學習、深度學習的基礎知識，也會介紹 ML 領域裡的各種最新技術。近日，2019 版的課程資料與視頻終於上線了！
  • 李宏毅機器學習完整筆記發布,AI 界「最熱視頻博主」中文課程筆記全開源
    很多人選擇的機器學習入門學習材料都是李宏毅老師的臺大公開課視頻。現在，機器學習愛好者有更完善的學習資料了。來自 Datawhale 的朋友整理、總結了李宏毅老師的機器學習視頻教程，添加了課程筆記，實現了課程內容的完整復現。目前項目已完全開源，包括課程內容和復現代碼，供大家使用。
  • 李宏毅機器學習完整筆記正式發布
    很多人選擇的機器學習入門學習材料都是李宏毅老師的臺大公開課視頻。現在，機器學習愛好者有更完善的學習資料了。來自 Datawhale 的朋友整理、總結了李宏毅老師的機器學習視頻教程，添加了課程筆記，實現了課程內容的完整復現。目前項目已完全開源，包括課程內容和復現代碼，供大家使用。目錄1.李宏毅機器學習簡介2.
  • 臺大李宏毅教授機器學習課程:前言
    我懷著一顆敬畏的心，一顆無知的心，決定認真而系統性地學習和實踐機器學習。市面上，關於機器學習的資料非常地豐富，找到適合自己且深入鑽研進去，至關重要。我用臺大李宏毅教授機器學習課程，指導和幫助我學習機器學習。
  • 資源|李宏毅中文《機器學習/深度學習》2019上線(附ppt及視頻分享)
    ，第一時間送達近日，李宏毅上線了 2019 最新版的機器學習課程，授課語言為中文，且全部開放了課程視頻。吳恩達、李飛飛等大牛的機器學習、深度學習公開課都乾貨滿滿，惠及很多學者。但是很遺憾的是他們的課程都是英文的，對於中文較差些的學生很不友好，而另外一位臺灣大學（NTU）的博士李宏毅則也是幽默風趣，在課程中加入二次元的元素，最重要的是中文授課，可以說非常適合我們入門或者重溫機器學習/深度學習的知識，我們也將這門課程推薦給大家~一、作者介紹：李宏毅（Hung-yi Lee）目前任臺灣大學電機工程學系和電機資訊學院的助理教授
  • 200種機器學習教程匯總!
    你應該了解的backprop（medium.com/@karpathy）你能給出神經網絡反向傳播算法的直觀解釋嗎？https://github.com/rasbt/python-machine-learning-book/blob/master/faq/visual-backpropagation.md反向傳播算法的工作原理http://neuralnetworksanddeeplearning.com