春節充電系列：李宏毅2017機器學習課程學習筆記03之梯度下降
春節充電系列：李宏毅2017機器學習課程學習筆記04分類（Classification）
春節充電系列：李宏毅2017機器學習課程學習筆記05之Logistic 回歸
春節充電系列：李宏毅2017機器學習課程學習筆記06之深度學習入門
課件網址：
http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html
視頻網址：
https://www.bilibili.com/video/av15889450/index_1.html
李宏毅機器學習筆記7 反向傳播（Back Propagation）
在上一次筆記中我們討論到在深度學習中，我們尋找好的參數得到我們想要的輸出結果，得到參數的方法就是梯度下降方法，為了有效計算梯度，我們採用的是backpropagation方法
1. 鏈式法則
在數學分析課程中，涉及到複合函數的求導，我們會使用鏈式法則
由於神經網絡是多個神經元級聯起來的，涉及微分問題自然會用到鏈式法則
2. forward pass
c對w的微分可以分解為c先對z微分，然後z對w微分
其中c對w的微分很容易求得，這個過程稱為forword pass
3. backward pass
但c對z微分我們現在還不知道，因為該神經元後面的結構我們不知道，假設z通過激活函數後是a，a影響z』,z』』，再利用鏈式法則我們可以得到
通過上圖我們觀察到，如果c對z』,z』』的微分知道，c對z的微分等於一個線性函數乘以一個sigmoid函數的導數，這種函數形式和之前介紹的神經元的函數形式很類似，所以我們可以用類似的形式表示
如果z』和z』』是輸出層，那麼最終結果很容易求得
如果z』,z』』不是輸出層，我們可以遞歸繼續求解，直到達到輸出層
總結上述過程，我們可以先從輸出層求得c對z的微分，然後利用backward pass推得的公式從後到前依次推理求解，這也是為什麼這個方法叫做backpropagation的原因
4. summary
最後一步當然是z對w的微分和c對z的微分相乘
請關注專知公眾號（掃一掃最下面專知二維碼，或者點擊上方藍色專知），
人工智慧領域主題知識資料查看獲取：【專知薈萃】人工智慧領域26個主題知識資料全集（入門/進階/論文/綜述/視頻/專家等）
同時歡迎各位用戶進行專知投稿，詳情請點擊：
【誠邀】專知誠摯邀請各位專業者加入AI創作者計劃！了解使用專知！
請PC登錄www.zhuanzhi.ai或者點擊閱讀原文，註冊登錄專知，獲取更多AI知識資料！
請掃一掃如下二維碼關注我們的公眾號，獲取人工智慧的專業知識！
請加專知小助手微信（Rancho_Fang），加入專知主題人工智慧群交流！