本系列是 史丹福大學自然語言處理-cs224課程的筆記4：神經網絡的反向傳播的直觀解釋，前 4 篇筆記如下：深度學習和自然語言處理：介紹；史丹福大學NLP-cs224課程筆記2：詞向量；一文了解Word2vec之Skip-Gram訓練網絡的3種技術；TensorFlow 實戰 3層網絡求解嵌入詞向量，附代碼詳解
接下來，這門課程講解的是 TensorFlow 的相關知識，鑑於之前對 TensorFlow的推送，已經基本覆蓋了本課程所講，不再重複，對於想了解這部分的小夥伴可以參考如下，在公眾號後臺回覆： dl，可以找到詳細、快速入門 TF 的PPT，回復 12 找到 TF 的已推筆記。
提到神經網絡，不會不說反向傳播 ( backpropagation )，正是靠著 BP 才調整並找到了合適的節點間的權重參數，既然這麼重要，再好好理解下 BP ，下面借鑑本課程中推薦的關於 BP 的閱讀材料，在這裡整理成筆記，分享給大家。
1 BP 簡介BP 是一種通過遞歸應用l鏈式法則計算梯度的方法。 對這個過程的理解對於我們高效地開發，設計，調試神經網絡是直觀重要的。
BP 問題本質上是研究 f 在 x 處的偏導。我們之所以對這個問題感興趣是因為某個對應於具體問題的神經網絡，f 對應著 損失函數 L , 輸入 x 包括訓練數據和神經網絡的權重參數。
例如，損失函數可能是 SVM 損失函數，輸入的訓練數據 (xi ,yi),i=1…N ，權重參數分別為 W,b. 記住，就像是在機器學習中，我們通常認為訓練數據是給定且固定的，權重參數認為是我們可以改變被我們控制的。因此，儘管我們能容易地利用反向傳播計算在每一個輸入樣本點 xi 的梯度，但是，實際上我們只計算在參數W,b 的梯度，進一步去更新參數W,b .
2 梯度簡介從簡單談起，考慮函數 f (x,y)=xy. 求各自的偏導過程如下：
這個求偏導的過程告訴我們， 一個函數對於某個變量的變化率等於如下極限：
如果 x=4, y=−3 則 f(x,y) = −12 ，因此，∂f / ∂x = −3. 這個式子告訴我們，假如我們增加 x 一點，那麼整個表達式將會減少這個量的 3 倍。
值得一提的是, ∇f 這個標記的含義是偏微分的向量，因此，我們得到： ∇f=[∂f / ∂x,∂f / ∂y]=[ y,x ]. 儘管梯度從技術角度講是一個向量，但是我們經常稱為 對 x 的梯度，而不是更準確的術語：對 x 的偏微分。
3 鏈式法則讓我們考慮一個稍顯複雜的表達式，f (x,y,z)=(x+y) z. 為了更直觀地理解反向傳播，我們將這個表達式拆成兩部分，將 (x+y) 標記為 q , 因此 f=qz. 更多地，我們知道如何計算這兩個表達式的偏導：
∂f / ∂q = z
∂f / ∂z = q
因為 q = (x+y) ，所以，
∂q / ∂x=1
∂q / ∂y=1
鏈式法則 ( chain rule ) 告訴我們正確的連結這些梯度表達式的方法是通過相乘來做，因此,
∂f/ ∂x=∂f /∂q*∂q /∂x
編碼實現：
# set some inputs
x = -2;
y = 5;
z = -4
# perform the forward pass
q = x + y # q becomes 3
f = q * z # f becomes -12# perform the backward pass (backpropagation) in reverse order:# first backprop through f = q * z
dfdz = q # df/dz = q, so gradient on z becomes 3
dfdq = z # df/dq = z, so gradient on q becomes -4# now backprop through q = x + y
dfdx = 1.0 * dfdq # dq/dx = 1. And the multiplication here is the chain rule!
dfdy = 1.0 * dfdq # dq/dy = 1
將這個過程可視化的圖形顯示如下：
前向傳播 ( forward pass ) 計算開始於輸入端，結束到輸出端，圖中綠色表示，輸入分別為： x = -2, y = 5, z = -4 , 因此， q = 3, q 乘以 -4 後 f 得到 -12 .
反向傳播( backward pass ) 卻開始於輸出端，然後遞歸地應用鏈式規則計算梯度，圖中紅顏色所示，f 增加 1，表現在 q 上就是使得 它變小 4, 使得 z 增加 3，q 節點還沒有傳播到輸入端，所以 q 繼續向後傳播影響到 x, y, 根據 q 對 x 和 y 的梯度公式， 得到 x 變化 -4, y 也會變化 -4.
一個複雜點的例子：
將上個式子鏈式分解為如下：
可視化正向傳播，反向傳播，規則和上個例子一致，綠色代表輸入值，紅色代表改變量。大家不妨詳細分析一下！
[1] Derivatives, Backpropagation, and Vectorization
http://cs231n.github.io/optimization-2/
點擊以下標題查看相關內容：
關於算法channel
算法channel是一個提供系統入門，工程與學術相結合的原創乾貨公眾號，包括基礎算法，機器學習，深度學習，NLP，工具庫使用等10餘個頻道，如果你對算法和人工智慧感興趣，歡迎在公眾號後臺點擊「交流群」。