一提到反向傳播算法，我們就不自覺的想到隨機梯度下降、sigmoid激活函數和最讓人頭大的反向傳播法則的推導，即便是把反向傳播神經網絡的原理學了一遍，也還是一頭霧水，在這裡推薦一本小編認為把BP神經網絡講的最通透的教材《Python神經網絡編程》。下面小編將以代碼的方式帶著大家一步一步實現BP神經網絡，並且還會再用框架的方式實現BP網絡，用來和源碼作比較，認識一下TensorFlow2.0的強大。
我們首先要理清建立BP神經網絡的目的，其次，確定BP神經網絡的結構，簡單地以一個輸入層，一個隱藏層，一個輸出層為例，我們來思考一下寫代碼的思路，然後一步一步實現。
在這裡，我們建立BP神經網絡的目的是為了做預測，我們這裡用700條MG時間序列數據作為訓練數據，輸入維度是10，輸出為1，為了方便，我們設置一個隱藏層，這個隱藏層包含10個節點，所以我們的BP神經網絡的結構就是[10,10,1]。接下來，開始思考一下流程：
1、讀取數據，將數據分為訓練集和測試集，注意這裡的數據默認都是np.array()的格式。
2、初始化BP網絡，主要是確定網絡結構，輸入層、隱藏層、輸出層個數，以及隨機初始化相互連接的權值
3、調用訓練方法，傳入數據進行訓練
前向傳播 反向傳播保存模型進行測試 裡面還有很多細節，我們邊寫邊完善，整個程序的框架已經很明確了。從第一步開始，讀取數據，第一步中需要注意的是，讀取的數據最好進行歸一化處理，一方面，這樣做有助於提高預測精度，另一方面，如果使用sigmoid作為激活函數的話，它的輸出是在[0,1]之間的，如果數據不進行歸一化，不在[0,1]區間的數是沒有辦法預測的。這裡我們直接調用sklearn中的最大最小歸一化的方法就可以，為了方便讀者理解代碼，我們將import緊挨著代碼：
#防止數據用科學計數法輸出 np.set_printoptions(suppress=True) #讀取數據 way1 = 'Traindata11.csv' data = np.array(pd.DataFrame(pd.read_csv(way1))) # 歸一化所有數據 from sklearn.preprocessing import MinMaxScaler format_minmax = MinMaxScaler() data = format_minmax.fit_transform(data) x = data[:,:-1] #需要訓練的數據 y = data[:,-1] #label,標籤 #初始化BP網絡 #訓練網絡
第二步，我們要初始化網絡，確定網絡的結構：
def __init__(self, ni, nh, no):
"""
構造神經網絡
:param ni:輸入單元數量
:param nh:隱藏單元數量
:param no:輸出單元數量
"""
self.ni = ni + 1 # +1 是為了偏置節點
self.nh = nh
self.no = no
# 激活值（輸出值）
self.ai = [1.0] * self.ni #這裡會生成一個1*ni維，數值全為1的列表
self.ah = [1.0] * self.nh
self.ao = [1.0] * self.no
# 權重矩陣
self.wi = np.random.randn(self.ni, self.nh) #輸入層到隱藏層
self.wo = np.random.randn(self.nh, self.no) # 隱藏層到輸出層
# 記錄權重矩陣的上次梯度
self.ci = np.zeros([self.ni, self.nh])
self.co = np.zeros([self.nh, self.no])
第三步開始訓練並保存模型：
def train(self,train,lable,max_iterations=1000, N=0.5, M=0.1):
"""
訓練
:param train:訓練集
:param lable:標籤
:param max_iterations:最大迭代次數
:param N:本次學習率
:param M:上次學習率
"""
for i in range(max_iterations): #迭代最大訓練次數（epoch）
for j in range(len(train)): #訓練集
inputs = train[j] #輸入向量
targets = lable[j] #目標值
self.forword_propagation(inputs) #前向傳播訓練
error = self.back_propagation(targets, N, M) #反向傳播訓練，傳入lable
if i % 50 == 0: #每50次輸出一次誤差（loss）,loss函數為mse
print('Combined error', error)
winame = 'wi.npy'
woname = 'wo.npy'
np.save(winame, self.wi)
np.save(woname, self.wo)
接下來我們就要實現前向傳播和反向傳播的方法了,我們按照順序從前向傳播開始，前向傳播用到了sigmoid作為激活函數，所以我們把sigmoid函數也一併列出：
def sigmoid(self,x):
"""
sigmoid 函數，1/(1+e^-x)
:param x:
:return:
"""
return 1.0 / (1.0 + math.exp(-x))
def forword_propagation(self, inputs):
"""
前向傳播進行分類
:param inputs:輸入
:return:類別
"""
if len(inputs) != self.ni - 1: #檢查輸入數據的維度是否和聲明的一致
print('輸入維度有誤，請重新檢查輸入')
for i in range(self.ni - 1): #按順序將n維的input映射到n個輸入節點上
self.ai[i] = inputs[i]
for j in range(self.nh): #遍歷隱藏層節點，每個隱藏層節點的值為n個輸入節點*對應權值（輸入層和隱藏層）的和
sum = 0.0
for i in range(self.ni):
sum += (self.ai[i] * self.wi[i][j])
self.ah[j] = self.sigmoid(sum) #將節點值經過sigmoid函數激活後，變為[0,1]之間的值
for k in range(self.no): #遍歷輸出層節點，每個輸出層節點的值為n個隱藏層節點*對應權值（隱藏層和輸出層）的和
sum = 0.0
for j in range(self.nh):
sum += (self.ah[j] * self.wo[j][k])
self.ao[k] = self.sigmoid(sum) ##將節點值經過sigmoid函數激活後，變為[0,1]之間的值
return self.ao #返回輸出層的值
接下來是反向傳播，反向傳播中需要對sigmoid進行求導，為了方便我們直接寫出sigmoid的求導結果，另外這裡的誤差函數（loss）選擇mse：
def dsigmoid(self,y):
"""
sigmoid 函數的導數
:param y:
:return:
"""
return y * (1 - y)
def back_propagation(self, targets, N, M):
"""
反向傳播算法
:param targets: 實例的類別
:param N: 本次學習率
:param M: 上次學習率
:return: 最終的誤差平方和的一半
"""
# 計算輸出層 deltas,求導數
# dE/dw[j][k] = (t[k] - ao[k]) * s'( SUM( w[j][k]*ah[j] ) ) * ah[j]
output_deltas = [0.0] * self.no #初始化輸出層列表為0
for k in range(self.no):
error = targets[k] - self.ao[k] #計算輸出層誤差
output_deltas[k] = error * self.dsigmoid(self.ao[k]) #計算每一個節點對誤差的影響大小，佔比越大，影響越大
# 根據delta更新隱藏層和輸出層之間的權值
for j in range(self.nh):
for k in range(self.no):
# output_deltas[k] * self.ah[j] 才是 dError/dweight[j][k]
change = output_deltas[k] * self.ah[j] #根據比例計算需要調整的值
self.wo[j][k] += N * change + M * self.co[j][k] #調整權值,調整方法有很多，例如隨機梯度下降，這裡只是簡單寫了一下
self.co[j][k] = change #保存調整的梯度
# 計算隱藏層 deltas
hidden_deltas = [0.0] * self.nh
for j in range(self.nh):
error = 0.0
for k in range(self.no):
error += output_deltas[k] * self.wo[j][k]
hidden_deltas[j] = error * self.dsigmoid(self.ah[j])
# 更新輸入層權值
for i in range(self.ni):
for j in range(self.nh):
change = hidden_deltas[j] * self.ai[i]
# print 'activation',self.ai[i],'synapse',i,j,'change',change
self.wi[i][j] += N * change + M * self.ci[i][j]
self.ci[i][j] = change
# 計算MSE
error = 0.0
for k in range(len(targets)):
error += (targets[k] - self.ao[k]) ** 2
error = error/len(y)
return error
到這裡就差不多實現了一個最簡單的BP神經網絡，不過小編強烈反對用這個代碼來進行實戰，這個代碼只適用於理解BP神經網絡。在下一篇中，我將用Tensorflow框架和Pytorch框架來實現一個通用的BP神經網絡，並且解答一下為什麼要使用激活函數。
不知不覺，2021年到來了，馬上天就要亮了，這一篇是小編的第一篇公眾號，僅以此銘記2021.1.1日凌晨。祝各位讀者，元旦快樂！！！
公眾號「神經網絡研究所」
公眾號發送「BP神經網絡圖書」，即可獲取電子版圖書。
公眾號發送「BP源碼」，即可獲取完整版源碼。