今天給大家講一下卷積神經網絡，主要包括四個部分：卷積神經網絡的歷史、全連接層、卷積層和池化層。
CNN的英文全稱是Convolutional Neural Network，雛形是LeCun在1998年發明的LeNet網絡結構。
LeNet網絡架構
那麼到底什麼是神經網絡呢？應該說只要帶有卷積層的就可以被叫做卷積神經網絡。
神經網絡的發展歷史
1986年：Rumelhart和Hinton等人提出了反向傳播（Back Propagation）算法。
1998年：LeCun基於BP神經網絡訓練了LeNet網絡，標誌著CNN的真正面世。
2006年：Hinton在他們的Science Paper中首次提出了Deep Learning的概念。
2012年：其實在2006年Hinton提出深度神經網絡之後，受到了很多的質疑，但是在2012年Hinton的學生Alex Krizhevsky在寢室用GPU死磕了一個Deep Learning模型，一舉拿下了計算機視覺TOP領域ILSVRC 2012的冠軍，在百萬量級的ImageNet數據集合上，效果大幅度的超過了傳統的方法，準確率從70%提升到80%。
全連接層
其實全連接層就是模仿大腦的神經元結構，我們可以看到：
輸出值 = 輸入值x經過加權w之後累加的結果再經過激勵函數。形式化為：
那麼我們將神經元按列進行排列，列與列之間進行全連接，就得到了一個BP神經網絡。
BP神經網絡算法包括信號的前向傳播和誤差的反向傳播兩個過程。即計算誤差輸出時按從輸入到輸出的方向進行，而調整權值和閾值則從輸出到輸入的方向進行。
下面我們來看一個實例來了解一下BP神經網絡。
實例：利用BP神經網絡進行數字識別
我們拿到一張圖片，例如上邊第一張圖所示拿到的是0，這張圖是由若干像素組成，每個像素有RGB三個通道，然後經過灰度化後變成第二張圖片，然後將灰度化後的圖片進行二值化得到第三張圖片。
之後我們對圖片進行概率處理，例如第一個框中白色塊/全部塊 = 0.2，經過相應的策略處理之後第一個數值為0.2。以此類推，可以得到上圖右邊的矩陣。
然後我們對這個矩陣進行維度變換和處理，將其變為1*n的行向量，這樣處理之後的形式可以使得神經網絡更好的輸入處理。
我們知道神經網絡如何輸入了，那麼最後應該輸出什麼才可以更好的辨別數字呢？One-Hot編碼！
也就是說，每個數字都對應一個編碼，如果輸入1000000000，則判定為數字0，以此類推。
既然有了輸入，也有了輸出，我們就可以通過神經網絡對其進行訓練了。
首先將輸入層的神經元數設置為25個節點，將輸出層設置為10個節點，將上邊1*n的向量輸入到BP神經網絡中，然後經過隱藏層最後到輸出層onehot編碼，輸出層通過softmax激活函數可以得到每個數字出現的概率，即可識別數字。
卷積層
到底什麼是卷積層？之前的文章中講過了，有興趣的可以直接查看。
漫畫：卷積神經網絡中的卷積核到底是什麼？
漫畫：卷積神經網絡為什麼適合處理圖片數據？
乾貨 | 如何入手卷積神經網絡
在卷積層的講解中，想問大家一個問題，卷積核如果越界了應該如何處理？例如下面這樣：
假設用這麼一個矩陣，我們使用3*3的滑動窗口，步長為2，則出現下面這種情況應該如何處理？
我們可以對其進行使用Padding對其進行補0處理，如下所示：
在卷積操作過程中，矩陣經過卷積操作之後大小由下面幾個因數決定：
輸入圖像大小W*W Filter大小F*F 步長S padding的像素數P
經過卷積後的矩陣尺寸大小是有一個規律的，那麼給大家一個通用的公式：
N=(W-F+2P)/S+1
池化層
為什麼要存在池化層？因為當前的輸入數據太大，有很多冗餘信息，那麼我們就要想辦法對圖像矩陣進行下採樣，對特徵圖進行稀疏處理，減少數據運算量。下面通過MaxPooling下採樣來給大家看一下到底什麼是池化層。
上圖中紅色部分的值為1 1 5 6，我們使用的是MaxPooling，所以取最大值，則右圖中紅色部分為max(1,1,5,6)=6，以此類推，即可得到下採樣結果。
類似於最大下採樣，同樣也有平均下採樣層，如下圖所示：
為了大家更好的理解和使用池化層，我總結了池化層的三個特點：
沒有訓練參數 只會改變特徵矩陣的w和h，不改變channel 一般pool size和卷積核的stride相同
今天講的是卷積神經網絡的整體架構基礎，包括神經網絡的發展歷史、全連接層、卷積層和池化層，大家有什麼見解或者想法都可以在下面留言哦~