新智元報導
來源：Github
編輯：大明、小芹
【新智元導讀】吳恩達史丹福大學CS230《深度學習》課程內容歸納總結放出，全文乾貨。對於不方便正式上課的同學們來說，相信這份核心內容總結一定會對你有所幫助。
作為全球計算機四大名校之一，史丹福大學的CS230《深度學習》課程一直受到全球計算機學子和從業人員的熱烈歡迎。
CS230授課人為全球著名計算機科學家吳恩達和他的助教Kian Katanforoosh。
日前，MIT的Afshine Amidi 和史丹福大學的Shervine Amidi在博客上整理了一份CS230課程知識點的歸納總結，在Reddit上引發熱議。
評論網友紛紛表示喜大普奔，對於沒有條件上課或者沒趕上授課時間的人來說，看看這份總結貼也能獲益頗豐。
這份總結提要基本遵循CS230的授課思路和流程，分三大方面由淺入深地介紹了深度學習的基本概念、網絡模型、研究和實驗操作方法等。三部分內容分別為：卷積神經網絡、遞歸神經網絡、提示與技巧。
本文主要介紹這份總結的第一部分，即CNN部分的內容，後兩部分RNN、竅門與技巧部分，讀者可自行參看Github上放出的資源:
卷積神經網絡（CNN）
https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-convolutional-neural-networks
遞歸神經網絡（RNN）
https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks
技巧與竅門
https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-deep-learning-tips-and-tricks
囊括全部內容的「超級VIP」pdf下載
https://github.com/afshinea/stanford-cs-230-deep-learning/blob/master/super-cheatsheet-deep-learning.pdf
卷積神經網絡結構：卷積層、池化層、全連接層
傳統的卷積神經網絡由輸入圖像、卷積層、池化層和全連接層構成。
卷積層（CONV）：使用過濾器執行卷積操作，掃描輸入大小。它的超參數包括濾波器的Size和Stride。結果輸出O稱為特徵映射或激活映射。
池化層（POOL）是一種下採樣操作，通常在卷積層之下使用，該卷積層執行一些空間不變性。其中最大池化和平均池化屬於特殊操作，分別採用最大值和平均值。
全連接層（FC）在平坦輸入上運行，每個輸入都連接到所有神經元。如果全連接層存在，通常位於網絡體系結構的末尾，可用於優化諸如分類評分等目標。
過濾器超參數
過濾器維度: 大小為F×F的過濾器應用在C channel上維度為F×F×C。
Stride：對於卷積和池化操作而言，Stride表示每次操作後窗口移動的像素數量。
Zero-padding表示對輸入邊界的每一端加入P個零的過程。這個值可以通過下圖中所示的三個方式手動指定，也可以自動設置。
超參數的調整
卷積層中的超參數兼容性：記輸入量長度為I，過濾器長度為F，補零數量為P，Stride量為S，則該維度下特徵映射的輸出大小O可用下式表示：
理解模型的複雜度：為了獲取模型複雜度，常常可以通過相應架構下的參數數量來達到這一目標。在給定的卷積神經網絡層中，該過程如下圖所示：
感受野：層K上的感受野區域記為Rk×Rk，即第K次激活映射可以「看見」的每個輸入像素。若層j上的過濾器大小為Fj，層i上的Stride值為Si，且S0=1，則層k上的感受野可以由下式計算出：
常用激活函數
整流線性單元 : 整流線性單元層（ReLU）是激活函數g，作用於所有元素。它旨在為網絡引入非線性特徵，其變量總結在下圖中：
Softmax:可以視作一個作用於網絡架構末端通用邏輯函數，輸入為分數向量，輸出為概率向量。其定義如下：
物體檢測
模型的類型：
有三類主要的物體識別算法，其預測的性質是不同的。如下表的描述：
三類物體識別算法
檢測(Detection)：
在對象檢測的上下文中，根據我們是僅想要定位對象還是想要在圖像中檢測更複雜的形狀，可以使用不同的方法。下面總結了兩個主要的方法：
邊界框檢測和特徵點檢測
Intersection over Union：
Intersection over Union（交並比），也稱為IoU，是一種量化預測邊界框
在實際邊界框
上的正確定位的函數。它的定義是：
備註：IoU∈[0,1]。按照慣例，如果IoU(Bp,Ba)0.5，預測邊界框Bp被認為是合理的。
Anchor boxes：
Anchor boxing是一種用於預測重疊邊界框的技術。在實際應用中，網絡可以同時預測多個box，其中每個box的預測被約束具有給定的一組幾何特性。例如，第一個預測可能是給定形狀的矩形框，而第二個預測可能是另一個形狀不同的矩形框。
Non-max suppression：
Non-max suppression技術旨在通過選擇最具代表性的對象來刪除同一對象的重疊邊界框。在刪除了概率預測低於0.6的所有框之後，在剩餘框中重複以下步驟：
對於一個給定的類，
步驟1：選擇具有最大預測概率的框。
步驟2：刪除任何與前一個框的IoU0.5的框。
YOLO - You Only Look Once，這是一種對象檢測算法，它執行以下步驟：
步驟1：將輸入圖像分割成G×G的網格。
步驟2：對於每個網格單元，運行一個CNN網絡，預測下面公式中的y：
其中
是檢測對象的概率，
是檢測到的邊界框的屬性，
是檢測到的p類的one-hot representation，k是anchor boxes的數量。
步驟3：運行 non-max suppression 算法，刪除任何可能的重複重疊邊界框。
R-CNN
Region with Convolutional Neural Networks (R-CNN) 是一種對象檢測算法，它首先對圖像進行分割以找到潛在的相關邊界框，然後運行檢測算法，在那些邊界框中找到最可能的對象。
備註：雖然原始算法計算成本高且速度慢，但新的架構能讓算法運行得更快，例如Fast R-CNN和Faster R-CNN。
面部驗證和識別
模型類型：下面總結了兩種主要類型的模型：
One Shot Learning
One Shot Learning是一種面部驗證算法，它使用有限的訓練集來學習相似函數，該函數量化兩個給定圖像的差異。應用於兩個圖像的相似度函數通常被標註為d(image 1,image 2).。
Siamese Network
Siamese Networks的目的是學習如何編碼圖像，然後量化不同的兩個圖像。對於給定的輸入圖像
，編碼輸出通常記為
。
Triplet loss
Triplet loss 是在圖像A (anchor), P (positive) 和N (negative)這三個圖像的嵌入表示上計算的損失函數。 anchor和positive示例屬於同一個類，negative示例屬於另一個類。通過調用
margin參數，該損失定義如下：
神經風格遷移
動機：
神經風格轉移（neural style transfer）的目標是基於給定內容C和給定風格S，生成圖像G。
激活：
在給定層l中，激活被標記為
，並且具有維度
內容成本函數（Content cost function）
內容成本函數
用於確定生成的圖像G與原始內容圖像C的不同之處。它的定義如下：
風格矩陣（Style matrix）
style matrix
是一個Gram矩陣，其中每個元素
量化了通道k和k'的相關性。它是根據激活
定義的：
風格成本函數（Style cost function ）
風格成本函數
用於確定生成的圖像G與風格S的不同之處。它的定義如下：
總成本函數（Overall cost function）
總成本函數的定義是內容和風格成本函數的組合，由參數α, β加權，如下所示：
使用計算技巧的架構
生成對抗網絡（Generative Adversarial Network）
生成對抗網絡，也稱為GAN，由生成模型和判別模型組成，其中生成模型旨在生成最真實的輸出，這些輸出將被用於區分生成圖像和真實圖像。
ResNet（Residual Network）
殘差網絡架構（也稱為ResNet），使用具有大量層的residual blocks來減少訓練誤差。 residual blocks 具有以下特徵：
Inception Network
該架構使用 inception modules，目的是嘗試不同的卷積，以通過特徵的多樣化來提高其性能。具體來說，它使用1×1卷積技巧來限制計算負擔。
原文連結：
https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-convolutional-neural-networks
新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手_2 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。