新智元AI WORLD 2018世界人工智慧峰會
倒計時4天
新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，計算機視覺領域先驅、約翰霍普金斯大學認知與計算機科學系教授Alan Yullie將親臨會場，發表主題演講《深度網絡及更多：大數據不是萬能的》。隨著計算機視覺技術的發展，如何利用小數據乃至無數據解決特定應用場景問題，將是最新的一個關鍵點，歡迎到現場交流！
新智元推薦
來源：kaiminghe.com
作者：何愷明
深度學習即表示學習
機器學習任務的表示（原始）數據：
視覺：像素，.
語言：字母，.
語音：聲波，.
遊戲：狀態，.
表示學習：AlphaGo
Bad representations → 模型（神經網絡）→ good representations
神經網絡的進化
學習表示：通過反向傳播，端到端地學習
LeNet
AlexNet
AlexNet 保留LeNet風格的骨架，再加上：
ReLU
Dropout
數據增強
VGG-16/19
「非常深的網絡！」
初始化方法
歸一化前向/後向信號的分析公式
基於強假設（如高斯分布）
GoogLeNet / Inception
GoogLeNet有很多版本，但有3個主要屬性是不變的：
多個分支
短路連接（shortcut）
Bottleneck
批量歸一化（BN）
批量歸一化（BN）
Recap：標準化圖像輸入（LeCun等人1998提出的「Efficient Backprop」）
BN：data-driven的標準化，對每一層、每個mini-batch都是如此
ResNets
只是簡單地堆疊層嗎？
簡單地堆疊層的網絡（Plain nets）堆疊3x3的卷積層，堆到56層的時候比20層的時候訓練誤差和測試誤差都更高。
更深的模型不應該訓練誤差反而更高
通過改善結構的解決方案：
原始層：從已學習的淺層模型複製
額外層：設置為identity
至少保持訓練誤差相同
深度殘差學習
對於Plain net：
H(x) 是任何想要的映射，希望subnet符合H(x)
對於Residual net：
同樣，H(x) 是任何想要的映射，但我們希望subnet符合F(x)，即
H(x) = F(x) + x
在這裡，F(x)是一個殘差映射，與它相關的是identity
在CIFAR-10數據集上的實驗
在ImageNet數據集上的實驗
計算機視覺任務之外，residual connections用於神經機器翻譯（NMT）
residual connections 用於語音合成（WaveNet）
AlphaGo Zero：使用了40個 Residual Blocks
ResNeXt：準確率更高，在各類競賽屢獲冠軍
更多架構：
Inception-ResNet [Szegedy et al 2017]
DenseNet [Huang et al CVPR 2017]
Xception [Chollet CVPR 2017]
MobileNets[Howard et al 2017]
ShuffleNet [Zhang et al 2017]
組規範化（GN）
總結
深度學習是表示學習
PPT下載地址：
http://kaiminghe.com/eccv18tutorial/eccv2018_tutorial_kaiminghe.pdf
新智元AI WORLD 2018世界人工智慧峰會
倒計時 4 天
門票已開售！
新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。
大會官網：
http://www.aiworld2018.com/