來自medium
作者：Aaron
機器之心編譯出品
參與：趙雲峰，孟婷，汪汪
對人工智慧領域來說，2015年是值得紀念的一年。不僅計算機「學」得更多更快了，我們也懂得了如何改進計算機系統。一切都在步入正軌，因此，我們正目睹著前所未有的重大進步：我們有了能用圖片來講故事的程序，有了無人駕駛汽車，甚至有了能夠創作藝術的程序。如果你想要了解2015年的更多進展，請一定要讀一讀這篇文章。AI技術已逐步成為許多技術的核心，所以，理解一些常用術語和工作原理成為了一件很重要的事。
人工智慧的很多進步都是新的統計模型，其中絕大多數來自於一項稱作「人工神經網絡」（artificial neural networks）的技術，簡稱ANN。這種技術十分粗略地模擬了人腦的結構。值得注意的是，人工神經網絡和神經網絡是不同的。很多人為了方便起見而把「人工神經網絡」中的人工二字省略掉，這是不準確的，因為使用「人工」這個詞正是為了與計算神經生物學中的神經網絡相區別。以下便是真實的神經元和神經突觸。
我們的ANN中有稱作「神經元」的計算單元。這些人工神經元通過「突觸」連接，這裡的「突觸」指的是權重值。這意味著，給定一個數字，一個神經元將執行某種計算（例如一個sigmoid函數），然後計算結果會被乘上一個權重。如果你的神經網絡只有一層，那麼加權後的結果就是該神經網絡的輸出值。或者，你也可以配置多層神經元，這就是深度學習的基礎概念。
人工神經網絡不是一個新概念。事實上，它們過去的名字不叫神經網絡，它們最早的狀態和我們今天所看到的也完全不一樣。20世紀60年代，我們把它稱之為感知機（perceptron），是由McCulloch-Pitts神經元組成。我們甚至還有了偏差感知機。最後，人們開始創造多層感知機，也就是我們今天通常聽到的人工神經網絡。
一個簡單的多層感知機
如果神經網絡開始於20世紀60年代，那為什麼它們直到今天才流行起來？這是個很長的故事，簡單來說，有一些原因阻礙了ANN的發展。比如，我們過去的計算能力不夠，沒有足夠多的數據去訓練這些模型。使用神經網絡會很不舒服，因為它們的表現似乎很隨意。但上面所說的每一個因素都在變化。如今，我們的計算機變得更快更強大，並且由於網際網路的發展，我們可使用的數據多種多樣。
上面我提到了運行計算的神經元和神經突觸。你可能會問：「它們如何學習要執行何種計算？」從本質上說，答案就是我們需要問它們大量的問題，並提供給它們答案。這叫做有監督學習。藉助於足夠多的「問題－答案」案例，儲存在每個神經元和神經突觸中的計算和權值就能慢慢進行調整。通常，這是通過一個叫做反向傳播（backpropagation）的過程實現的。
一個簡單的反向傳播算法
想像一下，你在沿著人行道行走時看到了一個燈柱，但你以前從未見過它，因此你可能會不慎撞到它並「哎呦」慘叫一聲。下一次，你會在這個燈柱旁邊幾英寸的距離匆匆而過，你的肩膀可能會碰到它，你再次「哎呦」一聲。直到第三次看到這個燈柱，你會遠遠地躲開它，以確保完全不會碰到它。但此時意外發生了，你在躲開燈柱的同時卻撞到了一個郵箱，但你以前從未見過這個郵箱，你徑直撞向它——「燈柱悲劇」的全過程又重現了。這個例子有些過度簡化，但這實際上就是反向傳播的工作原理。一個人工神經網絡被賦予多個類似案例，然後它試著得出與案例答案相同的答案。當它的輸出結果錯誤時，這個錯誤會被重新計算，每個神經元和神經突觸的值會通過人工神經網絡反向傳播，以備下次計算。此過程需要大量案例。為了實際應用，所需案例的數目可能達到數百萬。
既然我們理解了人工神經網絡以及它們的部分工作原理，我們可能會想到另外一個問題：我們怎麼知道我們需要多少神經元？為什麼前文要用粗體標出「多層」一詞？其實，每層人工神經網絡就是一個神經元的集合。在為ANN輸入數據時我們有輸入層，同時還有許多隱藏層，這正是魔法誕生之地。最後，我們還有輸出層，ANN最終的計算結果放置於此供我們使用。
一個層級本身是神經元的集合。在多層感知機的年代，我們起初認為一個輸入層、一個隱藏層和一個輸出層就夠用了。那時是行得通的。輸入幾個數字，你僅需要一組計算，就能得到結果。如果ANN的計算結果不正確，你再往隱藏層上加上更多的神經元就可以了。最後我們終於明白，這麼做其實只是在為每個輸入和輸出創造一個線性映射。換句話說，我們了解了，一個特定的輸入一定對應著一個特定的輸出。我們只能處理那些此前見過的輸入值，沒有任何靈活性。這絕對不是我們想要的。
如今，深度學習為我們帶來了更多的隱藏層，這是我們如今獲得了更好的ANN的原因之一，因為我們需要數百個節點和至少幾十個層級，這帶來了亟需實時追蹤的大量變量。並行程序的進步也使我們能夠運行更大的ANN批量計算。我們的人工神經網絡正變得如此之大，使我們不能再在整個網絡中同時運行一次迭代。我們需要對整個網絡中的子集合進行批量計算，只有完成了一次迭代，才可以應用反向傳播。
在今天所使用的深度學習中，人工神經網絡有很多種不同的結構。典型的ANN中，每個神經元都與下一層的每個神經元相連接。這叫做前饋人工神經網絡（儘管如此，ANN通常來說都是前饋的）。我們已經知道，通過將神經元與其他神經元按特定模式相連接，在處理一些特定情景的問題時，我們就會得出更好的結論。
遞歸神經網絡（RNN）的設計初衷是為了解決神經網絡不能基於過去知識做出決策的缺陷。典型的ANN已經在訓練中學會了基於文本做出決策，但是一旦它開始為實用做決策，這些決定之間就是彼此獨立的。
一個遞歸神經網絡
為什麼我們會想要這樣的東西？好吧，想一想玩21點遊戲。如果一開始你得到4和5，你就會知道2以下的牌都不在牌堆中。這種信息會幫助你決定是否要拿牌。RNN在自然語言處理中十分有用，因為前文的字詞有助於理解文中其他詞語的含義。雖然有不同類型的實現方式，但是目的都是一樣的。我們想要保留信息。為了達到這一目的，我們可以通過雙向遞歸神經網絡（ bi-directional RNN）或執行一個能根據每次前饋來進行調整的遞歸隱藏層。如果你想學習更多有關RNN的知識，可以查閱這篇博客：http://karpathy.github.io/2015/05/21/rnn-effectiveness/。
說到這裡，就不得不提到記憶網絡（ Memory Networks），這一概念是說，如果我們想要理解諸如電影或者書中那些構築於彼此之上的事件時，就必須記住比一個RNN或LSTM（長短期記憶人工神經網絡，一種時間遞歸神經網絡）更多的信息。
Sam走進廚房。
Sam拿起蘋果。
Sam走進臥室。
蘋果掉到了地上。
問：蘋果在哪兒？
答：臥室裡。
這是這篇論文（http://arxiv.org/pdf/1503.08895v5.pdf）中的例子。
卷積神經網絡（CNN）有時被稱為LeNets（以Yann LeCun命名），是層間隨機相連的人工神經網絡。然而，以這樣的方式設置突觸是為了有助於減少需要優化的參數量。通過標記神經元連接的某種對稱性，你能「重新使用」神經元以得到完全相同的副本，而不需要同等數量的突觸。由於CNN能識別出周圍像素的模式，因此它通常用於圖像處理。當你將某一像素與其周圍的像素進行比較時，會包含冗餘信息。由於存在對稱性，你可以壓縮類似信息。這聽起來像是CNN的完美情況，Christopher Olah也有一篇關於理解 CNNs和其他類型的ANNs的優質博客（http://colah.github.io/posts/2014-07-Conv-Nets-Modular/ ）。還有一篇關於CNN的博客：http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 。
我想要探討的最後一種 ANN的類型是強化學習（Reinforcement Learning）。強化學習是一個專業術語，用來描述計算機在嘗試將某種回報最大化時所表現出來的行為，這意味著它本身不是一個人工神經網絡的結構。然而，你能用強化學習或遺傳算法來構建你以前從沒想過要用的人工神經網絡結構。 YouTube用戶SethBling上傳的用強化學習系統來構建可以自己玩Mario遊戲的人工神經網絡的視頻就是個很好的例子。
另一個強化學習的例子是DeepMind公司的視頻中展示的能教程序玩各種Atari遊戲。
強化學習
現在，你應該對目前最先進的人工智慧有了一定的了解。神經網絡正在驅動你能想到的幾乎所有事情，包括語言翻譯、動物識別、圖片捕捉、文本摘要等等。在未來，你將越來越多地聽到它的名字。
©本文由機器之心原創編譯，轉載請聯繫本公眾號獲得授權。
✄---
機器之心是Comet Labs旗下的前沿科技媒體。Comet Labs是由聯想之星發起、獨立運作的全球人工智慧和智能機器加速投資平臺，攜手全球領先的產業公司和投資機構，幫助創業者解決產業對接、用戶拓展、全球市場、技術整合、資金等關鍵問題。旗下業務還包括：Comet舊金山加速器、Comet北京加速器、Comet垂直行業加速器。
加入機器之心（全職記者/實習生）：hr@almosthuman.cn
投稿或尋求報導：editor@almosthuman.cn
廣告&商務合作：bd@almosthuman.cn
↓↓↓點擊「閱讀原文」查看機器之心網站，獲取更多精彩內容。