概要：人工智慧交融了諸多學科，而目前對人工智慧的探索還處於淺層面，我們需要從不同角度和層次來思考，比如人工智慧和大腦的關係。
本文引用地址：http://www.eepw.com.cn/article/201707/361915.htm神經元
在深度學習領域，神經元是最底層的單元，如果用感知機的模型， wx + b, 加上一個激活函數構成了全部，輸入和輸出都是數字，研究的比較清楚。別的不說，在參數已知的情況下，有了輸入可以計算輸出，有了輸出可以計算輸入。
但在神經科學領域，神經元並不是最底層的單位。
舉例來說，有人在做神經元膜離子通道相關的工作。一個神經元的輸入，可以分為三部分，從其他神經元來的電信號輸入，化學信號輸入，還有編碼在細胞內的信號(興奮，抑制類型，這裡可以類比為 激活函數?)，輸出也是三個，電輸出，化學輸出，改變自身狀態(LTP 長時程增強, LTD長時程抑制)。
我們是否足夠了解神經元? 我個人十分懷疑這一點，前幾天還看到一個關於神經元的進展，大意是神經元不僅能對單一信號產生反應。還能對一定一定間隔的信號產生反應。。 神經元的底層編碼能力其實更強。我們神經科學發展了這麼久，可能真的連神經元都沒真正的搞清楚。
在這另外說一句。 深度神經網絡裡面，大部分節點都是等同的，但是在人類神經網絡裡面，並不是這樣。不同的腦區，甚至腦區內部，神經元的形態都可以有很大的差異，如V1內部的六層就是基於神經元形態的區分。從這個角度，人類神經系統要更複雜一些。我個人並不否認每一種神經元可以用不同初始化參數的 節點來代替，但是目前來說，複雜度還是要比深度神經網絡要高。
信號編碼方式
再說編碼方式，神經科學裡面的 神經元是會產生0-1 的動作電位，通過動作電位的頻率來編碼相應的信號(腦子裡面的大部分是這樣，外周會有其他形式的)，而人工神經網絡?大部分我們聽到的，看到的應該都不是這種方式編碼的，但是 脈衝神經網絡 這個東西確實也有，(去ASSC 開會的時候看到了一個很有趣的工作，在評論區簡單說了下，有興趣可以去看。)
神經網絡的結構
目前的深度神經網絡主要是三種結構， DNN(全連接的)、CNN(卷積)， RNN(循環)。還有一些很奇怪的， 比如說...Attention 的?不好意思，文章還沒看，不敢亂說。
DNN:
CNN：
出處： AlexNet
RNN：
出處： Understanding LSTM Networks
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
神經科學裡面的網絡結構，此處以V1 為例：
和大家想的不同，視覺區分了V1，V2，V3，V4，V5(MT)，上面還有FFA， 和一些掌管更高級功能的腦區。在這裡面每一個小的視皮層裡面，並不是純由神經元互相連接構成的，仍然存在不同的層級結構。這裡去google 找了一張圖，不用管具體的文章，主要說明的是V1 的精細結構和連接關係。V1 的主要功能是 識別點和不同角度的線段(Hubel 和W 在上世紀50年代在貓上的工作)，但是其實不止如此，V1 還對顏色有一定的感知。
如果在這個層面作比較，我自己的理解是， 人類神經網絡是 DNN+ CNN + RNN 再加上脈衝作為編碼方式。層內更像DNN， 層間和CNN 很類似，在時間上展開就是RNN。
好，我們繼續。
訓練方式
深度神經網絡的訓練方式主要是反向傳播，從輸出層一直反向傳播到第一層，每一層不斷修正出現的錯誤。但是大腦裡面並沒有類似反向傳播機制，最簡單的解釋，神經元信號傳遞具有方向性，並沒機會把信號返回上一層。舉個例子，我要拿起手邊的杯子，視覺發現向右偏移了一點，那我會自然而然的移動整個手臂向左一點，然後試著去重新抓住杯子。好像沒人是讓手指，手，最後是手臂朝杯子移動，甚至多次才能最後成功吧。在此引用下一篇文章裡面的圖。
來源文章： Towards Biologically Plausible Error Signal Transmission in Neural Networks
https://arxiv.org/abs/1702.07097
我們的大腦，更像最後 DFA 的原理。出錯了，把誤差送到一個更靠近輸入的地方，然後重新訓練。
記憶和遺忘
提到記憶的話，這裡主要說的是LSTM， LSTM 的記憶儲存在每個節點的權重裡面，同時有專門的 遺忘門 控制遺忘速率。這些都是以數字的形式存儲的。
在神經系統裡面，記憶的存儲是由一些腦區的突觸的形成和消失來存儲的。其實他們有一個比較共通的地方在於，他們在訓練過程中都是漸變的。得益於反向傳播機制和 神經系統的生物性，他們在訓練過程中和在不斷的學習過程中都只能以一個相對慢的速度發生改變，從學習速率角度來講，他們是比較相似的。
然後我們來說遺忘。遺忘在LSTM 裡面是通過門來控制的，在神經系統裡面，我覺得是和STDP相關的，它的基礎是 Hebb 假說， Fire Together， Wire Together， 同步放電的神經元傾向於建立一個更強的連接。STDP 拓展了這一點，考慮了兩神經元放電的先後順序帶來的影響。
來源：Synaptic Modification by Correlated Activity: Hebb's Postulate Revisited
http://annualreviews.org/doi/abs/10.1146/annurev.neuro.24.1.139
簡單來說，如果突觸前神經元放電先於突觸後神經元(神經元信號傳導具有方向性，從突觸前到突觸後)，這個突觸會進入一個LTP 長時程增強狀態，會對來自突觸前的信號有更強的反應。反之，如果突觸前神經元放電後於突觸後，則會進入一個長時程抑制的狀態(說明他倆並沒有接收到相同來源的信號，信號不相關)，一段時間的反應更弱。
深度神經網絡裡面門的權重也是 反向傳播訓練出來的，也有漸變的這個性質，當對於快速變化的刺激，有一定的滯後。從這個角度來說，人類神經系統要更靈活一些，可以在很短的時間內完成狀態的切換。
覺得想說的大概就是這些，因為我自己做的研究是 視覺注意，更多在人身上做，所以對於中間的環路級別的研究，並不是特別的熟悉。再往上，談到人類大腦皮層的工作，個人覺得做的十分的有限，對於大部分腦區，我們並不知道他們是怎麼工作的，只是能把不同的腦區和不同的功能對應起來(還不一定準)。在這個角度上談他們的異同是不太負責的。。容易被打臉。
接下來我會試著邀請幾個朋友來說下環路這個級別的事情。然後會找其他同行幫我挑錯和補充。很多東西都是按照記憶寫的。一些東西不一定準確。。
我的觀點
正如在提綱裡面提到的。 對的答案往往類似，而錯誤的答案各有不同。地球上這麼多高等的生命都有類似的底層網絡結構，而其中的一種還發展出了這麼偉大的文明，神經網絡這個結構，至少已經被我們自己證明是一種有效的形式。但是是不是智能這個形式的全局最優解?我個人持懷疑態度。
神經網絡是一個有效的結構，所以大家用這個結構做出一些很好的結果，我一定都不吃驚。但是如果談模擬的話，就是盡力要往這個方向靠。這點上，我個人並不是十分看好這種方式。我們向蝙蝠學習用聲音定位，發展的聲吶無論是距離還是效果都遠超蝙蝠。我們能超過蝙蝠的原因，第一是我們的技術有拓展性，底層原理共通的情況下，解決工程和機械問題，我們可以不那麼輕鬆但是也做到了探測幾千米，甚至幾十公裡。第二個原因就是我們需要而蝙蝠不需要，他們天天在山洞裡面睡覺。。哪用得著探測幾十公裡的距離，探到了也吃不著。
其實人類大腦也很類似，大腦是一個進化的產物。是由環境不斷塑造而成的，人為什麼沒進化出計算機一樣的計算能力，因為不需要。但是其實反過來也有一定的共通的地方，大腦裡面的一些東西，我們也不需要，我們千百年來忍飢挨餓進化出的 對於脂肪攝入的需求，在兒童時期對於糖類攝取的需求。這麼說的話，我們對於大腦，同樣去其糟粕，取其精華不是更好嗎?
我上面提到的是一個理想的情況，我們對大腦已經了解的比較透徹的，知道該去掉哪，留下哪。但是現在......可能還要走一段模擬的路子。
總結一下，就是深度神經網絡和大腦皮層有共通的地方，但是並不能算是模擬。只是大家都找到了解題的同一個思路而已。