機器之心原創
作者：Shuchen Wu
編輯：Hao Wang
這裡介紹幾篇計算神經學領域的評論文章，論文主要概述理論計算神經學近幾年來在多個方面的研究進展。計算神經學是用理論方法去研究大腦的計算的學科。這些論文來自於 Neuron 雜誌的特刊:「How does the brain work」。這篇特刊邀請了來自不同研究方向的實驗神經學家和理論神經學家來探討人類大腦的理論，進展和假說。
以下的文章都可以在 https://www.sciencedirect.com/journal/neuron/vol/94/issue/5 裡找到。以及本文所有圖片均來自於原文章。
論文1：Space-Time Dynamics of Membrane Currents Evolve to Shape Excitation, Spiking, and Inhibition in the Cortex at Small and Large Scales
一個神經元向目標神經元傳遞衝動，衝動到達目標神經元時轉化為膜電流。由此方式，目標神經元接受到一定的電流後，就會產生強大快速的膜電流，動作電位，或者衝動。本文主要介紹了各種神經元膜電流與腦區互相刺激所產生的小範圍和大範圍的活動現象裡觀察到的規律。
原文連結：https://www.sciencedirect.com/science/article/pii/S0896627317303951
神經元主要分為兩種，一種是興奮神經，另一種是抑制神經。興奮神經的衝動到達其受體神經元會使受體神經元膜電流增加，使受體神經元更容易產生並發射衝動信號。抑制神經元則相反，其衝動到達其受體神經元會使受體神經元膜電流減少，從而受體神經元更難以產生發射給其受體神經元的衝動信號。
在中樞神經裡神經網絡膜電流的活動分為四種。第一種是自發的異步不規則衝動狀態，第二種是無衝動的狀態，第三種是活性衝動的狀態，第四種是沒有衝動信號的緩慢震蕩狀態。這些狀態的切換方式有時候是單一的神經元活動可以影響一個神經網絡，在別的情況下，一個相鄰神經網絡的活動也會影響單個神經元的活動。本文重點介紹在中樞神經內膜電流在前兩種狀態下小範圍和大範圍的活動。
自發的異步不規則衝動狀態：這種狀態一般是大腦沒有感官信息的輸入，比如輕微麻醉狀態下的動物，或者被皮質其他區域的網絡自發活動帶動。這種自發的情況下，膜電位多是異步地有不規則波動。並且興奮神經和抑制神經對膜電位的控制有緊湊的平衡。大多數神經元不放電。少數神經元放電頻率緩慢，不規則，並且混亂。抑制神經放電來中和興奮神經的放電。在微觀尺度上，網絡是平衡的，也就是興奮神經對膜電位的升高和和抑制神經對膜電位的降低形成一種平衡的狀態，但是這種平衡也不是瞬間就達成的，否則網絡就不會放電，而是一種長期的動態平衡狀態。
活性衝動的狀態：神經網絡從自發的異步不規則衝動狀態轉而到活性衝動的狀態需要打破之前緊湊的平衡狀態，從而膜電位的波動突破臨界進入多數神經元放電的狀態。如果一個腦區進入活性衝動的狀態，那麼這種活性衝動的狀態可以傳播到不同等級，不同階層的別的腦區。這種狀態下的興奮-抑制平衡就不是緊湊的了，而進入一種延遲的平衡狀態。因為興奮神經可以快速適應這種狀態，而原先用來抑制這些興奮神經的抑制神經適應性不好，這種平衡被延遲了。在介觀尺度上，一群興奮的神經元，在一段延遲後，被抑制信號所平衡。比如下圖是一個腦區膜電位導數隨時間的變化（紅黃綠為興奮作用，藍黑為抑制作用），可見初始時的興奮作用隨時間被抑制作用替代，達到延遲的興奮-抑制的平衡狀態。
評論：在現有的人工神經網絡裡並沒有動態平衡類似的算法，本文所介紹的興奮神經和抑制神經導致的膜電位動態平衡，不知道該機制對大腦計算有哪一些方面的幫助，以及為什麼在不同的狀態下他們的活動也不一樣。
下一篇文章就介紹了興奮神經-抑制神經保持動態平衡的狀態時對網絡的學習的作用。
論文2：The Brain as an Efficient and Robust Adaptive Learner
這篇文章來自 ENS 的 Group for Neural Theory，原文連結：https://www.sciencedirect.com/science/article/pii/S0896627317304178
大腦裡大多數神經元循環遞歸地連接其他的神經元，並且大多數神經元要通過多層的連接才能到達直接接受感官的神經元和直接控制肌肉運動的神經元。這種計算架構，如果僅僅是利用相鄰神經元之間的可塑性，很難學會像識別感官信息，操控運動這樣需要運用大量神經元的任務。同時，生物實驗指出：神經元的活動是非常消耗能量的，生物體 20% 的能量需要耗在神經信息處理上。並且，如果只觀測單一的一個神經元，會發現單一神經元它發射電信號的變化性非常大，以至於用同一種刺激物導致神經元放電，每一次測量同一個神經元的活動都不一樣。並且，通過測量多個神經元，研究人員發現，單個神經元的活動變化難以用當時在執行的任務或者刺激物來解釋，而與其相鄰的神經元的活動更能解釋該神經元的活動。那麼，表面上來看，大腦用這麼多噪音極大，並且相互影響的神經元來計算看起來既沒有效率，又浪費能量。
雖然最近許多人工神經網絡，比如循環，卷積神經網絡在這些方面多有應用。但是這些算法需要的反向傳播的學習方式是不可能在生物腦裡實現的 (Feedback Alignmentan 算法除外，但是 Feedback Alignment 至今在高緯度的圖像識別應用上還不成功)。那麼大腦裡的神經元又是怎麼學習的呢？
文章作者認為，這些看似矛盾的腦神經元特性，用兩個元素來解釋，就能體現大腦裡的神經元其實是強大高效的計算元。一個是神經元相互之間緊湊的興奮與抑制機制。另一個是從上到下的錯誤反饋，改變連接強度和迴路的活動。這樣的話，生物神經網絡可以對任何一個動力系統的活動進行學習。
模擬一群神經元，他們接受隨著時間變化的輸入信息 s，教學信號$x^d$，目的是輸出教學信號的近似$x$, 以及所要近似的函數 f(x)。如上圖 A：神經元的輸入是輸入信息 s 與輸出的函數，對自我動態的預估，和自我活動與教學信號的差值。這樣一群神經元，有了以上的反饋迴路，他們學習的目的是使得輸入的信號為零，這樣就代表系統已經對自我動態，教學信號，以及所要學習的函數有了很好的預測。這樣一群神經元他們同時通過兩種時效不同的方式學習，一是通過監督信號$x^d$對於整體神經元反饋來調整連接強度，這一過程相對慢；二是通過興奮性神經元和抑制性神經元之間的可塑變化，使得抑制神經活動緊跟興奮神經，這樣學習的過程相對快。
上圖 C 中是對於該學習方法模擬的結果。可見通過學習去近似藍線，神經元的活動可以從 D 的左圖到 D 的右圖, 到達神經元活動（紅線）近似於藍線的狀態。
評論：文章作者給出了生物神經網絡作為一個動力系統可以對任何一個動態函數近似的思路，並且這種思路可以用來解釋上文提到過的動態平衡的計算作用，非常有趣。
論文3：Hierarchy of Information Processing in the Brain: A Novel 'Intrinsic Ignition' Framework
原文來自：https://www.sciencedirect.com/science/article/pii/S0896627317302404
在這篇評論裡，作者提出了一個「自發點燃」的研究思維框架去理解大腦信息處理的不同等級。"自發點燃」的思維框架是指：在全腦整合的活動下，信息從空間上的一個本地節點（可以是一個神經元或者一個腦區）通過前饋（feedforward) 或者遞歸的方式傳遞到到網絡上別的節點的能力。
研究健康的與帶有疾病的大腦在認知，感知和運動功能的運算是一個非常複雜的任務，因為大腦裡有十億個遞歸的，用突觸連接的，並且種類各異的神經元。這些神經元和突觸的活動都有很強的非線性特徵, 耦合的前饋的和反饋的連接使得大腦成為一個非常複雜的非線性動力系統。至今研究大腦這樣的動力系統的主要方式有三種：一是尋找神經元與大腦執行的任務的相關性。比如在初級視覺皮層，觀察單一的神經元活動與視覺刺激物的相關性。一旦確定這樣的相關性，研究員就可以測試其中的因果關係去了解神經元的功能。第二個方式是去測量神經元在沒有外界刺激情況下的腦區之間的自發性運動。但是這樣的分析只能了解到腦區活動之間的相關性，而非因果關係。第三則是去幹擾系統，主要用在動物實驗上，比如用手術方法使神經元病變，或者用電極去刺激神經元。作者指出，"自發點燃」作為一種大腦固有的幹擾，可以作為一種新的研究方式去理解信息是如何在大腦所處的狀態下從一個腦區傳遞到別的腦區。這樣就可以去研究大腦神經網路各個神經元之間在時間與空間上傳遞信息的能力。
神經計算的等級：
作者提出，「自發點燃」這樣的框架可以用來探索神經元之間計算的等級。
雖然現有的神經連接組學可以用圖論的方法去研究大腦神經元解刨結構（physical connectivity）的拓撲等級，但是神經元解刨結構上的等級關係不一定能夠對應神經元對信息的動態處理的等級關係。通過「自我點燃」的框架可以研究和回答後者這個很重要的問題。
作者將信息處理的等級關係分為幾種。一種極端是計算元於計算元之間不存在等級關係；每個計算元都有相同的重要性，如上圖 A。另一個極端是強等級關係，並且等級之間是均勻的分層次的，如上圖 D。如果一個神經元在這樣線性的等級關係的頂端代表它有最高的「自燃」性，也就是它的活動可以影響到等級較弱的神經元。在兩個極端的等級關係之間有樓梯等級關係，也就是存在較少的等級，並且高級別的計算元「自燃」性更強，低級別的計算元「自燃」性更弱，如圖 B。另外一種是強等級關係，但等級之間層次不均，如圖 C。作者通過對核磁共振數據的分析，總結出大腦在「自發點燃」的情況下更傾向於這一種等級關係。
評論：作者提出了一個相對新穎的研究框架來理解大腦信息處理。尤其適用於核磁共振，EEG 等測量大量腦區非侵入性的實驗數據。並且結合圖論和複雜網絡的理論研究方法，把腦區活動於動物當時的狀態結合，可以用來理解很多東西。以用對於複雜網絡以及圖論的知識分析信息在大腦之中的傳遞。但是作者把大腦信息處理等級分類，並且通過處理 FMRI 數據總結出大腦傾向於強等級關係的結論並不令人驚訝。畢竟圖 C 的等級關係也是是最大熵的等級關係。
論文4：Optimizing Neural Information Capacity through Discretization
原文連結：https://www.sciencedirect.com/science/article/pii/S0896627317304014
如何去理解像大腦這樣複雜的生物系統裡面不同的電路，電路元件，蛋白和細胞種類呢？
作者提出可以從以下三點出發，來理解生物系統的計算，並且系統上地解釋生物的複雜性：
複雜的系統可以由多個量化的簡單系統所構成。生物系統需要最大化信息傳遞。新陳代謝對能量的限制。
理解神經元的計算原理，理論上需要理解一個系統是如何在能量有限的條件下有效地組合量化的信息處理單元去表達系統被輸入的在某個範圍的信息。那麼怎樣組合量化的神經計算元呢？作者認為，最優的組合形態取決於各個神經元的可靠性和噪聲強度。這裡的噪聲是指神經元對同一個輸入電流反應的噪聲，通常神經元會有一定發出電衝動的概率，但是並不是每一次同樣刺激條件都會導致同樣的結果。
通過組合這樣的神經元有兩種方式可以得到像邏輯門一樣的非線性信息處理元。一種是冗餘編碼。如果每個神經元激發的臨界值都很相近，並且遇到外界刺激的反應也相似，那麼這些神經元都可以被歸作一個類別。一群這樣類似的神經元取平均數，就可以得到比單個神經元更可靠的計算。另外一種組合方式是各個神經元都有不同的臨界值，加權平均各個神經元的活動，這種方式更類似於分布式的編碼，尤其適用於需要編碼的反應函數和單個神經元的反應函數完全不同的情況下。
冗餘編碼和分布式的編碼 在不同情況下各有優劣。當每個神經元都有噪音且不可靠的情況下，冗餘編碼相較於分布式的編碼能夠傳遞更多信息。而當每個神經元的可靠性高於一個臨界值時，基於每個神經元都有不同臨界值的分布式的編碼能傳遞更多的信息，並且當神經元的臨界值分布對應輸入的分布的時候，這種信息傳遞可以最大化。
評論：這篇文章的作者用一種物理學的思維方式思考神經計算的問題，這種思路深刻並帶有啟發性。但是行文缺乏條理，有些類似於在時間壓力下寫出並發表的。
論文5：Inference in the Brain: Statistics Flowing in Redundant Population Codes
原文連結：https://www.sciencedirect.com/science/article/pii/S089662731730466X
當我們對感知信息進行處理時，我們需要通過高度不確定性的感官信息來推斷外部世界的特性。感知需要用近似的概率推理去從含混的感知數據來推測變量與變量之間的因果關係，並且估算這些特性的概率。比如當我們伸出手去拿一個杯子的時候，我們並不知道杯子的三維坐標，而是通過對視覺的感應和拿到杯子的感覺來作出這樣的行為的。不確定性是感知系統不可避免的屬性，概率推理則是處理這樣的信號的最有價值的方法。
那麼我們的大腦是怎麼去對感知信息進行概率推測的呢。如果要理解神經元的對概率推測的原理，我們需要理解信息是怎麼在非線性的循環遞歸網絡裡面傳遞的。作者提出，大腦可能在用冗餘神經元執行消息傳遞算法。
運用這種思路可以從以下三個方面去理解神經元的計算。一方面是感官信息如何「編碼」到神經元的活動上。一方面是神經元的活動模式被「轉錄」的動態轉化。另一方面是神經信號是如何「解碼」去產生行為的。
對感官信息的「編碼」可以用分布式概率圖模型表達。因為感官世界有著複雜的概率聯繫。作者認為，大腦假設只有少量的變量之間有很重要的聯繫，這種聯繫可以用概率圖模型來表示。
那麼這樣的概率圖模型是如何被神經元的活動來表示的呢？每一個感官變量的信息傳遞給和很多對該變量有電衝動反應的神經元。反過來，同一個神經元可能對多種感官信息都有反應。作者認為，兩者加起來意味著大腦對感官信息的編碼是分布式復編碼。通過用一群互相影響的神經元表示概率圖模型可以去近似高緯度的概率分布（雖然如何有效地近似還是一個研究領域）。
「轉錄」表示從神經元的活動模式的動態轉化。大腦需要對信息進行轉錄來取得有用的信息。這種轉錄可以是非線性的，這樣一可以獨立出與任務相關的隱藏變量，二可以更新用來概率推測的參數。這樣對信息的轉錄可以用多層信息處理的網絡來近似這樣的非線性函數，並且這樣的處理需要根據不確定性的變化而變化。那麼轉錄是如何在循環遞歸的生物神經網絡裡進行的呢？作者提出，很可能是通過生物神經元執行的信息傳遞算法。這些算法包括 belief propagation, expectation propagation, mean-field inference, 以及一些隨機取樣算法等等。
神經元的"解碼"可以理解為對概率的控制。這些控制包括有模型的控制和沒有模型的控制。前者表示動物有個自我行為和世界運轉的關係的模型，這樣的話選擇一個好的行為就類似於一個最優的控制問題，動物想要通過對現在以及未來的隱藏變量的推測來最優化獲取的獎勵。這樣的話概率推測對行為也有指導作用。後者指動物只是對各種行為和它們的獎勵值建立一個查找表。
評論：感知近似的概率推理這種想法在之前就被休謨，康德以及柏克萊等哲學家就有提到過。把經驗哲學的這一思想和神經學計算結合起來，如果神經網絡由感知推斷概率圖模型，並且神經元活動可以理解為概率取樣，這樣又可以解釋單一神經元活動的隨機性，又可以解釋感知推理的神經機制。但是這種假設牽引出許多理論上也未解決的問題，比如作者提出的神經元對感知進行的分布式復編碼，它的機制是什麼，分布式的計算元又是如何學習一個解釋感官世界的概率圖模型的。以及如何在實驗上如何驗證這樣的假設。這些問題都需要合理的解釋。
分析師簡介：Shuchen 目前在圖賓根大學人工智慧研究所與馬克斯普朗克智能系統做研究實習，項目研究如何使深度神經網絡的圖像識別更接近於人類的視覺識別。本科物理，計算神經碩士。主要研究興趣在於尋找生物學習的的計算模型。歡迎交流。
本文為機器之心原創，轉載請聯繫本公眾號獲得授權。