Nature通訊:判別神經網絡間的個體差異——計算神經科學新工具

2020-12-05 騰訊網

導語

深度學習的成功，正在反哺神經科學。例如現在如果想研究哺乳動物的大腦是如何區別貓和狗的，可以去考察判別貓和狗的神經網絡是如何工作的。然而11月12日Nature Communications雜誌在線發表的論文指出，由於神經網絡的訓練初始條件和超參數不同，即使具有相近的判別精度，不同的神經網絡也存在顯著差異。該研究還指出在比較網絡結構差異性時，需要考慮對比多組而不是多個神經網絡間的區別。這對計算神經科學尤其是視覺模型研究具有啟發意義。

論文題目：

Individual differences among deep neural network models

論文地址：

1. 如何衡量神經網絡間的異同

卷積神經網絡作為目前最成功AI模型，其靈感來自於模仿大腦的視覺皮層腹側視覺流（ventral visual stream）。由於視覺處理是分層次的，早期階段處理諸如邊緣、顏色等低級特徵。而整個物體和面孔這樣的抽象程度更高的特徵，只會在下額葉皮層這樣的後期處理階段才會湧現。

圖1：卷積神經網絡結構示意圖（判別圖片中的馬）

借鑑神經科學對大腦的研究，卷積神經網絡也採取了類似的結構。上圖表示的卷積神經網絡分為9層，通過對數據的分層壓縮，提取高層特徵，最後再利用該特徵分類。

研究大腦的神經科學家，需要了解大腦如何判別不同的物體。例如判別植物和動物，是否使用了相同的神經機制。但直接觀測大腦太難。而觀測和大腦具有相近結構的人工神經網絡就容易多了。神經科學家可以根據人工神經網絡在判別動物與識別植物時，有何差異，推斷大腦識別動物和植物的腦區的異同。

圖2：兩個神經網絡的差異性估計

根據人工神經網絡中的激活情況（即訓練好的網絡中的神經元權重向量），可以計算判別馬和卡車的神經網絡的差異，偏離右圖中的斜線越遠，兩個神經網絡的差異越大。這被稱為表徵差異性矩陣（representational dissimilarity matrices，RDMs）。

圖3：衡量兩組神經網絡差異的方法

對於兩組功能相同的神經網絡（例如一組判別馬，一組判別卡車），可以通過兩兩比較功能A和功能B網絡的RDMs，之後計算兩組網絡之間的皮爾森相關係數，來衡量這兩種功能對應的神經網絡間的差異。

2. 深度的增加

帶來了神經網絡間表徵差異性的異同

不論是判別動物還是植物，最初都是要分別諸如圖像的局部直線還是曲線這樣的特徵，而隨著抽象層次更高的特徵被抽取出來，判別任務相同的神經網絡，會在經由多維標度（multidimensional scaling）分析進行可視化後聚在一起，如圖4所示。

圖4：每一個點代表一個神經網絡，不同的顏色對應不同的判別功能，從左到右，神經網絡的深度不斷提升

將圖中判別每個物體的神經網絡看成一類，再將不同層的神經網絡間的相關性差異距離用設色熱圖展示，可以看到最神經網絡的第一層，判別不同物體的神經網絡並沒有什麼區別。

而隨著網絡層數的增加，對角線上的小正方形漸漸變淺，說明判別不同物體的神經網絡出現差異，這進一步說明了和待判別對象相關抽象表徵會在神經網絡的較高層次出現。如圖5所示。

圖5：神經網絡的個體差異隨著網絡深度的增加而湧現

3. 高層次的特徵各有不同

該研究的另一發現是，相同結構、相同判別能力的神經網絡，僅僅因為訓練過程中的隨機性，會導致高層表徵的差異。

下圖中，對於共享權重差異的神經網絡（藍線）以及7層的類似Alex Net的神經網絡（黑線），網絡深度的增加，會造成網絡間標準差異性的增加。

圖6：100種判別神經網絡每一層的表徵矩陣對應的相關係數的均值

這意味著訓練過程中的隨機性，會造成具有相同判別能力的神經網絡，依據著各自提取的、不盡相同的抽象特徵進行判別。而無論使用何種方式計算抽象特徵間的相似度，都會得出相近的結果。

如下圖所示，當將衡量差異的方式換成cos距離，曼哈頓距離或正則化後的距離時，也會得出相似的結果。

圖7：不同的衡量方式下，神經網絡每一層的表徵矩陣對應的相關係數的均值隨層數增加降低

4. 高層次表徵向量差異的根源

為何會出現上述「完成同一種判別任務的神經網絡，具有不同的高層表徵」，是本研究接下來討論的問題。

在人類的學習中，該問題可以類比為，為何老師教會學生一個任務，但不同的學生在最後的步驟中會自發地出現差異。

假設有10個判別貓的神經網絡，對這些網絡的表徵向量求質心（centroid），再用這樣的質心來計算判別不同物體的神經網絡間的相關性，會發現隨著網絡深度的增加，標準差異性並沒有顯著增加（下圖中綠線）。

圖8：不同層的表徵向量質心對應的相關性不隨網絡層數深度增加而增加

這意味著判別不同的任務，所需的特徵是類似的，同一任務間的表徵差異性來自於訓練初始化中引入的隨機性。

神經網絡在訓練過程中，為了避免梯度爆炸，會對權重進行正則化。這會在造成部分人工神經網絡中的神經元在實際中等效與被剔除。在深度學習中，為了提高泛化能力，一種常見的方式是dropout，即隨機失活部分神經元。

下圖展示了訓練過程中，隨著dropout的神經元的比例（縱軸）增加，神經網絡最後一層的表徵一致性先增加，後降低。

圖9：訓練過程中dropout比例不同的神經網絡最後一層的表徵一致性熱圖

如圖9所示，圖中的點越靠近黃色，抽象表徵的相似度越高。由於判別不同物體神經網絡間的抽象表徵相似，使得網絡具有了更好的泛化能力，進而解釋了為何dropout是一個有效的正則化機制。而當dropout的比例過高時，網絡無法提取出對分類任務有意義的特徵，因此最終的表徵有所差異。

5. 神經網絡模型個體差異性

對神經科學和人工智慧的啟發

該研究通過一系列的實驗，說明了由於前饋深度神經網絡訓練過程中初始權值的隨機性，在保持其他所有因素不變的情況下，會造成網絡學到的內部表示不同。且個體差異出現隨著網絡層數深度的增加而顯著增加。而湧現出的個體差異，部分可以通過正則化隨機導致的部分神經元失活解釋。

對於神經科學的研究者，如果忽略了相同功能的神經網絡本身的差異性，那麼在使用神經網絡類比大腦的運行時，得出的結論就會受到隨機性的影響。更合適的做法是去研究多個相同功能的神經網絡的質心，以此克服隨機因素的影響。

而對於人工智慧的研究者，該研究可使研究人員能夠估計在給定訓練參數（例如網絡結構多大，不同的網絡類型、不同的訓練集及待完成的任務目標）時，訓練得出的網絡，可能具有多少表徵差異性，這反映了預期網絡可變性。

據此可使研究者能夠更好地調整神經網絡的超參數和訓練過程，以確保從他們那裡得出的模型能夠具有更強的泛化能力。並更深入地理解不同難度的分類任務上，不同的神經網絡為何會出現性能差異。

作者：郭瑞東

審校：劉培源

編輯：鄧一雪

複雜科學最新論文

相關焦點

  • 計算神經科學新工具
    11月17日，國際知名學術期刊《自然—神經科學》在線發表了這一成果。 研究人員通過使用GiD（一種新開發的反應性星形膠質細胞的動物模型）在星形膠質細胞的發病機理中揭示出星形細胞反應性的重要性，其中星形膠質細胞的反應性可以控制為輕度（GiDm）或嚴重（GiDs）。
  • 洪波等與國際團隊合作提出個體腦功能網絡劃分新方法-清華大學新聞網
    清華大學醫學院洪波課題組與國際團隊合作在《自然·神經科學》發文報導個體腦功能網絡劃分新方法清華新聞網11月12日電 11月9日，清華大學醫學院生物醫學工程系洪波課題組和哈佛大學醫學院麻省總院合作在《自然·神經科學》（Nature Neuroscience）在線發表題為《大腦皮層個體網絡的劃分》（Parcellating
  • 網絡神經科學 Network neuroscience
    網絡神經科學通過將神經解剖學和複雜網絡相結合，從大腦拓撲結構角度整合大腦的結構和功能，進而描述、記錄、分析和建模神經生物學系統中的基本元素及其相互作用。網絡神經科學特種了新的工具去創建全面的圖譜來記錄分子、神經元、大腦區域和社會系統之間的動態模式。同時網絡神經科學使用現代網絡科學的原理框架和計算工具對問題進行處理。
  • 類腦計算背後的計算神經科學框架
    而從生物的神經系統取出這個算法的過程， 就是計算神經科學。計算神經科學有兩個使命，一個是直接解決生命智能有關的問題， 如困擾我們的心理疾病， 器質性的神經退行性疾病如老年痴呆。因為你只有懂得了算法出現問題的原因， 才能去修正它。
  • 中科院神經所解析個體之間衰老速度差異之謎
    央廣網上海11月9日消息（記者吳善陽）《自然》（Nature）雜誌今天以長篇研究論文形式發表了中國科學院神經科學研究所、腦科學與智能技術卓越創新中心、神經科學國家重點實驗室蔡時青研究組題為《膠質細胞-神經元信號的遺傳多態性調節衰老速度》的研究工作。
  • 大腦與AI,神經科學與人工神經網絡
    神經科學可以幫助我們理解為什麼AI和神經網絡在預測人類感知方面是有效的嗎？來自德克薩斯大學奧斯汀分校（UT Austin）的Alexander Huth和Shailee Jain的研究表明兩者都有可能。
  • 中科院神經所解析個體之間衰老速度差異之謎—新聞—科學網
    、腦科學與智能技術卓越創新中心、神經科學國家重點實驗室蔡時青研究組題為《膠質細胞-神經元信號的遺傳多態性調節衰老速度》的研究工作。衰老速度在個體之間存在明顯差異，大部分人行為和認知隨衰老逐漸地退化，也有一些人在耄耋之年仍能保持較好的活力。這種現象提示我們，研究個體衰老速度差異的遺傳基礎將為抗衰老提供重要線索，但相關研究還未見報導。   蔡時青研究組利用秀麗線蟲這一模式生物探討個體之間衰老速度差異的遺傳機制。
  • ...Nature發布計算和理論神經科學特刊:剖析機器學習推動下的神經...
    神經科學研究的進展無法脫離數據收集，同時也需複雜的方法將這些數據組裝和合成到更廣泛的框架中。理論神經科學，加上必要的計算技術，能確保我們的努力不僅僅是大規模的收集工作。本期，Nature Neuroscience 呈現了一批論文綜述與觀點討論，包含了一系列當下該領域突出的思考，從神經迴路和網絡到認知評估和精神疾病。神經機制的深刻見解都是來源於基於理論的研究。
  • 計算神經科學:21世紀的前沿科學
    ，自然科學研究院，上海，中國 *通訊作者 E-mail：xjwang@nyu.edu 摘要：我們的大腦是一個極其複雜的生物動力學系統，它是我們個體行為、思想和情感的基礎。
  • 認知神經科學:人類行為研究新進展
    不同學科之間雖存在差異和鴻溝，但對人類行為的思考和研究從未停止過，迄今為止，這仍是具有挑戰性的科學問題。神經科學從生物學視角出發，試圖解釋神經迴路如何活動進而執行當前行為；認知科學則從心理學視角出發，探討行為產生的內部認知加工過程是什麼；這些過程如何通過計算機加以實現，則是人工智慧關心的問題。
  • 顛覆傳統計算架構:光神經網絡硬體登上Nature
    在過去的幾十年裡，電子計算發展迅猛，但其能源成本居高不下，因此，研究人員一直在探索其他可行的計算方法。光學計算就是其中一條頗有前景的研究方向。近日，一篇 Nature 論文展示了光學計算的最新成果，德國的研究人員提出了一種在毫米級光子晶片上實現的全光學神經網絡，該網絡內部沒有光到電的轉換，因此能源利用效率更高。
  • 21世紀的中國計算神經科學展望
    計算神經科學是一門跨領域的交叉學科，把實驗神經科學和理論研究聯繫在一起，運用物理、數學以及工程學的概念和分析工具來研究大腦的功能。隨著各項新技術，如高密度多電極記錄、用大量鈣敏感染料的雙光子成像技術、腦基因組學、腦連接組學的快速發展，未來數年裡實驗數據將以空前的速度增加。
  • 胡海嵐等眾多知名專家一起回望神經科學二十年
    早期研究集中於個體間可以輕鬆辨別的差異，但是隨著範例變得更複雜，條件之間的差異也越來越微妙，差異需要更多的樣本數量才能顯現。此外，儘管在群體分析中 「與XX相關的神經因素」一直是該領域的主導，但最近，個體間差異已成為人們關注的焦點。
  • 胡海嵐等眾多知名專家一起回望神經科學二十年!
    早期研究集中於個體間可以輕鬆辨別的差異，但是隨著範例變得更複雜，條件之間的差異也越來越微妙，差異需要更多的樣本數量才能顯現。此外，儘管在群體分析中 「與XX相關的神經因素」一直是該領域的主導，但最近，個體間差異已成為人們關注的焦點。大樣本量也促進人們越來越重視使用機器學習進行研究。
  • 雌雄行為差異的神經機制
    1月18日，《自然-通訊》雜誌在線發表了題為《小鼠內側視前區在任一性別個體中都能介導雌雄二樣性行為》的論文。
  • 神經影像個體差異預測模型的十個簡單規則
    不幸的是，由於解釋性分析的目的是識別與表型測量有關的神經影像學測量，因此此類分析通常不能泛化到新個體，並且臨床有效性不足。為了解決這一局限性，研究人員開始建立可根據神經影像數據預測表型個體差異的預測模型。因為模型是使用獨立的數據定義和驗證的，所以它們有望提高我們發現可泛化的大腦-行為關聯的能力。但是，像任何方法一樣，預測建模也有其自身的局限性和考慮因素，可能對更廣泛的神經影像學界並不熟悉。
  • 研究人員揭示個體腦網絡差異的基因和環境影響
    腦科學研究的一項重要任務是解釋這些個體差異的來源，這些知識對於理解和幹預個體行為至關重要。總體上，個體差異來源於遺傳和環境兩方面的影響，但遺傳和環境各自對腦的功能如何產生以及具體多大影響是一項科學難題。
  • 專家談計算神經科學與類腦人工智慧的關係
    腦科學是一個重大廣闊的領域，本文僅涉及神經網絡的計算及其對信息技術前景的影響。 眾所周知，科技創新對社會經濟的進步起著巨大的作用。計算機的快速發展使信息技術產業成為現代經濟的重心之一。然而，現有計算機仍難以完成許多對人類大腦來說輕而易舉的複雜任務。所以，新一代信息技術產業很關注對於大腦功能和神經網絡的研究，希望在理解其工作機制的基礎上設計出新型的「人腦式電腦和機器人」 。
  • 計算神經科學:腦科學與人工智慧的必要橋梁
    然而，現有計算機仍難以完成許多對人類大腦來說輕而易舉的複雜任務。所以，新一代信息技術產業很關注對於大腦功能和神經網絡的研究，希望在理解其工作機制的基礎上設計出新型的「人腦式電腦和機器人」 。今年3月，百度董事長兼執行長李彥宏在人大、政協兩會上提出了「中國大腦」提案，呼籲一個新技術革命，並希望以此「帶動整個民族創新能力的提升」。
  • 神經科學+心理學+教育=?
    比如，可以通過用進廢退來說明的「可塑性」；鍛鍊、營養和壓力都會影響的「神經生成」；為學習營造情緒氛圍的「情緒和壓力」；理解學習中注意作用的「注意控制」；包括工作記憶、抑制控制、靈活轉換的「執行功能」；「自我監控和情緒調節」；心情愉悅、鞏固記憶、促進「海馬新神經元」的發展；「運動」對知識的獲得與保持的作用。