怎樣理解複雜關係？PNAS提出圖學習，認知與網絡科學擦出火花

導語

人類的大腦具有很多高級的功能，例如接受、存儲和交換信息，並且從很小時候開始，人類就有了把環境抽象成網絡的能力，從而認識各種複雜關係，包括人際關係、事件關係等等。人類是如何學習和表示網絡的？這一問題需要認知科學與網絡科學攜手解決。

2020年11月23日發表於《美國國家科學院院刊》PNAS的論文中，作者引入「圖學習」這一交叉領域，探索了人類如何學習網絡結構，網絡結構又如何影響人類認知。

論文題目：

How humans learn and represent networks

論文地址：

https://www.pnas.org/content/117/47/29407

引言

人類的大腦具有很多高級的功能，其中之一就是根據過去的經驗學習事物的規則，從而使我們能夠理解語言，能夠進行抽象推理，以及對視覺模式進行分類。甚至是只有8個月大的孩子也能發現口語中的統計規律，從而確定單詞之間的界限。這些事件都可以看成複雜的網絡結構，而人腦的這種能力使得我們快速而準確地學習這些網絡結構。

人類是如何學習的

為了認知人類是如何學習的，讓我們從一個簡單的實驗開始。構建一串由四個偽單詞組成的連續序列，序列中每個偽單詞都由3個音節組成，如圖1A所示。每個偽單詞的音節順序是固定的，而序列中每個偽單詞是隨機出現的，也就是說詞內音節的轉移概率為1，詞間轉移概率為1/3。

研究者讓嬰兒收聽該序列，一段時間後，受試驗的嬰兒能夠檢測到音節過渡概率的差異，該試驗揭示了在語言學習過程中的一種單詞識別機制。這種發現轉移概率變化的能力是人類學習的核心和普遍特徵。

圖 1

雖然轉移概率包含了刺激序列中重要的信息，但是它們並不能代表全部信息。由於轉移概率的存在，各個音節之間會形成一個複雜的網絡結構，為了描述這種結構，研究者將圖1A 的序列轉化為圖1B所示的網絡結構，其中每個音節為一個節點，節點之間的邊表示他們之間可能的轉移關係，此時圖1A中的序列就可以表示為圖1B中網絡的隨機遊走。

從圖1B中看出，這些音節自然的形成了四個簇，每個簇對應一個偽單詞。該現象提出了一個重要的問題：當解析單詞（或執行任何其他統計學習任務）時，人們是學到了網絡中單個過渡概率的差異，還是學到了網絡更大尺度的特徵？

網絡結構對人類學習的影響

網絡具有許多局部結構、中尺度結構和全局結構，如圖2所示，這些結構往往與網絡的節點和邊有關，具體如下：

• 局部結構：節點的度
• 中尺度結構：聚類係數，模塊度
• 全局結構：核數、中心性，傳播性

圖2

為了研究網絡結構對人類學習的影響，研究者設計了一系列的反映時間實驗，如圖3所示，在實驗過程中，試驗對象接受一串刺激序列，要求根據刺激在鍵盤上按相應的鍵。反映時間越短，說明對轉移的預料越強烈，反之越弱。通過使用不同的網絡結構，我們就可以研究局部結構、中尺度結構和全局結構對人類學習的影響。

圖3

局部結構對人類學習的影響

為了研究局部結構對人類學習的影響，研究者使用一個隨機網絡進行反應時間實驗，如圖4所示，網絡中每個節點代表一個刺激，該網絡的隨機遊走構成一個刺激序列。反應時間隨轉移過程中前一個節點度的變化如圖4所示：前一個節點的度越大，反應時間越長。由於隨機遊走的轉移概率可以由前一個節點的度倒數表示，因此實驗結果表明了轉移概率越大，反應時間越短。該結果表明人類對網絡的局部結構很敏感。

圖4

中尺度和全局尺度結構對人類學習的影響

一系列的研究表明，網絡的中尺度和大尺度結構對人類學習有影響。對於中尺度的結構，有研究表明，低聚類的單詞在長期記憶中更容易識別；而對於大尺度的結構，在反應時間測試的實驗中，人們對於具有低中介中心性的節點反應更快；更有研究表明，小孩子更容易捕獲和說出低核數的單詞。

但是為了建立網絡結構與人類學習之間的因果關係，我們還必須證明上述的現象不受網絡局部結構的影響，於是研究者採用控制變量法，設計了一組新的反應時間實驗。實驗過程中，採用了度相同但是拓撲結構不同的網絡，將他們作為刺激序列的轉移網絡，如圖5所示，兩個網絡分別為模塊網絡和格子網絡，所有節點的度都是4，因此兩個網絡的局部結構相同。

圖5

在模塊網絡中，分別測量人們對於簇內和簇間轉移的反應時間，通過計算簇間反應時間與簇內反應時間的差值，得到了圖6（上半部分）的結果，即簇間反應時間比簇內反應時間長，這表明人們對簇內轉移的反應更快，網絡的中尺度結構對人類學習有明顯的影響。此外，通過測量在格子網絡和模塊網絡上人們的反應時間，兩者的差值如圖6（下半部分）所示，即格子網絡的平均反應時間更長，這表明網絡的全局結構對人類學習有明顯的影響。

圖6

上述實驗表明，人類不僅能夠學習個體的轉移概率，還能夠發掘潛在網絡的結構特徵，這些特徵不僅包括局部特徵，還包括網絡的中尺度和全局尺度的特徵。但是人類是如何學習這種高階的網絡特徵的呢？對人類的圖學習進行建模給出了答案。

人類進行圖學習的機制

首先考慮一個簡單的模型，假設刺激序列的轉移概率由轉移矩陣Pij決定，我們可以計算刺激元 i 轉移到 j 的頻率，從而用頻率來估計 i 到 j 的轉移概率。事實上，該估計是對 Pij 的最大似然估計。然而，我們進行估計時，並沒有考慮網絡的拓撲結構，然而前文的實驗表明網絡的拓撲結構對人類學習是有影響的，因此直接使用頻率的估計是無法反映人類進行圖學習的機制的。

考慮網絡結構的影響，研究者們提出了這樣的一個機制：當接受一系列的刺激時，人類會在時間上對網絡的轉移結構進行積分。簡單來講，人類對刺激的反應不僅僅只與當前刺激有關，還與之前的一個、兩個或更多刺激有關。該機制可以由下式表示，其中，t 代表時間點，f(t)表示在不同時間點上的積分權重，C是歸一化常數，P是網絡的真實轉移概率矩陣，P 表示估計的轉移概率矩陣。

為了進一步闡述這種學習機制，研究者進行了如圖7所示的實驗。當f(t)是一個衝激函數時(圖7A左)，學習者僅僅關注當前刺激，此時學習者簡單地採用了最大似然估計，最終估計的轉移結構P 收斂至真實的轉移結構 P（圖7B左）。當f(t)是一個均勻分布的函數時（圖7A右），學習者會對所有時間步進行積分，此時估計的轉移結構 P 與真實結構偏離甚遠（圖7B右）。

圖7

然而，當f(t)隨時間步長進行衰減時（圖7A中），學習者會對轉移結構進行中等時長的積分，最終估計的轉移結構 P 會體現一些全局的特徵（圖7B中），例如緊密相連的節點所構成的社區越來越明顯，而一些局部結構，例如社區和社區的邊聯繫會退化。這種時間整合機制已被證明在生物學上是可行的，並且普遍存在於目前的認知理論中。

拓展圖學習的範式

大多數圖學習研究的問題，例如前文提到的反應測試研究，都可以看作是在轉移網絡上的隨機遊走。用隨機過程的語言來講，這是一個平穩的馬爾科夫過程。儘管基於隨機遊走的圖學習研究提供了一個自然研究視角，但是仍會受到3個假設的限制：（1）轉移結構不隨時間發生變化（平穩性）；（2）未來的刺激僅僅取決於當前刺激（馬爾科夫性）；（3）刺激序列是預先決定的，不會受觀察者的影響。通過研究這些限制問題，未來的研究將會拓展現存圖學習的範式。

（1）平穩性

大多數的圖學習研究都是針對靜態的網絡結構，但實際生活中大多數網絡是隨時間變化的。例如圖8所示的過程，網絡中的邊會隨著時間的推移而被重連。有研究表明，當觀察一系列從一種過渡結構轉變為另一種結構的刺激時，人們對第一個網絡的學習表示會影響他們對第二個網絡的反應，但是隨著時間的流逝，這些影響會逐漸減弱。未來的圖學習研究可以更多地關注時變網絡結構的特性。

圖8

（2）馬爾科夫性

在當前的圖學習研究中，我們總是關注具有馬爾可夫性的刺激序列，即未來的刺激僅僅取決於當前刺激。然而，實際中的刺激序列大多具有長時間相關性和依賴性。這種長期依賴關係可以用圖9表示，由於長期依賴的存在，路徑1（圖9左）的下個狀態有兩種可能，而路徑2（圖9右）卻有3種可能。例如，口語中每個單詞不僅只和前一個詞有關，而且還和句中更早的詞有關，音樂的樂符之間也有複雜的長期依賴關係。那麼前文提及的時間整合機制能否推斷這種非馬爾科夫過程呢？這些問題有待未來的圖學習研究解決。

圖9

（3）信息搜尋

刺激序列往往設計成與觀察者無關，但是刺激序列的結構也可以由觀察者決定。例如，人們上網搜索信息時，人們會主動選擇一條穿行在鏈路網絡上的路徑，在這種情況下，人們對信息的獲取具有主觀能動性，而不是被動的接受預先定製的信息。如圖10所示，通過主動地搜尋信息，人們最終從原始網絡中獲取了一個新的子網絡。這種主動的信息搜尋帶來了許多有意思的問題：主動搜尋的路徑能夠讓人們更有效地學習網絡的拓撲結構嗎？還是說這種主動搜尋的能力導致人們對真實網絡的結構形成了偏見？這些問題岑需解決。

圖10

研究真實網絡的結構

人類認知與網絡之間存在著密切的聯繫，人們會依靠網絡系統來執行各種各樣的任務，例如使用語言進行交流（圖11A），發明音樂（圖11B）以及在網絡上存儲和檢索信息（圖11C），其中許多網絡都會隨著人類的發展而演化，或者由人類直接設計。我們不得作出懷疑：某些網絡是為了支持人類的學習和認知而構建的。

圖11

圖學習提供了定量模型和實驗工具來研究這些問題。我們發現，許多現實世界的過渡網絡具有兩個明顯的結構特徵：（1）異構的：具有度異常高的hub節點，以及具有冪律的度分布（圖12D）；（2）模塊化的，即存在緊密連接的簇群，而簇間的連接較為稀疏（圖12E）。那麼這些結構特性是否有著共同的目的，即促進人類學習和交流呢？

圖12

研究表明，模塊化結構提高了人們的反應能力，而異構網絡中的hub節點能夠幫助人們搜尋信息。這些結果表明，圖學習提供了一個獨特而建設性的視角，通過它可以研究我們周圍世界的過渡網絡。

總結

人類的行為、認知和神經活動嚴重依賴於過渡網絡的拓撲結構，通過圖學習這一統一框架，我們能夠科學地探索網絡結構對人類認知的影響。圖學習是一個新興的研究領域，提供了豐富的跨學科研究機會。從新的認知建模技術，和對現有圖學習範式的擴展，再到現實網絡中的運用，圖學習將會改變我們對人類認知，複雜網絡，以及它們之間交互的思考。

作者：鄢鵬高

編輯：張爽

商務合作及投稿轉載｜[e-mail]
◆ ◆ ◆

搜索公眾號：集智俱樂部

加入「沒有圍牆的研究所」

讓蘋果砸得更猛烈些吧!