人怎樣理解複雜關係?PNAS刊文提出「圖學習」,認知科學與網絡科學...

2021-01-10 網易

  

  導語

  人類的大腦具有很多高級的功能, 例如 接受、存儲和交換信息,並且從很小時候開始,人類就有了把環境抽象成網絡的能力,從而認識各種複雜關係,包括人際關係、事件關係等等。人類是如何學習和表示網絡的?這一問題需要認知科學與網絡科學攜手解決。

  2020年11月23日發表於《美國國家科學院院刊》PNAS的論文中,作者引入「圖學習」這一交叉領域,探索了人類如何學習網絡結構,網絡結構又如何影響人類認知。

  

論文題目: How humans learn and represent networks 論文地址: https://www.pnas.org/content/117/47/29407

  

  引言

  人類的大腦具有很多高級的功能,其中之一就是根據過去的經驗學習事物的規則,從而使我們能夠理解語言,能夠進行抽象推理,以及對視覺模式進行分類。甚至是只有8個月大的孩子也能發現口語中的統計規律,從而確定單詞之間的界限。這些事件都可以看成複雜的網絡結構,而人腦的這種能力使得我們快速而準確地學習這些網絡結構。

  人類是如何學習的

  為了認知人類是如何學習的,讓我們從一個簡單的實驗開始。構建一串由四個偽單詞組成的連續序列,序列中每個偽單詞都由3個音節組成,如圖1A所示。每個偽單詞的音節順序是固定的,而序列中每個偽單詞是隨機出現的,也就是說詞內音節的轉移概率為1,詞間轉移概率為1/3。

  研究者讓嬰兒收聽該序列,一段時間後,受試驗的嬰兒能夠檢測到音節過渡概率的差異,該試驗揭示了在語言學習過程中的一種單詞識別機制。這種發現轉移概率變化的能力是人類學習的核心和普遍特徵。

  

  1

  雖然轉移概率包含了刺激序列中重要的信息,但是它們並不能代表全部信息。由於轉移概率的存在,各個音節之間會形成一個複雜的網絡結構,為了描述這種結構,研究者將圖1A 的序列轉化為圖1B所示的網絡結構,其中每個音節為一個節點,節點之間的邊表示他們之間可能的轉移關係,此時圖1A中的序列就可以表示為圖1B中網絡的隨機遊走。

  從圖1B中看出,這些音節自然的形成了四個簇,每個簇對應一個偽單詞。該現象提出了一個重要的問題:當解析單詞(或執行任何其他統計學習任務)時,人們是學到了網絡中單個過渡概率的差異,還是學到了網絡更大尺度的特徵?

  網絡結構對人類學習的影響

  網絡具有許多局部結構、中尺度結構和全局結構,如圖2所示,這些結構往往與網絡的節點和邊有關,具體如下:

  

  局部結構:節點的度

  

  中尺度結構:聚類係數,模塊度

  

  全局結構:核數、中心性,傳播性

  

  

  圖2

  為了研究網絡結構對人類學習的影響,研究者設計了一系列的反映時間實驗,如圖3所示,在實驗過程中,試驗對象接受一串刺激序列,要求根據刺激在鍵盤上按相應的鍵。反映時間越短,說明對轉移的預料越強烈,反之越弱。通過使用不同的網絡結構,我們就可以研究局部結構、中尺度結構和全局結構對人類學習的影響。

  

  圖3

  局部結構對人類學習的影響

  為了研究局部結構對人類學習的影響,研究者使用一個隨機網絡進行反應時間實驗,如圖4所示,網絡中每個節點代表一個刺激,該網絡的隨機遊走構成一個刺激序列。反應時間隨轉移過程中前一個節點度的變化如圖4所示:前一個節點的度越大,反應時間越長。由於隨機遊走的轉移概率可以由前一個節點的度倒數表示,因此實驗結果表明了轉移概率越大,反應時間越短。該結果表明人類對網絡的局部結構很敏感。

  

  圖4

  中尺度和全局尺度

  結構對人類學習的影響

  一系列的研究表明,網絡的中尺度和大尺度結構對人類學習有影響。對於中尺度的結構,有研究表明,低聚類的單詞在長期記憶中更容易識別;而對於大尺度的結構,在反應時間測試的實驗中,人們對於具有低中介中心性的節點反應更快;更有研究表明,小孩子更容易捕獲和說出低核數的單詞。

  但是為了建立網絡結構與人類學習之間的因果關係,我們還必須證明上述的現象不受網絡局部結構的影響,於是研究者採用控制變量法,設計了一組新的反應時間實驗。實驗過程中,採用了度相同但是拓撲結構不同的網絡,將他們作為刺激序列的轉移網絡,如圖5所示,兩個網絡分別為模塊網絡和格子網絡,所有節點的度都是4,因此兩個網絡的局部結構相同。

  

  圖 5

  在模塊網絡中,分別測量人們對於簇內和簇間轉移的反應時間,通過計算簇間反應時間與簇內反應時間的差值,得到了圖6(上半部分)的結果,即簇間反應時間比簇內反應時間長,這表明人們對簇內轉移的反應更快,網絡的中尺度結構對人類學習有明顯的影響。此外,通過測量在格子網絡和模塊網絡上人們的反應時間,兩者的差值如圖6(下半部分)所示,即格子網絡的平均反應時間更長,這表明網絡的全局結構對人類學習有明顯的影響。

  

  圖6

  上述實驗表明,人類不僅能夠學習個體的轉移概率,還能夠發掘潛在網絡的結構特徵,這些特徵不僅包括局部特徵,還包括網絡的中尺度和全局尺度的特徵。但是人類是如何學習這種高階的網絡特徵的呢?對人類的圖學習進行建模給出了答案。

  人類進行圖學習的機制

  首先考慮一個簡單的模型,假設刺激序列的轉移概率由轉移矩陣Pij決定,我們可以計算刺激元 i 轉移到 j 的頻率,從而用頻率來估計 i 到 j 的轉移概率。事實上,該估計是對 Pij 的最大似然估計。然而,我們進行估計時,並沒有考慮網絡的拓撲結構,然而前文的實驗表明網絡的拓撲結構對人類學習是有影響的,因此直接使用頻率的估計是無法反映人類進行圖學習的機制的。

  考慮網絡結構的影響,研究者們提出了這樣的一個機制:當接受一系列的刺激時,人類會在時間上對網絡的轉移結構進行積分。簡單來講,人類對刺激的反應不僅僅只與當前刺激有關,還與之前的一個、兩個或更多刺激有關。該機制可以由下式表示,其中,t 代表時間點,f(t)表示在不同時間點上的積分權重,C是歸一化常數,P是網絡的真實轉移概率矩陣,P表示估計的轉移概率矩陣。

  

  為了進一步闡述這種學習機制,研究者進行了如圖7所示的實驗。當f(t)是一個衝激函數時(圖7A左),學習者僅僅關注當前刺激,此時學習者簡單地採用了最大似然估計,最終估計的轉移結構P收斂至真實的轉移結構 P(圖7B左)。 當f(t)是一個均勻分布的函數時(圖7A右),學習者會對所有時間步進行積分,此時估計的轉移結構P與真實結構偏離甚遠(圖7B右)。

  

  圖 7

  然而,當f(t)隨時間步長進行衰減時(圖7A中),學習者會對轉移結構進行中等時長的積分,最終估計的轉移結構P會體現一些全局的特徵(圖7B中),例如緊密相連的節點所構成的社區越來越明顯,而一些局部結構,例如社區和社區的邊聯繫會退化。 這種時間整合機制已被證明在生物學上是可行的,並且普遍存在於目前的認知理論中。

  拓展圖學習的範式

  大多數圖學習研究的問題,例如前文提到的反應測試研究,都可以看作是在轉移網絡上的隨機遊走。用隨機過程的語言來講,這是一個平穩的馬爾科夫過程。儘管基於隨機遊走的圖學習研究提供了一個自然研究視角,但是仍會受到3個假設的限制:(1)轉移結構不隨時間發生變化(平穩性);(2)未來的刺激僅僅取決於當前刺激(馬爾科夫性);(3)刺激序列是預先決定的,不會受觀察者的影響。通過研究這些限制問題,未來的研究將會拓展現存圖學習的範式。

  (1)平穩性

  大多數的圖學習研究都是針對靜態的網絡結構,但實際生活中大多數網絡是隨時間變化的。例如圖8所示的過程,網絡中的邊會隨著時間的推移而被重連。有研究表明,當觀察一系列從一種過渡結構轉變為另一種結構的刺激時,人們對第一個網絡的學習表示會影響他們對第二個網絡的反應,但是隨著時間的流逝,這些影響會逐漸減弱。未來的圖學習研究可以更多地關注時變網絡結構的特性。

  

  圖8

  (2)馬爾科夫性

  在當前的圖學習研究中,我們總是關注具有馬爾可夫性的刺激序列,即未來的刺激僅僅取決於當前刺激。然而,實際中的刺激序列大多具有長時間相關性和依賴性。這種長期依賴關係可以用圖9表示,由於長期依賴的存在,路徑1(圖9左)的下個狀態有兩種可能,而路徑2(圖9右)卻有3種可能。例如,口語中每個單詞不僅只和前一個詞有關,而且還和句中更早的詞有關,音樂的樂符之間也有複雜的長期依賴關係。那麼前文提及的時間整合機制能否推斷這種非馬爾科夫過程呢?這些問題有待未來的圖學習研究解決。

  

  圖9

  (3)信息搜尋

  刺激序列往往設計成與觀察者無關,但是刺激序列的結構也可以由觀察者決定。例如,人們上網搜索信息時,人們會主動選擇一條穿行在鏈路網絡上的路徑,在這種情況下,人們對信息的獲取具有主觀能動性,而不是被動的接受預先定製的信息。如圖10所示,通過主動地搜尋信息,人們最終從原始網絡中獲取了一個新的子網絡。這種主動的信息搜尋帶來了許多有意思的問題:主動搜尋的路徑能夠讓人們更有效地學習網絡的拓撲結構嗎?還是說這種主動搜尋的能力導致人們對真實網絡的結構形成了偏見?這些問題岑需解決。

  

  圖10

  研究真實網絡的結構

  人類認知與網絡之間存在著密切的聯繫,人們會依靠網絡系統來執行各種各樣的任務,例如使用語言進行交流(圖11A),發明音樂(圖11B)以及在網絡上存儲和檢索信息(圖11C),其中許多網絡都會隨著人類的發展而演化,或者由人類直接設計。我們不得作出懷疑:某些網絡是為了支持人類的學習和認知而構建的。

  

  圖11

  圖學習提供了定量模型和實驗工具來研究這些問題。我們發現,許多現實世界的過渡網絡具有兩個明顯的結構特徵:(1)異構的:具有度異常高的hub節點,以及具有冪律的度分布(圖12D);(2)模塊化的,即存在緊密連接的簇群,而簇間的連接較為稀疏(圖12E)。那麼這些結構特性是否有著共同的目的,即促進人類學習和交流呢?

  

  圖12

  研究表明,模塊化結構提高了人們的反應能力,而異構網絡中的hub節點能夠幫助人們搜尋信息。這些結果表明,圖學習提供了一個獨特而建設性的視角,通過它可以研究我們周圍世界的過渡網絡。

  總結

  人類的行為、認知和神經活動嚴重依賴於過渡網絡的拓撲結構,通過圖學習這一統一框架,我們能夠科學地探索網絡結構對人類認知的影響。圖學習是一個新興的研究領域,提供了豐富的跨學科研究機會。從新的認知建模技術,和對現有圖學習範式的擴展,再到現實網絡中的運用,圖學習將會改變我們對人類認知,複雜網絡,以及它們之間交互的思考。

  

作者:鄢鵬高 編輯:張爽

  集智斑圖頂刊論文速遞欄目上線以來,持續收錄來自Nature、Science等頂刊的最新論文,追蹤複雜系統、網絡科學、計算社會科學等領域的前沿進展。現在正式推出訂閱功能,每周通過微信服務號「集智斑圖」推送論文信息。掃描下方二維碼即可一鍵訂閱:

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關焦點

  • 怎樣理解複雜關係?PNAS提出圖學習,認知與網絡科學擦出火花
    ,從而認識各種複雜關係,包括人際關係、事件關係等等。人類是如何學習和表示網絡的?這一問題需要認知科學與網絡科學攜手解決。這種長期依賴關係可以用圖9表示,由於長期依賴的存在,路徑1(圖9左)的下個狀態有兩種可能,而路徑2(圖9右)卻有3種可能。例如,口語中每個單詞不僅只和前一個詞有關,而且還和句中更早的詞有關,音樂的樂符之間也有複雜的長期依賴關係。那麼前文提及的時間整合機制能否推斷這種非馬爾科夫過程呢?這些問題有待未來的圖學習研究解決。
  • 北師大賀永團隊PNAS刊文,揭示人腦有氧糖酵解代謝的結構連接基礎
    人腦作為複雜網絡,腦區之間要實現連接功能,需要葡萄糖代謝提供能量支持。近日由北師大認知神經科學與學習國家重點實驗室賀永教授課題組與合作者在PNAS雜誌在線發表論文,探索了人腦有氧糖酵解代謝的結構連接基礎。該研究對於闡釋人腦代謝與腦連接組關係有重要價值。
  • 網絡科學前沿:尋找複雜網絡中人類信息處理的普遍模式
    通過實驗,結合對真實世界的文學、科學、音樂所呈現的網絡特徵進行的研究,6月15日,發表在Nature Physics的論文「複雜網絡中的人類信息處理」,揭示了有效交流需要滿足的兩個特徵。 之前的研究中,人們關注的是網絡本身的複雜度和其存在的規律。然而,不論是語言還是音樂,其唯一的目的就是交流思想與情感,而交流是否高效,取決於接收信息的人如何反應。因此該研究的創新點在於首次用網絡科學的工具來研究信息如何被接受,其信息傳播過程中會呈現出怎樣的規律。
  • 社交網絡視角下,怎樣平衡防疫與經濟? | PNAS速遞
    類似新冠病毒這類流行病的主要傳播途徑就是通過人與人之間的社交接觸進行擴散(當然這種接觸也可能是間接的)。研究者對社交網絡的類型加以劃分並得到以下亞型:由家人組成的家庭連接(family ties),由密友組成的非家庭親密連接(nonfamily close ties)以及其他在超市地鐵等地方偶然形成的弱連接(weak ties)。
  • 網絡科學前沿:尋找複雜網絡中人類信息處理的普遍模式
    通過實驗,結合對真實世界的文學、科學、音樂所呈現的網絡特徵進行的研究,6月15日,發表在Nature Physics的論文「複雜網絡中的人類信息處理」,揭示了有效交流需要滿足的兩個特徵。然而,不論是語言還是音樂,其唯一的目的就是交流思想與情感,而交流是否高效,取決於接收信息的人如何反應。因此該研究的創新點在於首次用網絡科學的工具來研究信息如何被接受,其信息傳播過程中會呈現出怎樣的規律。不論是閱讀還是交談,我們的大腦總在不斷地,對將要面對的交流內容進行預判,並根據和事實的吻合程度,實時地修正預測。這在認知科學中,這被稱為預測編碼理論。
  • 計算認知神經科學:試圖理解人類複雜行為背後存在基本的數學原理
    公元前6世紀的古希臘先賢畢達哥拉斯(Pythagoras)提出「萬物皆數」,認為數是宇宙萬物的本原。畢達哥拉斯那麼是否跟物理規律類似,人類複雜的行為和認知背後,也存在某些基本的數學和計算原理?計算認知神經科學致力於回答這個問題。
  • 如何學習更有效:「學習科學」讓人們認識學習與大腦的關係
    人類對自己的身體、大腦神經也有了更為深入的了解和利用,這就催生了由生物科學和教育科學交叉而成的前沿學科——學習科學。自問世以來,學習科學備受全球教育界關注,引領著世界教學模式的變革方向。  我們從小就開始在學校學習,學習可以說是每個孩子長大成人、進入社會的必經階段。然而,到底什麼是學習,應該學習什麼,人的大腦在學習的過程中發生了怎樣的變化,如何學習才會更有效果?
  • 人類認知科學中的跨文化方法及其緊迫性|腦科學頂刊導讀 054期
    ✎ 頂刊導讀目錄 1,人類認知科學中的跨文化方法及其緊迫性2,自發性大腦振蕩與知覺決策 3,近端威脅促進了反應性恐懼學習迴路的恐懼獲得和持續 4,腹側紋狀體可分離信息期望、獎賞預期和獎賞獲得雖然認知科學的一個主要目的是了解人類的認知,但研究的結論大多是基於世界人口中不具代表性的樣本。
  • 新見解:通過認知和腦科學了解學習
    僅僅是數字的簡單展示,涉及一串複雜的迴路,調動數感、視覺、語言表徵。計算則需要調用其他更為複雜的分布式網絡。根據討論的問題,這些網絡要隨著變化,減法主要調動下頂葉區域的腦回,而加法和乘法需要調動其他腦區。目前對高等數學的研究還不是很多,但是至少我們知道處理不同問題需要激活大腦中不同的腦區。從腦科學的視角出發了解數學的潛在發展路徑對教學策略的設計有著積極影響。
  • 社交圈子150人剛剛好?用複雜網絡和群體智慧理解鄧巴數
    原創 郭瑞東 集智俱樂部 來自專輯複雜科學前沿2020導語牛津大學人類學家羅賓·鄧巴,根據實際觀察,發現人類及猿猴的社交網絡,一般來說,大小為150左右,這就是所謂的鄧巴數。
  • 哲學與認知科學交叉融合的途徑
    廣義理解的認知科學如前所述,是一個還未形成統一範式的多學科交叉集群,是利用不同學科的方法對認知的不同側面,如注意、記憶、學習、推理、問題求解、以及動機理論、行為理論和感知及語言加工的綜合研究。狹義理解的認知科學可以說是一種理論假設,即將認知看作信息處理過程對內在心理表徵的一種計算,這裡的計算包括符號計算和聯結計算兩種取向。
  • 張江:從圖網絡到因果推斷,複雜系統自動建模五部曲
    而在另一邊的複雜科學領域,對複雜系統進行建模,一直以來都是一個非常重要的科學問題,關乎人們對這個世界的理解和認知。於是,用人工智慧的技術,來對複雜系統進行建模,應勢而生。 為什麼要自動建模 過去,人們為了研究複雜系統,往往是通過經驗,人工構建模型。
  • 搭建圖與網絡之間的橋梁:網絡科學的下一個突破在哪裡?
    與之相反,當前的網絡科學更類似於物理學中的唯象理論,它專注於對真實世界網絡的觀察,並以必要的數學概念來量化它們,目的是對其底層生成機制有一個直覺的理解。圖論由於其目標是追求嚴謹的論證,目前更多致力於研究可分析求解的結構,如隨機圖或稠密圖;而網絡科學關注數據中最普遍的特徵,如大型且有限網絡中結構與時序行為的稀疏性和異質性。
  • 歐洲複雜性科學、網絡科學研究機構推薦 | 美國之外的多種選擇
    這裡的研究人員關注生物與計算之間的關係並專注於跨學科的研究。研究重點包括適應性和認知機器人,計算神經科學,認知科學,生物啟發式算法,神經模型以及其臨床應用,機器學習與人工智慧,人工生命甚至是合成神經行為學。
  • 為什麼社交圈子150人剛剛好?用複雜網絡和群體智慧理解鄧巴數
    而在之後的諸多研究中,表明不論是何種文化及語言,是否使用諸如網際網路等現代工具,每個人能夠維持社交關係是150人左右。由此鄧巴數成為了人類學研究的招牌成果,鄧巴數能解釋為何初創企業超過150人之後,無法採用扁平化管理,而需要採取層級化的管理模式,因為管理者無法認識公司裡的所有人。
  • 腦科學日報:複雜的大腦;「社會撫摸」背後的神經生物學機制
    1,大腦,很複雜!來源:原理南佛羅裡達大學Salvatore Domenic Morgera教授團隊將生物工程研究集中在了大腦結構與功能之間的關係上。團隊的整體目標是科學地解釋所有在認知任務中激活不同大腦區域的連接,這些連接包括了解剖學上的物理連接,以及更為複雜的「無線」連接。
  • 腦科學日報:複雜的大腦;「社會撫摸」背後的神經生物學機制
    團隊的整體目標是科學地解釋所有在認知任務中激活不同大腦區域的連接,這些連接包括了解剖學上的物理連接,以及更為複雜的「無線」連接。團隊正在研究複雜的模型,來更好地幫助科學家理解大腦的功能。 Morgera教授的團隊還對這樣一個事實很感興趣,那就是結構完全正常的大腦仍然可能會產生嚴重的功能性問題。
  • 從經驗到理論、從數據到網絡——腦科學研究的四次範式轉移
    認知神經科學從關注大腦神經生物活動到關注大腦的高級認知功能;從關注部分層面到關注全腦層面,開始關注腦活動與行為的關係;從動態的發展觀考察腦結構和功能的發育,以及學習和腦的可塑性;從關注腦和外在行為到關注「基因和環境-腦-行為」。
  • 【腦科學與教育】看「腦科學」引發的課堂與學習模式改變
    愉快又高效的學習能否實現?學習的設計如何遵循大腦發育規律,不超前也不延遲?學習環境和心理情緒會對大腦的發展產生怎樣的影響?如何基於科學的大腦分工規律實現在創新性思維能力、問題解決能力、社會適應能力等培養上的突破?腦科學如何激發學生的主動性,如何帶動學習方式的變革?它又將給學生的學、教師的教帶來怎樣的影響?
  • 生物學教學中構建認知模型對科學思維發展的作用
    科學思維的作用科學思維是一種基於事實和嚴格邏輯得出更好結論的思維方法和思維習慣。從學生發展的角度分析,科學思維可以幫助學生獲得新知識並學習如何使用知識。具有科學思維的學生可以成為獨立的學習者,並能主動找到所研究問題的答案。