J. Neurosci:獎勵增強任務規則的神經編碼以優化認知靈活性

2020-12-06 行上行下

期刊:The Journal of Neuroscience 影響因子:5.673

Hello,

這裡是行上行下,我是喵君姐姐~

靈活的認知控制對人類的智力十分重要。當玩撲克牌遊戲時,我們可以靈活地選擇出牌策略以贏取勝利;當身處一座新城市時,我們可以靈活地運用導航以到達下一個旅遊景點。

與靈活性較低的過程相比,在靈活性較高的控制過程中,我們的反應也會相對變慢。但是,這個過程能夠被動機因子修正,如獎勵預期。

當獎勵預期更高時,在靈活性的規則任務中,行為表現會得到改善,意味著獎勵可以通過調節基於規則的神經編碼模式,來優化認知靈活性。

不清楚的是,獎勵預期是否對高靈活性加工任務和低靈活性加工任務會產生不同的影響。本篇文獻旨在探究當規則更新時,獎勵預期如何影響對任務規則信息的神經編碼。

PS:後臺回復關鍵詞「獎勵調節神經編碼」即可獲得所述的word原文啦!

本研究的第一個目標是探究當任務需要靈活性更新,即任務轉換時,獎勵預期對於規則編碼的影響。

第二個目標是探究與無關表徵相比,在任務相關表徵中,高獎勵是否會導致更強的神經編碼,相關特徵的優先加工是否會改善行為表現。

第三個目標是探究高獎勵調節的運動反應編碼和獎勵誘導的任務編碼變化是否與感覺運動加工所產生的自上而下的變化有關。

被試

30名(18~35歲,M=23,其中女性19名)

實驗設計與統計分析

被試的首要目標是儘可能獲取更多的分數。因此,被試需要根據目標刺激的顏色(黃色&藍色)和形狀(方塊&圓形)對二維目標刺激進行分類。

在每一個試次中,只有一個特徵維度與分數有關,另一個維度為無關幹擾。相關特徵維度由視覺任務線索進行提示。除了特徵維度之外,每個試次還會根據正確反應提供不同的高/低獎勵。

獎勵提示出現在試次最開始前(英鎊符號,; 低獎勵, 5–10分;; 高獎勵, 50 –100 分)。

整個試次流程由獎勵線索、目標、反饋、試次間隔等部分組成。如果任務規則為顏色,那麼當目標為黃色時,按f鍵;當目標為藍色時,按j鍵。如果任務規則為形狀,當目標為方塊時,按f鍵;當目標為圓環時,按j鍵(圖1)。任務規則分為轉換、重複兩個條件,即規則更新與否。

圖 1

根據被試的反應時獲得不同的得分(圖2)。

圖 2

本文主要使用Representational Similarity Analysis(RSA,表徵相似度分析的工具箱)來測量獎勵預期是如何影響不同類型的任務相關信息的神經編碼。

它的原理在於通過一個「通道X時間點X條件」的矩陣來分離各個條件的神經編碼。一般採用馬氏距離(MDs)測量條件間的相異性。

它的優點在於:

1. 對神經信號更加敏感

2. 可以探測多種以及重疊的神經代碼

3. 可以將相關和不相關的目標特徵、運動反應、任務規則的神經編碼區分

高獎勵減少反應時/提高正確率

對於反應時(RT),2(獎勵:高,低)X2(任務規則:轉換,重複)重複測量方差分析顯示,獎勵條件主效應顯著,高獎勵條件下的反應時顯著短於低獎勵條件下的反應時。

任務規則主效應顯著,重複條件下的反應時顯著短於轉換條件下的反應時。獎勵與任務規則之間的交互作用不顯著(圖3)。

圖 3

對於正確率,結果也發現了獎勵與任務規則各自的主效應,二者交互作用不顯著(圖4)。

圖 4

試次間的神經編碼

在確定獎勵預期能夠改善認知表現後,本文測試了任務規則的神經編碼。獎勵編碼發生在獎賞線索出現後,並在整個實驗中持續存在。

結果發現在目標呈現後不久,任務相關和任務無關的目標特徵編碼以及運動反應編碼均有所提高(圖5)。

圖 5

任務編碼與獎勵預期

這裡旨在測試哪些變量受到獎勵操縱的影響。結果發現在目標出現之前,高獎勵試次的平均任務編碼更強(圖6)。說明獎勵預期會增加對任務的主動編碼。

圖 6

目標出現前,兩種獎勵條件都能夠對任務規則進行穩定編碼(圖7)。

圖 7

任務編碼與規則更新

在發現獎勵預期能夠調節任務編碼後,我們測試了獎勵的調節作用是否在規則更新(即任務轉換)過程中有所增加。

結果發現,與低獎勵-轉換試次相比,高獎勵-轉換試次中的任務編碼顯著增加(圖8)。

圖 8

而重複試次下沒有類似效應(圖9)。

圖 9

獎勵與任務編碼之間的交互作用顯著(圖10)。

圖 10

任務編碼與認知表現

另外,我們測試了對任務規則的神經編碼是否與行為表現的改善有關。結果發現獎勵條件間的任務編碼差異與獎勵誘發的RT變化呈顯著相關(圖11)。而在正確率上沒有顯著相關。說明任務編碼增強伴隨著行為表現的提高。

圖 11

獎勵和規則更新中的交互作用與獎勵條件間的轉換成本的變化呈顯著相關(圖12)。

圖 12

獎勵編碼大小與高獎勵和低獎勵之間的RT差異顯著相關(圖13)。

圖 13

本文還測試了獎勵驅使的任務編碼變化與獎勵驅使的行為表現改善之間的關係,結果表明無論是目標前時期(平均1400~1800ms),還是目標後時期(1800~2000ms),不同獎勵條件下的任務編碼與不同獎勵條件下的RT表現相關(圖14)。

圖 14

特徵編碼與獎勵預期

本文測試了獎賞預期對任務相關和任務無關目標特徵的神經編碼的影響。

在高獎勵和低獎勵實驗中都觀察到相關的特徵編碼(圖15)。在高獎勵條件下,任務相關特徵的神經編碼顯著更高。說明獎勵預期增加了對任務相關目標特徵的編碼。

圖 15

在兩種獎勵水平下,與任務無關的信息也會隨著目標的出現而出現,但沒有顯著差異(圖16)。

圖 16

獎勵預期與任務相關和不相關的特徵編碼差異存在顯著的交互作用。這反映了在高獎勵條件下,任務相關編碼和任務無關編碼的差異更大(圖17)。

圖 17

綜上所述,我們發現高獎勵預期增加了任務相關和任務無關目標信息的神經編碼差異。這種差異是由於在高獎勵條件下,與任務相關的特徵信息的神經編碼選擇性地增加。

特徵編碼與規則更新

高獎勵預期總體上增加了與任務相關的特徵信息的神經編碼。而在轉換試次和重複試次中,獎勵條件的相關特徵編碼差異不顯著。

特徵編碼與認知表現

本研究沒有發現獎勵導致的特徵編碼變化和獎勵導致的認知行為變化之間顯著相關。

運動編碼與獎勵預期

本文探究了獎賞預期對與即將到來的運動反應相關的活動模式的影響。當分析鎖定在獎賞線索的開始時,在高獎勵條件下表現出較高運動編碼的趨勢(圖18)。

圖 18

當分析鎖定在運動反應本身時,我們觀察到在高獎勵試驗中有顯著的更高的運動編碼(圖19)。

圖 19

說明獎賞預期增加了與任務相關的運動輸出的神經編碼。

運動編碼與規則更新

本研究發現運動編碼在高獎勵-轉換試次中明顯大於低獎勵-轉換試次。說明獎賞預期調節了轉換和重複試次中的運動編碼。

運動編碼與認知表現

當測試運動編碼中的獎勵增加是否與表現的變化相關時,本研究沒有發現運動編碼的增加(高獎勵-低獎勵)與獎勵條件之間的RT和準確率變化之間顯著相關。說明獎勵-運動編碼調節與行為表現改善無關。

任務規則的神經編碼、特徵、運動信息之間的關係

結果表明,任務編碼中獎賞誘導的變化與感覺運動效應無關。任務編碼與相關目標特徵及其與無關目標特徵的差異有關,任務編碼與鎖定獎賞線索的運動編碼無顯著相關,獎勵調製的任務編碼和獎勵調製的特徵編碼之間無顯著相關。

本研究驗證了高獎勵預期能夠增加對任務規則信息的主動編碼,且這種主動效應與行為表現改善有非常強的相關性。

另外,任務編碼中的獎勵效應在轉換試次中加強。在轉換試驗中,任務規則相對於前一次試驗進行了更新。這表明獎賞預期可能通過增加任務規則之間的神經分離來優化靈活的控制過程。

相關焦點

  • 首都醫科大學團隊發現認知靈活性相關的強迫症神經通路
    認知靈活性減退是強迫症的核心症狀,患者固執且「不知變通」。而作為全球第四大神經精神障礙,人們對強迫症的發病機制知之甚少。近日,來自首都醫科大學的研究團隊找到了一條與強迫症認知靈活減退相關的神經環路,在強迫症小鼠模型中明確了與「不知變通」有關的神經元。
  • 頂刊腦訊-第46周 神經編碼的抽象幾何學
    >5、Nature | 初級視皮層方向選擇性的空間連接特徵Science | 丘腦是編碼記憶的關鍵腦區的新證據大腦皮層收集感覺信息進行編碼。為了更好的優化神經元分類的定義,美國艾倫腦科學研究所的Gaba J. Murphy課題組採用多模式綜合分析的方法,表徵了小鼠視覺皮層4200多個GABA能中間神經元的轉錄組和內在生理特性,並重構了約517個局部形態。作者發現大多數轉錄組型(t型)通常分布在視覺皮層的特殊位置,且表現出一致的電生理或形態學特性,同時t型神經元之間的特徵屬性具有離散型和連續變化性。
  • 首都醫科大學團隊發現認知靈活性相關的強迫症神經通路
    認知靈活性減退是強迫症的核心症狀,患者固執且「不知變通」。而作為全球第四大神經精神障礙,人們對強迫症的發病機制知之甚少。近日,來自首都醫科大學的研究團隊找到了一條與強迫症認知靈活減退相關的神經環路,在強迫症小鼠模型中明確了與「不知變通」有關的神經元。相關論文2020年1114日發表於《當代生物學》。
  • 全光學編碼大腦GPS系統
    作者採用雙光子鈣成像與雙光子定標光遺傳學方法相結合的'全光學'方法,訓練實驗小鼠在虛擬實現環境中進行空間導航任務。在該任務中,小鼠需要等待3秒鐘,並在虛擬線性走廊上的特定獎勵區域舔至少3次才能獲得糖水獎勵;如果在獎勵區域外舔舐次數超過10次或碰到2-m走廊的後壁則任務失敗,給與小鼠10秒的高亮白屏懲罰。經訓練後,只有約60%的小鼠能夠成功完成該空間導航任務。
  • 我國科學家揭示聽覺皮層編碼聽覺認知的新機制—新聞—科學網
    探秘:大腦裡的信息分類
  • Nature Neurosci: 神經科學的深度學習框架是什麼?
    深度學習初期可能借鑑了神經科學的經驗,比如大腦視覺皮層結構的模擬,層級編碼等,但真正促使深度學習大放異彩的,卻是源於對神經科學的背離,比如目前沒有生物數據支撐的反向傳播算法,Relu函數等。雖然這些規則的加入使得深度神經網絡在各類任務上的表現得到了極大的提升,接近甚至是優於人腦的表現,但為什麼會有這樣的效果仍是一個黑箱。
  • 研究揭示自我和他人位置編碼的神經機制
    研究揭示自我和他人位置編碼的神經機制 作者:小柯機器人 發布時間:2020/12/25 15:17:48 2020年12月23日,《自然》雜誌在線發表了美國加州大學洛杉磯分校Nanthia Suthana、Matthias Stangl
  • 聽覺皮層編碼聽覺認知的新機制
    負責該項目的研究人員對皮層大量神經元活動進行記錄和統計分析,發現在聽覺皮層中存在範疇抉擇相關的單細胞反應,並且,聽覺皮層神經元的信息編碼會根據任務需要發生動態變化。這種神經編碼的動態變化在群體水平有利於把連續的感覺信息轉化為任務相關的範疇信息。研究人員通過對群體神經元活動的解碼,也驗證了任務狀態下聽皮層神經元活動能夠準確預測小鼠執行聽覺範疇分類任務的表現。
  • 帕金森病腿部靈活性自動化客觀評估新方法
    但是這種評估方法較為費時,而且容易受到評估者認知差異的影響。新冠肺炎疫情爆發以來,PD患者遠程評估愈發強烈。因此,作者開發了稀疏化自適應的圖卷積網絡模型實現基於視頻的腿部靈活性任務的自動化評估。具體來說:1)通過先進的人體姿態估計模型從視頻中提取PD患者的關節點序列;2)提出了稀疏化自適應圖卷積單元(SAGCU),以實現視頻中人體骨架序列的空間建模,對人體的物理和邏輯依賴性進行了自適應編碼,然後將稀疏化策略的約束嵌入到成本函數中以挖掘判別性特徵,最終挖掘出了腿部靈活性任務中最重要的空間結構關係;3)引入了時間上下文模塊(TCM),通過計算時間位置的相關性來構造視頻序列的上下文依賴關係
  • Nature子刊批人工神經網絡:先天結構比後天訓練更重要
    在人工神經網絡研究中,網絡的靈活性與訓練網絡所需的數據量之間的這種差異稱為「偏差 - 方差權衡」。具有更大靈活性的網絡更強,但如果沒有足夠的訓練數據,網絡對測試數據的預測可能會非常不正確,甚至遠比簡單且功能較弱的網絡的預測結果差。用「蜘蛛俠」 的話來說就是:能力越大責任越大。
  • Nat Rev Neurosci:海馬齒狀迴環路與情景記憶的編碼、提取和分辨
    本文回顧總結了關於不同DG神經元類型的功能特性及其突觸輸入和輸出的一些新知識,並探索DG的細胞和網絡屬性與所執行的計算過程之間的機械聯繫,從而構建一個支持記憶編碼、鞏固和回憶功能的神經機制。網格細胞顯示規則的六邊形空間活動模式,並且可以為神經元的空間表徵(where)提供度量單位,也可以提供非空間變量,例如聲音或時間間隔。LEC神經元偏向於表徵非空間信息,比如物體(what)和物體相關的空間特徵。LEC神經元的內在編碼時間持續幾分鐘甚至小時,與MEC的秒級時間表徵完全不同。這種時間差異性也許就是LEC輸入引起幾個海馬區位置野顯著不穩定的原因。
  • Nature子刊:靈長類腦中抽象規則認知的產生|腦科學頂刊導讀78期
    頂刊導讀目錄 1,靈長類腦中抽象規則認知的產生2,交互中心認知:他人如何影響我們的認知過程3,前額葉皮質投射神經元靶向背側紋狀體控制行為抑制4,所有人都是直覺科學家:重新思考決策的統計解釋5,從失敗的行為改變中學習1,靈長類腦中抽象規則認知的產生期刊:nature reviews
  • 人工智慧神經網絡和生物大腦有什麼區別 神經網絡將如何發展
    自從該領域的歷史開始以來,符號人工智慧和人工神經網絡就構成了開發AI系統的兩種主要方法。Zador寫道:「符號AI可以看作是心理學家的方法,它從人類的認知過程中汲取了靈感,而沒有試圖破解黑匣子,而使用類神經元元素的ANN則從神經科學中汲取靈感。」在AI歷史的前幾十年中,由程式設計師明確定義系統規則的符號系統佔據了主導地位,而如今,神經網絡已成為人工智慧大多數發展的主要亮點。
  • 研究揭示聽覺皮層編碼聽覺認知的新機制
    這種神經編碼的動態變化在群體水平有利於把連續的感覺信息轉化為任務相關的範疇信息。研究人員通過對群體神經元活動的解碼,也驗證了任務態下聽皮層神經元活動能夠準確預測小鼠執行聽覺範疇分類任務的表現。  為什麼需要對感覺信息進行分類或範疇化?
  • Nature子刊:靈長類腦中抽象規則認知的產生| 腦科學頂刊導讀78期
    作者:Sniper  抽象規則會在很多方面影響人類的認知,因為這些規則會幫助我們描述離散的事件和體驗,並且將其連接和分類為有意義的概念。然而,對抽象規則的認知能力在靈長類動物大腦中何處,由何種神經機制產生仍然是當前被廣泛研究和爭論的主題。  來自人類影像學和猴子單神經元記錄的證據表明,前額葉皮層在抽象規則表徵中起著關鍵作用。另外,來自前額葉病變猴子中進行的行為研究以及對前額葉受損的人類患者進行神經心理學檢查的數據表明,前額葉對規則引導的行為的貢獻存在實質性的功能分離和任務依賴性。
  • Neuron | 光療增強空間記憶的神經通路機制
    比如動物研究發現光照亮度不足或光照模式紊亂可導致學習與記憶能力受損、明亮工作環境可顯著提升人的學習和工作效率、光療對於輕度認知功能障礙患者的症狀也有著不同程度的改善作用。但目前光影響記憶功能的神經機制尚不明確。
  • Nature Reviews Neurosci:語言中的節奏及其神經機制|導讀 37期
    作者認為人類大腦使用分布式網絡編碼概念以及概念之間的關係,尤其是默認網絡,在概念抽象化的語義處理中起著核心作用。類別感知是一種基本的認知功能,可使動物靈活地將聲音與行為相關的類別進行對應。在神經元的亞群中,類別反應甚至在被動聆聽條件下也持續存在,這表明了對任務類別的記憶及其增強的類別邊界。
  • 大腦對時間的彈性感知,竟和強化學習中的獎勵有關
    哈佛大學的認知神經學家Sam Gershman說道。但更準確的描述是,當我們的大腦感受到超過預期的快樂時,時間過得更快。多巴胺與我們對時間的感受對於大腦,時間的感受並不是單一的。不同的腦區,依據不同的神經機制來記錄時間的流逝。在不同場景下,決定我們感覺的機制也會改變。
  • 異性相吸的「神經原理」 | Paper...
    原創 NR 神經前研 來自專輯Paper Alert認知與行為想讓好消息聽起來更好?研究推論,如果說更大的同族社群有演化的優勢,而更大的社群要求更高的認知-社會功能,與神經可塑性的基因由此促進大腦長得更大。該推論支持社會腦假說。
  • J Neurosci:改變幾十年來科學認知 穀氨酸鹽或在神經肌肉發育過程...
    ;然而實際上這種認知或許是錯誤的,大腦中常見的神經遞質穀氨酸鹽或許在上述過程中也非常有必要。每種肌肉都由無數個單一的肌纖維組成,在成年人機體中,每種肌纖維都能夠被單一的運動神經元所聯繫,然而這種簡單的排列並不是我們在出生時所看到的那樣,相反,每一種肌纖維都由多達10根神經聯繫起來;該過程就能夠使得其它神經元都在收縮的時候只有一個神經元能夠保持不變,而能夠最有效激活肌肉的神經或許就是那一個。