科學家建立不同時間尺度下多巴胺信號的統一框架

2020-12-12 科學網

科學家建立不同時間尺度下多巴胺信號的統一框架

作者：

小柯機器人

發布時間：2020/11/30 17:03:42

美國哈佛大學Naoshige Uchida、HyungGoo R. Kim等研究人員合作建立不同時間尺度下多巴胺信號的統一框架。這一研究成果於2020年11月27日在線發表在國際學術期刊《細胞》上。

研究人員使用虛擬實境開發了將獎勵預測誤差（RPE）與價值區分開來的實驗範例。研究人員檢查了各個階段的多巴胺迴路活動，包括體細胞突增、體細胞和軸突處的鈣信號以及紋狀體多巴胺濃度。結果表明，多巴胺信號的上升與RPE一致，而不是與價值一致，並且在所有檢查的階段均觀察到了這種上升。

多巴胺信號的上升可以由動態刺激來驅動，從而表明一種逐漸採取獎勵措施。研究人員提供了對快速相位和緩慢傾斜的多巴胺信號的統一計算理解：多巴胺神經元在時間基礎上對價值執行類似導數的計算。

據了解，中腦多巴胺神經元的快速相位活動被認為是RPE的信號，類似於機器學習中使用的時間差異誤差。但是，最近報導緩慢增加的多巴胺信號研究提出，它們代表狀態值並且獨立於體細胞突波活動而出現。

附：英文原文

Title: A Unified Framework for Dopamine Signals across Timescales

Author: HyungGoo R. Kim, Athar N. Malik, John G. Mikhael, Pol Bech, Iku Tsutsui-Kimura, Fangmiao Sun, Yajun Zhang, Yulong Li, Mitsuko Watabe-Uchida, Samuel J. Gershman, Naoshige Uchida

Issue&Volume: 2020-11-27

Abstract: Rapid phasic activity of midbrain dopamine neurons is thought to signal reward predictionerrors (RPEs), resembling temporal difference errors used in machine learning. However,recent studies describing slowly increasing dopamine signals have instead proposedthat they represent state values and arise independent from somatic spiking activity.Here we developed experimental paradigms using virtual reality that disambiguate RPEsfrom values. We examined dopamine circuit activity at various stages, including somaticspiking, calcium signals at somata and axons, and striatal dopamine concentrations.Our results demonstrate that ramping dopamine signals are consistent with RPEs ratherthan value, and this ramping is observed at all stages examined. Ramping dopaminesignals can be driven by a dynamic stimulus that indicates a gradual approach to areward. We provide a unified computational understanding of rapid phasic and slowlyramping dopamine signals: dopamine neurons perform a derivative-like computation over values on a moment-by-moment basis.

DOI: 10.1016/j.cell.2020.11.013

Source: https://www.cell.com/cell/fulltext/S0092-8674(20)31530-0

Cell：《細胞》，創刊於1974年。隸屬於細胞出版社，最新IF：36.216

相關焦點

  • 專家點評Cell|虛擬實境範式揭示多巴胺信號的生理意義
    這一假說對於推動我們對多巴胺功能的理解有著重要意義。然而，早期研究使用的行為範式相對較為簡單，因此，這一假說是否適用於更複雜的行為範式還需進一步驗證。另外，也有其他實驗室報導了多巴胺的伏隔核釋放可獨立於中腦胞體的活動【2】，因此，複雜環境下的多巴胺環路水平的信號記錄具有重要意義。
  • 中英科學家建立納米尺度下的「毛細凝聚」新理論
    水在不同的介質與環境下表現出多種特性。近期，中國科學技術大學王奉超教授與諾貝爾物理學獎得主、英國曼徹斯特大學安德烈·海姆教授及其團隊合作，研究揭示了固液界面能的尺寸效應，修正了物理學中經典的開爾文方程，建立了納米尺度下的毛細凝聚新理論。受表面張力和彎曲界面的影響，水在狹小的通道內更容易凝聚：在分壓還沒達到飽和蒸氣壓的時候，水就凝聚了，這就是毛細凝聚現象。
  • Nature:科學家揭秘下丘腦發育的分子架構機制
    2020年5月9日 訊 /生物谷BIOON/ --近日，一項刊登在國際雜誌Nature上題為「Molecular design of hypothalamus development」的研究報告中，來自維也納醫科大學等機構的科學家們通過研究揭示了下丘腦發育的分子設計機制。
  • 類腦計算背後的計算神經科學框架
    生物脈衝神經元和這種經過簡化的實數神經元到底有何不同？　同樣是前饋網絡，脈衝神經元構成的網絡，由於尖峰脈衝的時間結構， 它的發放可以攜帶和時間有關的信息，是當下的深度學習所使用的rate神經元不具備的。同時，不同尖峰脈衝神經元發放間的correlation 被認為可以編碼信息。而脈衝神經元和rate數值神經元到底有無本質區別， 也成為各種學派的爭論焦點。
  • 你的愁你的樂 螢光多巴胺探針能「看到」
    「科學家如果擁有一種能以高時空解析度、高特異性和高靈敏度感知多巴胺濃度變化的工具，將有助於研究多巴胺在生理和病理條件下的多種功能，去追蹤在活體模式生物中、複雜行為模式下多巴胺信號的動態變化情況。」李毓龍說。傳統的監測方法，主要是通過微透析對腦脊液進行採樣並生化監測、通過碳纖電極進行記錄等。
  • 實時追蹤血清素/多巴胺的新方法為治療多種神經系統疾病提供了可能性
    長期以來，多巴胺和血清素都與大腦處理獎勵的能力有關，但最近科學家們將注意力轉向它們如何在整個人體中發揮更廣泛的作用。這包括腸道中的血清素如何調節血糖或如何通過氯胺酮解決低水平的問題，以及深層腦區刺激（DBS）如何促進帕金森病患者的多巴胺產生。
  • 多巴胺決定對負面情緒不同反應
    多巴胺是大腦中的一種神經遞質。科學家們發現，個體對負面情緒線索的不同反應主要基於大腦中多巴胺的儲存數量，新成果發表在日前在線出版的《自然—神經科學》期刊上，將有助於解釋為什麼不同的人以不同的方式應對壓力或情感事件。
  • 帕金森有望被治癒,科學家通過神經因子保護多巴胺取得一定成果
    多年來，科學家一直在研究使用神經營養因子來減慢帕金森氏病的進展。這些蛋白質通常存在於大腦中，並在保護和培養不同類型的神經元（包括對控制運動至關重要的多巴胺神經元）中起重要作用。 1993年，在實驗室測試中發現一種神經營養因子，稱為神經膠質細胞系神經營養因子（GDNF），可以保護多巴胺神經元。經過廣泛的實驗室研究，其中GDNF顯示出許多好處，於2000年代初期開始了臨床試驗。
  • 可能是多巴胺的問題 前沿
    這些體驗都暗示了人的內在感受與客觀時間坐標系之間經常會出現的偏差。觀察者的情緒狀態會對時間流逝的感知會產生哪些影響，其背後的生理原因又是什麼呢？長期以來，很多科學家認為多巴胺分泌與時間感知之間存在某種關係。多巴胺是一種重要的神經遞質，由多巴胺能神經元分泌，在中樞神經系統扮演著重要角色，可以與腦內廣泛表達的多巴胺能受體結合，主要參與運動、情感、學習記憶和神經內分泌的調節。
  • DeepMind發表Nature子刊新論文:連接多巴胺與元強化學習的新方法
    人們認為我們是在兩個時間尺度上學習的：短期學習聚焦於學習特定實例，長期學習主要學習抽象技能或用於完成任務的規則。正是該組合幫助我們高效地學習，並在新任務上快速靈活地應用知識。在 DeepMind 剛發表在 Nature Neuroscience 的新論文《Prefrontal cortex as a meta-reinforcement learning system》中，研究者使用了 AI 研究中開發出來的元強化學習框架來探索大腦中的多巴胺所發揮的幫助學習的作用。
  • Science:多巴胺如何引發古柯鹼上癮?
    在最近一項研究中，西奈山Icahn醫學院的科學家們發現了一種化學物質多巴胺在大腦中的新作用，這種化學物質除了發揮神經遞質作用之外，新的作用似乎對長期接觸或濫用古柯鹼相關的基因表達變化至關重要。相關結果發表在《Science》雜誌上。
  • 標準統一的語義分割框架
    在近幾年的會議中，語義分割的論文層出不窮，但是市面上一直缺乏一款能夠相對公平比較各種方法的框架。為了方便研究員和工程師們，我們開源了一套基於 PyTorch 實現的標準統一的語義分割框架：MMSegmentation。
  • MMSegmentation:標準統一的語義分割框架
    在近幾年的會議中，語義分割的論文層出不窮，但是市面上一直缺乏一款能夠相對公平比較各種方法的框架。為了方便研究員和工程師們，OpenMMLab開源了一套基於 PyTorch 實現的標準統一的語義分割框架：MMSegmentation。在 MMSeg 下，研究員們復現和比較了很多語義分割的算法，並對訓練測試的超參進行了優化和統一，在精度，速度，穩定性等方面都超過目前開源的其他代碼庫。
  • 多巴胺是如何讓我們對技術上癮的?
    他在去年11月在費城舉行的一次活動上說：「那種想法是這樣的，『'我們怎麼才能儘可能多地利用你的時間和有意識的注意力？』」 為了實現這個目標，Facebook的架構師利用了「人類心理當中的脆弱性」，2005年辭職的Parker解釋說。當有人對你的帖子或照片點讚或發表評論時，他說：「我們就會……給你帶來一點多巴胺」。因此可以說，Facebook是一個建立在一種化學分子之上的帝國。
  • JNS:壓力荷爾蒙能通過多巴胺信號導致焦慮和對獎賞的漠視
    圖2 長期皮質酮組動物表現出升高的焦慮樣行為和下降的獎賞搜索行為中腦腹側被蓋區多巴胺能神經元在獎賞搜索行為及情緒障礙（包括焦慮樣行為）中扮演重要角色。長期皮質酮組動物的行為異常，是否與這些多巴胺能神經元的活動改變有關？通過對這類神經元進行離體全細胞電生理的記錄，發現在長期皮質酮組動物中，多巴胺能神經元興奮性顯著降低——在一定的時間內，相同的刺激會誘導出更少的動作電位。
  • 多巴胺的兩面性:一半是水,一半是火
    正是這種採樣偏差，多巴胺神經元對厭惡刺激的反應可能被忽略了。 根據目前流行的「獎勵預測錯誤假說」，當一個行為比我們預期的更有回報時，多巴胺神經元會被激活並產生多巴胺，但當獎勵與我們的預期相符時，多巴胺神經元仍處於基線活動狀態，當我們得到的回報低於預期時，多巴胺神經元會表現出抑鬱的活動。 多巴胺會改變神經迴路，並訓練大腦追求快樂，避免不快樂。
  • 人類對大腦多巴胺機制的理解,其實都錯了-虎嗅網
    基於強化學習理論，研究假設大腦存在多巴胺的獎賞預測誤差。一個信號會引起一個獎賞預測，當獎賞預測低於分布的均值時，會引起負的RPE，而較大的獎勵會引起正的RPE。在分布式強化學習中，每個通道都攜帶不同的RPE價值預測，不同通道的積極程度不同。這些值的預測反過來又為不同的RPE信號提供了參考點。在最後的結果上，一個單一的獎勵結果可以同時激發積極的RPE和消極的RPE。記錄結果顯示，小鼠大腦的多巴胺神經元反轉點根據積極程度的不同而不同。
  • 科學家發現不同脂肪給身體的信號不一樣
    丹麥哥本哈根大學（University of Copenhagen）的科學家從兩種脂肪分泌的蛋白質入手，看看白色脂肪組織和褐色脂肪組織向身體其他部位發出的信號有什麼差別。「這是第一次有人對褐色脂肪組織做出如此詳細的研究。我們繪製了脂肪細胞分泌並用於和其他細胞通訊的所有蛋白質，發現了巨大的差別。」
  • 簡析多巴胺和內啡肽
    多巴胺是人的獎賞、激勵和快樂中心。多巴胺是大腦中的一種神經傳導物質，對人的情緒影響重大。當人們滿足了自己的需要時，通常會產生這種物質。根據，洛雷塔.布萊寧博士的研究，人類的祖先在經歷了長期的飢餓後找到了食物或發現了獵物時會分泌多巴胺。多巴胺給人的神經元建立了連接，當再次看到那些食物或獵物時會再次分泌。
  • 多巴胺能神經元發揮了這樣的作用……
    近日，德國科學家通過開發一種體內鈣成像的3D成像新方法，發現多巴胺能神經元（DAN）可以敏銳地調節感官知覺，從而使動物的行為決策適應其內部行為狀態。相關成果發表在《當代生物學》雜誌上。為了能夠進行這樣的評估，我們需要大腦中的信號告訴我們：「這很好！」或「這不好！」大腦中的多巴胺能系統（又稱獎勵系統）在這些評估中起著重要作用。多巴胺可以調控中樞神經系統的多種生理功能，產生多巴胺的神經元即多巴胺能神經元。其與許多疾病有關，如各種上癮行為、肥胖症、帕金森病等。