專家點評Cell|虛擬實境範式揭示多巴胺信號的生理意義

點評 | 劉鼎 博士 (哈佛大學Catherine Dulac課題組博士後)，楊鴻斌 博士(加州大學伯克利分校Stephan Lammel課題組博士後)

撰文 | 陳文強(哈佛醫學院Ronald Kahn課題組博士後)

責編 | 兮

多巴胺在學習、動機和運動功能的調控上發揮著至關重要的作用。因此，了解多巴胺系統介導的信號傳遞對於理解多巴胺調控多種生理功能具有重要意義。現在的主流觀點是，在強化學習(reinforcement learning)過程中，中腦多巴胺能神經元在機體獲得獎賞時的時相性活動(phasic activity，也有稱瞬時性放電)代表著獎賞預測誤差(reward prediction errors, RPEs)【1】。這一假說對於推動我們對多巴胺功能的理解有著重要意義。然而，早期研究使用的行為範式相對較為簡單，因此，這一假說是否適用於更複雜的行為範式還需進一步驗證。另外，也有其他實驗室報導了多巴胺的伏隔核釋放可獨立於中腦胞體的活動【2】，因此，複雜環境下的多巴胺環路水平的信號記錄具有重要意義。

2020年11月27日，來自美國哈佛大學Naoshige Uchida團隊的研究人員聯合包括北京大學李毓龍團隊在內的多個合作團隊，在Cell雜誌在線發表了題為A Unified Framework for Dopamine Signals across Timescales的研究論文，使用虛擬實境(Virtual reality, VR)下的複雜實驗範式，比較記錄胞體及軸突鈣信號及伏隔核多巴胺水平變化，從多角度證實了多巴胺的伏隔核釋放可編碼RPEs，且軸突末梢活動性與胞體活動性一致，揭示了多巴胺遞增信號(ramping signals)的驅動因素，從而更好地幫助我們了解多巴胺信號時相活動性的計算生物學機制。

首先，研究人員構建一項特殊的行為實驗範式，使得頭部固定的小鼠能夠在一個狹長的虛擬跑道探索以獲得獎賞(圖1)，這一行為範式使得研究人員可以將RPE和當前獎賞值(value of the state)區分開，這個行為範式對於鑑定多巴胺信號的生理功能具有重要意義。

圖1

一般可以認為，當小鼠接近獎賞目標時，其當前獎賞值呈單調遞增 (monotonic increase)，然而，當小鼠在移動過程中，研究人員可以利用虛擬實境的優勢將小鼠「瞬息移動」(teleport)至更接近獎賞目標的位置。研究人員進行如下的理論假設：

(1) 如果多巴胺代表著獎賞值信號，就應該在瞬息移動瞬間表現出逐步增加而隨後逐漸遞增的活動性，到達獎賞目標時多巴胺信號應該達到最大水平(圖2C左圖)。

(2) 如果多巴胺代表著獎賞預測誤差(RPE)，那麼就應該在瞬息移動瞬間表現出瞬時興奮性，代表獎賞值的即時增加(圖2C右圖)。

(3) 若檢測小鼠運動速度，如果多巴胺信號代表著RPE，則信號的遞增特徵則可被小鼠運動速度調控 (圖2D)，速度越快則遞增的上升程度越高(圖2E右圖)，而獎賞值將在獎賞到達前達到同樣水平(圖2E左圖)。

圖2

使用這一虛擬實境行為範式，研究人員可直接監測多巴胺信號的遞增特徵是否與RPE或當前獎賞值有關。為監測多巴胺信號，研究人員使用光纖記錄技術監測投射至伏隔核的多巴胺神經元軸突鈣信號(圖3)。經過訓練，軸突鈣信號能在3-4秒的時程範圍內表現出漸進的遞增活動性。

圖3

研究人員設計了4種不同實驗(圖4)來決定伏隔核的多巴胺軸突信號是否代表RPE或當前獎賞值——

(1)實驗1：研究人員隨機選取了三種不同的瞬息移動方式——長時程、短時程及5秒暫停。

(2)實驗2：研究人員選取三個不同位置進行瞬息移動。

(3)實驗3：研究人員使用不同速度 (2倍速或0.5倍慢速)進行瞬息移動。

(4)實驗4：研究人員移動場景運動速度而不改變獲取獎賞的時間(即加速和減速運動)。

使用模型擬合分析，研究人員預測了RPE和當前獎賞值的不同模型，並運用實驗觀測結果驗證兩種模型的符合度，發現在所有實驗條件下，RPE模型能比獎賞值模型更好地解釋觀察到的數據。

圖4

以上的實驗雖然提示伏隔核多巴胺軸突活動性與RPE時程差異一致，但是這一結論來自神經元群體信號，同時近期有研究提示多巴胺軸突的局部調控可獨立於胞體尖峰活動 (spiking activity) 【2】，因此，研究人員需要在中腦腹側被蓋區(VTA)的多巴胺能神經元以單神經元水平活動性的層面來驗證這一結論。通過將光敏感通道蛋白channelrhodopsin-2表達入多巴胺能神經元，研究人員可通過神經元的光反應來鑑定多巴胺能神經元。研究人員通過光電極記錄了102個VTA神經元，並重複了此前4項實驗中的實驗1和實驗3 (圖5)。這一部分結果提示，大部分單神經元與RPE一致，且位於內側VTA的神經元能表現出更多的遞增活動。

圖5

隨後研究人員將鈣指示蛋白GCaMP表達於VTA多巴胺能神經元以記錄胞體鈣信號，發現VTA多巴胺神經元胞體和軸突末梢表現出相似水平的遞增活動性(圖6)。隨後藉助北京大學李毓龍課題組開發的多巴胺探針，研究人員對伏隔核多巴胺濃度進行監測，發現多巴胺水平和其他實驗中觀察到的鈣信號類似，提示多巴胺濃度依然可代表RPE。隨後，通過對代表著獎賞接近程度的位置線索的操控，研究人員發現這些空間線索對引起多巴胺能神經元的遞增活動是必要的。

圖6

總的說來，這篇文章結合虛擬實境環境下的複雜行為範式與多種不同空間和時程解析度的電生理記錄技術，實現了RPE和當前獎賞值的有效區分。通過瞬息移動和速度操控，研究人員記錄到了多巴胺斜坡遞增信號的不同程度改變，這些改變均與RPE表現一致。本文不僅檢測了多巴胺神經元向伏隔核投射的軸突末端的鈣信號、多巴胺分泌，還檢測了多巴胺神經元胞體的電活動，因此，本文通過較為全面地檢測多巴胺環路多個水平的信號，再次確認了伏隔核多巴胺信號能代表RPE的時程差異，深入我們對多巴胺系統計算生物學特徵的理解，有助於並幫助我們更好地揭示多巴胺信號和複雜生理功能的關聯。

解讀者 | 陳文強 博士 (哈佛醫學院Ronald Kahn課題組博士後)

陳文強，香港大學李嘉誠醫學院博士，哈佛醫學院Ronald Kahn教授實驗室博士後，主要研究神經膠質細胞代謝如何參與中樞神經精神疾病進程。

專家點評

劉鼎 博士(哈佛大學Catherine Dulac課題組博士後)

劉鼎博士簡介：劉鼎，中科院神經所博士，哈佛大學分子與細胞生物學系Catherine Dulac實驗室和Naoshige Uchida 實驗室聯合培養博士後，主要研究社交本能的分子及環路基礎。

提到多巴胺，大家都知道它是腦內的獎賞信號，開心快樂愉悅感成癮都和它有關。但是具體多巴胺（或者說分泌多巴胺的神經元）如何編碼愉悅信號還不清楚。現在比較主流的觀點認為，多巴胺活動和獎賞的預期偏差（reward prediction error）有關。比如不期而遇的獎勵能更有效產生多巴胺（想想不勞而獲的感覺），因為沒有預期，任何獎勵都能產生一個「正」的偏差。反過來說，希望越大失望越大，因為預期過高，如果獎勵不足，就容易產生「負」的偏差。

哈佛大學分子與細胞生物學系的Naoshige Uchida實驗室就是長期致力於研究中腦多巴胺系統在上下遊神經網絡相互作用中如何整合、產生、傳遞和細分「獎賞偏差信號」，以及這一信號是如何指導學習和決策的。Uchida實驗室的研究以嚴謹、細緻、考慮周全著稱，實驗室近年來更是致力於將動物實驗和計算模型融會貫通，試圖在突觸前、local微環路、突觸後等不同層面對多巴胺系統的工作邏輯（包括神經元電活動、鈣活動、多巴胺分泌等）進行統一和整合。希望深入了解的小夥伴可以參考他們實驗室的網頁：

https://projects.iq.harvard.edu/uchidalab/publications

本期介紹的Cell論文就是Uchida實驗室的最新研究成果。

前人關於「獎賞偏差信號」的研究主要集中在「實際得到獎勵「（actual reward）和「出現獎勵提示信號」 （reward predicting cue）的時候。在等待或者接近獎勵的過程中（想想明天就要放假的感覺），多巴胺的活動是怎樣的呢？最近有些研究發現當實驗小鼠接近獎勵時，多巴胺分泌會越來越多，呈現一個緩慢單調遞增的趨勢（ramp up）。

怎麼解釋這個現象呢？領域內分成兩派：一派認為遞增的多巴胺信號編碼了「當下狀態」（state value），這個狀態可以理解成對未來的預期，離獎勵越近，預期就越高，這裡並沒有涉及預期和實際的偏差；另一派則認為遞增的多巴胺信號編碼了「當下狀態的變化」（derivative-like signal over value），是實時評估「預期的當下」和「實際的當下」的「偏差」，離獎勵越近，預期的變化就越快。所以依然可以整合進「預期偏差」的理論框架（這就是這篇論文題目裡unified framework 的意思）。

上面的兩個假說的矛盾焦點在於，多巴胺編碼的是當下的「狀態量」還是「狀態量的變化量」。如果可以對「狀態的變化」做人為的操控，就可以區分這兩個假說。基於這個思路，這篇論文的作者使用虛擬實境（virtual reality）技術，訓練實驗小鼠走過一段虛擬走廊，然後在走廊盡頭獲得獎勵。在狀態操控實驗中，作者把小鼠「虛擬移動」（teleport）過一段走廊，並且觀察多巴胺信號的變化。如果多巴胺只和「當下狀態」（這裡可以理解為走廊的位置）有關，那麼虛擬移動之後多巴胺將持續上升，因為離獎勵更近了；如果多巴胺和「狀態的變化量」有關，那麼虛擬移動之後多巴胺活動將會回落，因為位置變化的速度比虛擬移動時變慢了。這就很好地區分開了兩個假說。

這篇論文系統地改變了「虛擬移動」的距離、位置、速度、加速度、方向、場景、任務類型等等變量，都得到了支持「預期偏差」假說的實驗結果。這篇論文在多巴胺神經元胞體電活動、鈣活動、投射鈣活動、多巴胺分泌等多個層面使用不同的技術手段進行了全面細緻的驗證，使用數學模型對實驗結果進行擬合對比，並且非常嚴謹地設置了多個對照實驗排除其他可能，進一步探索了產生多巴胺遞增信號的本質。這是一篇全面、嚴謹、細緻，值得好好學習閱讀的論文。

專家點評

楊鴻斌 博士(加州大學伯克利分校Stephan Lammel課題組博士後)

楊鴻斌博士簡介：楊鴻斌，浙江大學神經所博士，加州大學伯克利分校Stephan Lammel實驗室博士後，主要研究多巴胺神經環路對動機行為的調控機制。

過去研究認為多巴胺的時相性活動(phasic activity) 與運動，獎賞等多種行為有關，特別是多巴胺在伏隔核的時相性釋放參與RPE 的編碼。那伏隔核的多巴胺時相性釋放是否受VTA 多巴胺神經元的胞體活動所控制？最近來自加州大學舊金山分校Berke實驗室在Nature雜誌的文章報導【2】驚奇發現（詳見BioArt報導：Nature長文 | 獎賞動機行為與學習行為受不同腦區多巴胺的調控），伏隔核的多巴胺釋放獨立於其細胞胞體的活動，然而該結論掀起較大的同行爭議，由於多巴胺神經元包括多種亞群，特別是投射到伏隔核不同亞區的多巴胺神經元功能完全不同，然而在解剖學結構上相對於內側伏隔核投射的多巴胺神經元，外側VTA多巴胺神經元更方便進行電生理記錄。

根據Berke實驗室Nature文章中的電生理記錄位置圖，Berke 實驗室所觀察到的有趣結果有可能是源自於電生理記錄的是不同亞群的多巴胺神經元導致實驗結果被汙染。Uchida課題組利用多種行為學範式並結合多種挑戰性的在體記錄技術證實，多巴胺在編碼RPE時的末梢活動與其胞體活動基本一致，並不獨立於胞體活動。這就間接證明了Berke實驗室Nature工作的結論可能並不正確。本研究雖然並未區分伏隔核不同亞區投射的多巴胺神經亞群【3】，但根據其記錄位置，提示應該是medial VTA DA→ medial shell環路編碼RPE。那lateral VTA DA → lateral shell是否有著同樣功能及類似生物學現象？值得未來進一步研究確認。

原文連結

https://doi.org/10.1016/j.cell.2020.11.013.

參考文獻

1. Schultz, W., Dayan, P., and Montague, P.R. (1997). A neural substrate of prediction and reward. Science275, 1593–1599.

2. Mohebi, A., Pettibone, J.R., Hamid, A.A., Wong, J.T., Vinson, L.T., Patriarchi, T., Tian, L., Kennedy, R.T., and Berke, J.D. (2019). Dissociable dopamine dynamics for learning and motivation. Nature570, 65–70.

3. Yang H, de Jong JW, Tak Y, Peck J, Bateup HS, Lammel S. (2018) Nucleus Accumbens Subnuclei Regulate Motivated Behavior via Direct Inhibition and Disinhibition of VTA Dopamine Subpopulations. Neuron. 97(2):434-449.