Nature:「揭秘」物體識別關鍵腦區組織的一般原理

來源：神經計算與控制實驗室

靈長類下顳葉皮層的物體空間圖

6月14日NCC lab討論了鮑平磊博士發表在nature的論文《A map of object space in primate inferotemporal cortex》。該文利用功能磁共振成像技術、微刺激、電生理學和深層神經網絡，研究獼猴大腦下顳葉皮層（IT）的組織結構，他們發現了新的『無主之地』NML，這個區域對高縱橫比的偏好響應最強，同時在解剖學層面，細胞根據首選軸（preferred axes）的前兩個主成分聚類成四個網絡形成一個物體空間（object space）圖，該物體空間圖在IT內部的三個層級（後、中、前）上重複，其視圖不變性（view-invariant）逐級遞增。

進一步地，利用GAN模型證明，fc6投影到50維物體空間的信息或者482個IT細胞的神經信號已經有足夠的信息，可以解碼生成猴子看到的物體圖像。

研究摘要

眾所周知下顳葉皮層（inferotemporal cortex, IT cortex）負責物體識別，但視覺物體的表徵是如何在大腦的下顳葉皮層進行組織尚不清楚。現有的研究已經在IT cortex發現面孔、身體和場景等類別的選擇性區域。但是，大部分下顳葉皮層仍然缺乏任何已知的特化（specialization），這就提出了一個問題：主導下顳葉皮層組織的一般原理是什麼。

因此，我們使用功能磁共振成像、微刺激、電生理學和深層網絡來研究獼猴大腦下顳葉皮層的組織結構。建立了一個低維的物體空間（object space）來描述一般的目標。研究下顳葉細胞對大量目標的響應，發現單個下顳葉細胞將傳入對象投影到該空間的特定軸上。

在解剖學層面，細胞根據其首選軸（preferred axes）的前兩個主成分聚類成四個網絡，形成一個物體空間圖。該物體空間圖在三個層級階段上重複，該三個層級上視圖不變性（view-invariant）逐級遞增。並且，組成這些空間圖的細胞具有充分的編碼能力，可以近似重構出物體對象。本研究結果提供了一個統一的下顳葉組織圖，其中類別選擇區域是物體空間粗映射的一部分，物體空間的維度可以從深度網絡中提取。

文中圖例講解

圖1：微刺激揭示了下顳葉皮層的一個新的解剖網絡

圖1a是下顳葉皮層中5種已知網絡（臉、身體、景、顏色 、3D）的刺激圖片（紅色框）與對照組圖片（藍色框）。

圖1b是猴子M1的大腦右半球示意圖。該示意圖顯示出在這個猴子M1的5種已知的下顳葉網絡。利用微刺激，對圖中x所在腦區進行電刺激，發現了三個 「no man’s land無主之地」NML 1,2,3（如圖b黃色區域）。實驗發現，受刺激區域（NML2）與下顳葉的另外兩個離散區域（NML1，NML3）相連，在「無主之地」形成一個先前未知的網絡。注意，圖中黃色和洋紅色的虛線框分別表示TE和TEO腦區。

圖2：下顳葉皮層中四個不同網絡對不同對象的偏好

圖2a表示兩隻猴子（M1和M2）在『無主之地』記錄的對動物，汽車，臉部，蔬菜，房子，物體等6類圖片的神經響應。在NML1,2,3三個區塊的神經響應非常一致，響應最大（Most）的5個圖片分別用紅色數字在圖中標出並展示出來，響應最小（Least）的5個圖片也都呈現出來。

圖2b表示兩隻猴子的三個身體網絡對動物身體圖片的偏好響應最大。

圖2c表示臉部網絡對臉部的偏好響應最大。

圖2d表示三個粗壯網絡（stubby）對粗壯物體的響應最大。

圖2e表示由猴子M1電生理確定的5個最大喜好物體與5個最小喜好物體，分別在四隻猴子含有NML1、NML2和NML3區塊的冠狀面上顯示激活響應的差異。其中，藍色區域表示猴子M1在NML2區塊的微刺激。

圖2f記錄NML網絡的NML2和NML3區塊在縱橫比、曲率和方向上變化的線段的細胞響應。縱橫比的響應方差佔平均跨細胞的22.8%，曲率佔方差的5.6%，方向佔方差的3.5%。結果表明：NML網絡對高縱橫比的偏好響應最強

圖3：不同層級的網絡的神經元響應的視圖不變性逐級遞增

圖3a每一行分別展示NML網絡的三個區塊（頂部），身體網絡的三個區塊（中間）和粗壯網絡的兩個區塊（底部）在猴子M1和M2之間的群體相似矩陣。根據每個區塊細胞對88種刺激（8個視角×前11個喜歡的物體對象）的響應，計算出88×88的相關係數矩陣。不同視角下的物體的群體相似矩陣（11x11小矩陣）也顯示了視圖不變性的增加，在NML3相似矩陣中出現了平行的對角線，說明NML3的試圖不變性非常大。

圖3b分別記錄在NML（頂圖）、身體網絡（中間圖）和粗壯網絡（底圖）對51個物體對象在24個視角中的響應。每個響應矩陣下面顯示了最偏好物體對象的四個不同視圖。比如NML網絡偏好不同角度的飛機，身體網絡偏好鵝的身體，粗壯網絡偏好方塊籃子。

圖3c分別從NML網絡（頂圖）、身體網絡（中間圖）和粗壯網絡（底圖）的多個神經元上記錄的響應，作為沿偏好坐標的距離的函數。橫坐標被重新縮放，使得範圍[-1,1]覆蓋95%的刺激。其中，一半的刺激試驗被用來計算每個細胞的偏好坐標，而保留的另一半數據則被用來繪製圖3c所示的響應。該圖說明與線性模型的高解釋方差一致，不同網絡的細胞沿著首選軸的調諧呈斜坡狀(ramp-shaped tuning)

圖4：功能核磁共振影像揭示物體空間圖

圖4a為物體空間的前兩個主成分（PCs）上的物體對象示意圖。橫坐標為粗壯到尖銳，縱坐標為有生命到無生命的，矩形框中的刺激被用於映射Fig4c，d中所示的四個網絡。

圖4b展示電生理實驗中使用的所有刺激投射到物體空間的前兩個維度（灰色圓圈）。對於每個網絡，標記出四種網絡的神經元響應所對應的前100個最大偏好的圖像在PC空間的位置（身體網絡：綠色；臉部網絡：藍色；stubby網絡：洋紅色；NML網絡：橙色）。括號中的數字表示每個網絡中記錄的神經元的數量。

圖4c分別從猴子M3和M4的後(posterior)、中(middle)、前(anterior)下顳葉的冠狀面顯示四個網絡的空間排列。可以發現：不同猴子這些空間排列非常相似。

圖4d將圖4c顯示的猴子M3和M4四個神經網絡覆蓋在左半球的平面圖上。進一步看出它們具有非常近似的空間排列。

圖4e、f、g分別對空間分布進行量化，顯示出後(posterior)、中(middle)、前(anterior)下顳葉皮層的歸一化皮層距離對應的歸一化響應，以及根據物體空間的象限序列所繪製的峰值響應對應的解剖歸一化皮層距離。得到發現：無論是後，中，前下顳葉皮層，它們都遵從身體-面部-粗壯-NML的空間距離序列。

討論圖5前我們需要先介紹拓展圖11，以及它裡面用到的算法。

拓展圖11 （ExFig11）大型輔助物體資料庫中物體解碼與圖像恢復

ExFig11a為解碼模型的示意圖。為了構建和測試該模型，這裡使用了m個記錄細胞對n個圖像的響應。這裡使用了leave-one-out交叉驗證方法學習從響應到特徵值的線性變換。

ExFig11b繪製物體空間第一個主成分的實際特徵值對應的模型預測值。

ExFig11c根據四個神經群體的反應，使用線性回歸法解釋所有50個維度的差異百分比。其中，每個維度的方差解釋表明，在前兩個維度之外的每個網絡中都有許多維度被編碼。

ExFig11d是關於圖ExFig11c中四個相同神經群體的刺激集隨機抽取的物體圖像數量關於解碼精度的函數。虛線表示偶然性表現（chance performance）。

ExFig11e是關於圖ExFig11c中四個相同神經群體隨機抽取的細胞數對40幅圖像的解碼精度。

ExFig11f顯示了用於物體圖像參數化的主成分數量與40幅圖像解碼精度的函數關係。

ExFig11g顯 示三種歸一化距離情況下的成對對象。在每對圖像中，左側為原始圖像，右側為使用神經數據的重建圖像。

ExFig11h表示預測特徵向量與重建特徵向量之間的距離歸一化分布。

ExFig11i表示特定指數（Specialization Indices）SIij在NML（左）、body（中）和stubby（右）網絡物體間的分布。

圖5：利用GAN重構物體對象

重構物體對象主要是為了研究構成物體空間圖的四個網絡中由細胞表示的特徵空間的豐富性。為了更直觀地顯示這四個網絡中神經元所攜帶的對象特徵信息，作者嘗試利用神經元活動來重建物體對象，他們通過一個生成對抗網絡（GAN）傳遞解碼後的對象特徵向量（PCs），用於反轉AlexNet的fc6層。

圖5a的每行四幅圖像從左到右依次表示：原始圖像；使用fc6對原始圖像的響應模板(pattern)重構的圖像；使用投射到50維物體空間的fc6響應模板重構的圖像；基於神經元數據的重構圖像。

圖5b顯示了實際重構和最佳重構之間的歸一化距離分布。紅色表示重構較好的圖像，黑色表示重構距離適中的圖像，藍色表示重構距離較大的圖像。

原文討論

這篇文章證明了下顳葉包含一個被重複三次的物體空間的粗糙圖（coarse map），並且視圖不變性（view-invariant）逐次遞增。該物體空間圖至少包含四個網絡區域（身體網絡，臉部網絡，粗壯網絡和NML），並且這四個網絡的單個細胞都使用同一個編碼原理投影到對應的偏好坐標軸，其中NML網絡表現出對高縱橫比的偏好響應最強。

研究表明四個網絡的pooling responses以及AlexNet fc6特徵響應能夠合理地重構一般物體，因此假定這四個網絡構造了提供跨越一般物體空間的基礎。目前針對下顳葉皮層的物體識別區域研究，包括先前的研究網絡（場景、顏色和視差網絡）及該研究構成的下顳葉object-topic map四個網絡，加上，約佔下顳葉皮層的53%。剩下的區域仍有待進一步的研究。

Reference:

Bao, P., She, L., McGill, M., & Tsao, D. Y. (2020). A map of object space in primate inferotemporal cortex. Nature, 1-6.

寫作：NCC lab 梁智超

校對：劉泉影