聯合獨立成分分析(jICA)模型和轉置獨立向量分析(tIVA)模型是基於盲源分離(BSS)的兩個有效解決方案,它們能夠以對稱且完全多變量的方式融合來自多模態的數據。本期特刊中的前一篇文章討論了這兩個模型的實現的屬性和主要問題。在本文中,我們考慮將這兩種模型應用於多模態醫學影像數據的融合,這些數據來自於一組健康對照精神分裂症患者執行聽覺奇怪的任務的 V 磁共振成像(fMRI),結構 MRI(sMRI)和腦電圖(EEG)數據。我們將展示兩種模型如何用於識別一組用於研究中使用的所有方法的組件,這些組件共同報告兩組之間的差異。我們討論了算法和順序選擇的重要性,以及在選擇一種模型時要權衡取捨的問題。我們注意到,對於選定的數據集,特別是考慮到可供研究的學科數量有限,jICA 提供了更理想的解決方案,但是使用 ICA 算法(使用靈活的密度匹配)比使用最廣泛的算法 Infomax 更具優勢,對於問題。
關鍵字:數據融合;腦電圖(EEG);功能磁共振成像(fMRI)
在醫學領域,從同一參與者獲得多種大腦成像方式已成為一種普遍的做法。在不同給定問題的不同方式報告中,包含共同的或互補的以及截然不同的信息。因此,特別有趣的是利用在不同模式之間通用信息以使它們能夠進行完整的交互以進行推理是一件特別有趣的事。考慮到來自多種模式的數據已經使用了一段時間,因此該領域特別活躍就不足為奇了。儘管大多數早期方法和當今許多方法本質上都是集成的,其中一種方法用於約束另一種方法,但最近的重點已轉向可實現真正融合的方法,其中不同的方法可以相互影響,因此可以充分利用各種模式之間存在的「交叉信息」。
基於潛在變量分析的方法使用矩陣或張量表示將可用的多峰數據分解為因子/分量以解釋關係,因此都是多變量和數據驅動的。儘管耦合或連結的張量分解,字典學習或非負矩陣分解也可以實現這種分解,但是它們在醫學圖像融合中的應用受到了限制。另一方面,基於盲源分離(BSS)的技術已在多峰醫學圖像融合中得到廣泛使用。之所以具有吸引力,是因為它們能夠以很少的假設來生成有用的分解,並且通常不需要為唯一性引入其他約束。
本文引入的聯合獨立成分分析(jICA)模型已在 Fusion ICA 工具箱中實現,並廣泛用於融合多種醫學成像模式,包括功能磁共振成像(fMRI)和腦電圖(EEG),遺傳和 fMRI,結構 MRI(sMRI)和 EEG,心臟功能和結構成像數據(電流密度成像和擴散張量成像),功能近紅外光譜和 fMRI,擴散張量成像和 fMRI,EEG 和肌電圖(EMG),正電子發射斷層掃描和 sMRI 數據等等。
另外兩種多元方法,規範相關分析(CCA)和偏最小二乘(PLS),也可以提供兩個數據集的完全交互作用,並且可以使用二階統計量(SOS)進行融合,而不是使用高階統計量(HOS)在 ICA 中考慮過。兩者均已應用於多模式醫學成像數據和 CCA 的融合,其中的重點主要在於兩種功能成像模式(EEG 和 fMRI)的關聯。CCA 擴展到多個數據集,多集 CCA(MCCA)已用於跨 fMRI,EEG 和 sMRI 三種模式查找關聯,並執行同時獲取的 EEG 和 fMRI 數據的融合。 此外,後一種問題也已通過使用 PLS 擴展到多集數據得到解決。另一方面,當將 jICA 應用於三種模態的融合時,跨三種模態的共同協方差是一個嚴重的約束。
在上文中,我們介紹了轉置獨立向量分析(tIVA)模型,作為提出的基於 MCCA 的模型的擴展,並研究了 tIVA 和 jICA 的特性,jICA 已廣泛應用於多模式醫學圖像數據的融合。通過將 ICA 概括為多個數據集,IVA 可以將 HOS 合併到基於 MCCA 的模型中,並且如多個仿真示例所示,它可以提供與已廣泛使用的 jICA 模型相比的優勢。在本文中,我們使用從健康對照和精神分裂症患者中執行聽覺奇異球(AOD)任務收集的 fMRI,sMRI 和 EEG 數據,並證明兩種模型 jICA 和 tIVA 在該數據集上的應用。在此過程中,我們將重新考慮算法和順序選擇等主要注意事項,並討論實現細節。我們解決了醫學領域驗證的難題,並希望為這兩個模型以及其他模型(例如 MCCA + jICA 模型)的應用提供指導[36]。我們表明,對於給定的數據集,jICA 模型可能優於 tIVA,對於 jICA,使用具有自適應密度匹配能力的靈活 ICA 算法(如熵界最小化(EBM)算法)更可取。而不是通常用於 jICA 的 Infomax 算法[38]。
1)最穩定運行的選擇:除了 CCA 和 MAXVAR 之外,所有算法都是迭代類型的,因此,重要的是要確保我們使用多次運行評估給定算法的一致性,並確定代表一致估計的結果用作最終輸出,這是通過多次運行算法並確定我們所謂的最佳運行來實現的。我們使用最小生成樹(MST)方法,並在 fMRI(GIFT)的工具箱 ICA 組中實現了該任務。該方法為每對運行生成一個矩陣,矩陣的元素為 1 減去這些運行的估計分量之間的相關係數。找到在兩次運行之間對齊源的最低成本,然後構建一個圖形,其中包含與運行相對應的節點和與運行最低對齊成本相對應的邊。為該圖生成一個帶有相應中心節點的 MST。由於該方法最初是針對 ICA 提出的,因此可以直接應用於 jICA 的空間級聯「聯合」組件。對於 tIVA 模型,組件(空間圖)基於相應配置文件之間的相關性符號進行對齊,這樣,只要給定模態的相關性為負,則將估算組件和該組件的相應配置文件相乘加 1。我們為每種迭代方法使用了十次運行,並使用了每次運行的對齊組件之間的平均成對相關性來評估給定算法的一致性。
2)感興趣部件的選擇:由於我們使用的數據來自患者和對照組,因此我們可以使用融合結果來識別兩組之間的差異。對於 fMRI,這些是空間激活圖,ERP 的響應以及 sMRI 的結構圖,反映了 fMRI 和 sMRI 情況的增加/減少(分別在激活水平和灰質體積上),以及與預期的 ERP 的偏差。在腦電數據的情況下給定任務。為了確定感興趣的組件,我們對兩組的配置文件的負荷(值)執行了 2 個樣本的 t 檢驗,並確定了通過給定顯著性閾值的樣本。對應於通過 t 檢驗測得顯示出顯著差異的輪廓的組件,然後產生給定模態的融合結果。因此,t 統計量的符號確定患者或對照組的成分激活率是否更高。我們使用 0.05 的 p 值作為閾值來確定候選分量圖,並且無需進行校正即可生成大量候選分量作為感興趣的分量。我們保留了 fMRI,sMRI 和 ERP 的最重要的五個組件,它們對應於 p 值超過此顯著性水平(即 p 值小於 0.05)的配置文件。然後使用關於空間和時間分量的屬性的先驗信息進一步評估這些分量,以識別出感興趣的最終分量。另一方面,預計 ERP 組件將具有平滑的響應,通常具有與圖 1 所示的平均 ERP(例如 N1,N2 和 P3)的峰值一致的峰值,以及估計的 ERP 組件。為了補充此信息,在聯合 BSS 框架中,單個模式 ICA 的結果也很有幫助,因為它們為評估結果提供了指導。我們使用 Infomax 和 EBM 進行了單模態分析。
3)順序選擇與其他處理步驟:另一個重要的考慮因素是平衡每種模態對融合結果貢獻的最佳方法,這對於 jICA 模型尤為重要。由於數據集的維數顯著不同,對於 jICA 模型,為平衡每個數據集的貢獻,ERP 數據重複了 100 次。ERP 的簡單內插法也產生了相同的結果。在 jICA 中執行此步驟之後,對於 tIVA 的原始數據,將來自每個模態的數據歸一化為具有零均值和單位方差。為了能夠比較模型和兩個或三個模態結果,為所有結果選擇一個順序,此決策基於使用信息理論標準的指導以及對穩定性和質量的評估。
1)jICA 結果:在圖 1 中,我們顯示了 Infomax 和 EBM 的 jICA 結果,其中我們還給出了估計分量的重要性及其一致性的值。首先,我們注意到兩個算法中兩個組件的相似性,然後,與由 Infomax 相比,就 EBM 產生的組差異而言,這些組件的重要性更高。使用保守的 Bonferroni 校正,EBM 估計的最高有效成分甚至可以超過統計顯著性的閾值。事實證明,EBM 僅產生兩個重要組成部分,而對於 Infomax,有兩個附加組成部分在物理上沒有意義,即使它們在統計上也很重要,這一事實進一步證明了這一點。另一方面,與 Infomax 相比,EBM 的一致性較低,這是可以預期的,因為 Infomax 使用固定的非線性,而 EBM 使用自適應方法進行密度匹配。在圖 1 中,最上面的部分標識與 N2 相關的運動執行區域(前部)的變化(也類似於 N2 / P3 複合體),第二部分標識運動計劃區域和運動的差異(運動執行前)以及一些與 N1 高峰相關的丘腦。這些區域和 ERP 偏差對應於先前也已指出在精神分裂症中受影響的區域。
2)tIVA 結果:在圖 4 中,我們顯示了使用 tIVA 模型與 tMCCA-MAXVAR,tMCCA-GENVAR 和 tIVA-G 融合三種模態的結果。首先,請注意,由於配置文件矩陣並不限於所有模態都相同,並且每個模態都有一個單獨的配置文件矩陣,因此我們現在可以估算在所有三個模態中都不重要的分量,對於 tIVA-G,唯一估計的成分是 fMRI-ERP 對。在這些結果中,我們看到與圖 1 所示的 Infomax 和 EBM 最重要的 V 對應。 GENVAR 上方顯示的組件和使用 IVA-G 檢測到的唯一重要組件在 fMRI 中顯示出相似的差異,並且受影響的 ERP 組件具有與 N2 / P3 複合體相似的特徵。但是在 tMCCA-GENVAR 的情況下,患者的功能改變區域活動減少和灰質減少區域分為兩個部分,其中一個與 sMRI 關聯更強。由於 tMCCA-GENVAR 和 tIVA-G 使用相同的成本函數,並且對混合矩陣的約束條件有所不同(對於 MCCA 是正交的),因此結果更加相似也就不足為奇了,事實上,變化的合併區域兩個 GENVAR 成分的 fMRI 與使用 IVA-G 估算單個成分的 fMRI 結果非常相似,這也可以更好地估算 N2 / P3 樣複合物。 MAXVAR 成本僅考慮了最大特徵值,因此僅估算了連結所有這三種模態的單個有效分量,而 GENVAR / IVA-G 成本則考慮了源分量矢量矩陣的所有特徵值,從而提供了更為均衡的平衡數據集中潛在的公共成分的表示,即組差異。此外,IVA-G 是其中受約束最少的方法,並且是產生重要單個成分的方法,而 sMRI 差異不是此結果的一部分,因為作為一種方式,sMRI 與其他方法的連接最弱仿真結果中也提到了兩種方式。
3)順序選擇:我們注意到,對於 jICA 模型,使用信號子空間的建議階數在所有三種模態中均為 14,對於 fMRI-ERP 為 9,對於 fMRI-sMRI 為 32,對於 sMRI-ERP 為 32。通常,這些值遵循與使用 jICA 方式組合確定的重要成分數量相似的趨勢,因為與使用 fMRI-ERP 和所有三種方式相比,fMRI-sMRI 和 sMRI-ERP 組合產生的重要成分更多。另一方面,對於 tIVA 模型,[53]的關節順序選擇方案表明 fMRI ERP 和 fMRI-sMRI 兩種組合的關節成分數目相似,分別為 3 和 4,建議數目較小, ,用於 sMRI ERP 組合。該發現還與使用 tIVA 模型的方法檢測到的重要成分的數量相關,其中,對於 fMRI-ERP,發現了 2 至 4 個重要成分,對於 fMRI-sMRI,發現了 4 至 5 個重要成分,以及使用 sMRI-ERP 發現了兩個和三個組件。由於這兩種方式的性質存在較大差異,因此也有望通過 sMRI 和 ERP 組合對最小順序進行一致檢測。因此,順序選擇,尤其是公共和特定於模態的子空間的順序選擇,為執行多模態數據的探索性分析提供了另一種有希望的方式。
本在本文中,我們研究了 jICA 和 tIVA 模型在執行 AOD 任務時融合從兩組收集的數據的應用。我們使用這兩種模型在模態之間進行了三向融合以及雙向和單模態分解,並研究了它們之間的關係。
本文由南京大學軟體學院 2020 級博士生葛修婷翻譯轉述。