面向醫學成像應用的基於源分離的多模態數據融合

2020-09-16 慕測科技


摘要:

聯合獨立成分分析(jICA)模型和轉置獨立向量分析(tIVA)模型是基於盲源分離(BSS)的兩個有效解決方案,它們能夠以對稱且完全多變量的方式融合來自多模態的數據。本期特刊中的前一篇文章討論了這兩個模型的實現的屬性和主要問題。在本文中,我們考慮將這兩種模型應用於多模態醫學影像數據的融合,這些數據來自於一組健康對照精神分裂症患者執行聽覺奇怪的任務的 V 磁共振成像(fMRI),結構 MRI(sMRI)和腦電圖(EEG)數據。我們將展示兩種模型如何用於識別一組用於研究中使用的所有方法的組件,這些組件共同報告兩組之間的差異。我們討論了算法和順序選擇的重要性,以及在選擇一種模型時要權衡取捨的問題。我們注意到,對於選定的數據集,特別是考慮到可供研究的學科數量有限,jICA 提供了更理想的解決方案,但是使用 ICA 算法(使用靈活的密度匹配)比使用最廣泛的算法 Infomax 更具優勢,對於問題。

關鍵字:數據融合;腦電圖(EEG);功能磁共振成像(fMRI)

1、背景

在醫學領域,從同一參與者獲得多種大腦成像方式已成為一種普遍的做法。在不同給定問題的不同方式報告中,包含共同的或互補的以及截然不同的信息。因此,特別有趣的是利用在不同模式之間通用信息以使它們能夠進行完整的交互以進行推理是一件特別有趣的事。考慮到來自多種模式的數據已經使用了一段時間,因此該領域特別活躍就不足為奇了。儘管大多數早期方法和當今許多方法本質上都是集成的,其中一種方法用於約束另一種方法,但最近的重點已轉向可實現真正融合的方法,其中不同的方法可以相互影響,因此可以充分利用各種模式之間存在的「交叉信息」。

​ 基於潛在變量分析的方法使用矩陣或張量表示將可用的多峰數據分解為因子/分量以解釋關係,因此都是多變量和數據驅動的。儘管耦合或連結的張量分解,字典學習或非負矩陣分解也可以實現這種分解,但是它們在醫學圖像融合中的應用受到了限制。另一方面,基於盲源分離(BSS)的技術已在多峰醫學圖像融合中得到廣泛使用。之所以具有吸引力,是因為它們能夠以很少的假設來生成有用的分解,並且通常不需要為唯一性引入其他約束。

本文引入的聯合獨立成分分析(jICA)模型已在 Fusion ICA 工具箱中實現,並廣泛用於融合多種醫學成像模式,包括功能磁共振成像(fMRI)和腦電圖(EEG),遺傳和 fMRI,結構 MRI(sMRI)和 EEG,心臟功能和結構成像數據(電流密度成像和擴散張量成像),功能近紅外光譜和 fMRI,擴散張量成像和 fMRI,EEG 和肌電圖(EMG),正電子發射斷層掃描和 sMRI 數據等等。

另外兩種多元方法,規範相關分析(CCA)和偏最小二乘(PLS),也可以提供兩個數據集的完全交互作用,並且可以使用二階統計量(SOS)進行融合,而不是使用高階統計量(HOS)在 ICA 中考慮過。兩者均已應用於多模式醫學成像數據和 CCA 的融合,其中的重點主要在於兩種功能成像模式(EEG 和 fMRI)的關聯。CCA 擴展到多個數據集,多集 CCA(MCCA)已用於跨 fMRI,EEG 和 sMRI 三種模式查找關聯,並執行同時獲取的 EEG 和 fMRI 數據的融合。 此外,後一種問題也已通過使用 PLS 擴展到多集數據得到解決。另一方面,當將 jICA 應用於三種模態的融合時,跨三種模態的共同協方差是一個嚴重的約束。

在上文中,我們介紹了轉置獨立向量分析(tIVA)模型,作為提出的基於 MCCA 的模型的擴展,並研究了 tIVA 和 jICA 的特性,jICA 已廣泛應用於多模式醫學圖像數據的融合。通過將 ICA 概括為多個數據集,IVA 可以將 HOS 合併到基於 MCCA 的模型中,並且如多個仿真示例所示,它可以提供與已廣泛使用的 jICA 模型相比的優勢。在本文中,我們使用從健康對照和精神分裂症患者中執行聽覺奇異球(AOD)任務收集的 fMRI,sMRI 和 EEG 數據,並證明兩種模型 jICA 和 tIVA 在該數據集上的應用。在此過程中,我們將重新考慮算法和順序選擇等主要注意事項,並討論實現細節。我們解決了醫學領域驗證的難題,並希望為這兩個模型以及其他模型(例如 MCCA + jICA 模型)的應用提供指導[36]。我們表明,對於給定的數據集,jICA 模型可能優於 tIVA,對於 jICA,使用具有自適應密度匹配能力的靈活 ICA 算法(如熵界最小化(EBM)算法)更可取。而不是通常用於 jICA 的 Infomax 算法[38]。

2、實驗方案

1)最穩定運行的選擇:除了 CCA 和 MAXVAR 之外,所有算法都是迭代類型的,因此,重要的是要確保我們使用多次運行評估給定算法的一致性,並確定代表一致估計的結果用作最終輸出,這是通過多次運行算法並確定我們所謂的最佳運行來實現的。我們使用最小生成樹(MST)方法,並在 fMRI(GIFT)的工具箱 ICA 組中實現了該任務。該方法為每對運行生成一個矩陣,矩陣的元素為 1 減去這些運行的估計分量之間的相關係數。找到在兩次運行之間對齊源的最低成本,然後構建一個圖形,其中包含與運行相對應的節點和與運行最低對齊成本相對應的邊。為該圖生成一個帶有相應中心節點的 MST。由於該方法最初是針對 ICA 提出的,因此可以直接應用於 jICA 的空間級聯「聯合」組件。對於 tIVA 模型,組件(空間圖)基於相應配置文件之間的相關性符號進行對齊,這樣,只要給定模態的相關性為負,則將估算組件和該組件的相應配置文件相乘加 1。我們為每種迭代方法使用了十次運行,並使用了每次運行的對齊組件之間的平均成對相關性來評估給定算法的一致性。

2)感興趣部件的選擇:由於我們使用的數據來自患者和對照組,因此我們可以使用融合結果來識別兩組之間的差異。對於 fMRI,這些是空間激活圖,ERP 的響應以及 sMRI 的結構圖,反映了 fMRI 和 sMRI 情況的增加/減少(分別在激活水平和灰質體積上),以及與預期的 ERP 的偏差。在腦電數據的情況下給定任務。為了確定感興趣的組件,我們對兩組的配置文件的負荷(值)執行了 2 個樣本的 t 檢驗,並確定了通過給定顯著性閾值的樣本。對應於通過 t 檢驗測得顯示出顯著差異的輪廓的組件,然後產生給定模態的融合結果。因此,t 統計量的符號確定患者或對照組的成分激活率是否更高。我們使用 0.05 的 p 值作為閾值來確定候選分量圖,並且無需進行校正即可生成大量候選分量作為感興趣的分量。我們保留了 fMRI,sMRI 和 ERP 的最重要的五個組件,它們對應於 p 值超過此顯著性水平(即 p 值小於 0.05)的配置文件。然後使用關於空間和時間分量的屬性的先驗信息進一步評估這些分量,以識別出感興趣的最終分量。另一方面,預計 ERP 組件將具有平滑的響應,通常具有與圖 1 所示的平均 ERP(例如 N1,N2 和 P3)的峰值一致的峰值,以及估計的 ERP 組件。為了補充此信息,在聯合 BSS 框架中,單個模式 ICA 的結果也很有幫助,因為它們為評估結果提供了指導。我們使用 Infomax 和 EBM 進行了單模態分析。

3)順序選擇與其他處理步驟:另一個重要的考慮因素是平衡每種模態對融合結果貢獻的最佳方法,這對於 jICA 模型尤為重要。由於數據集的維數顯著不同,對於 jICA 模型,為平衡每個數據集的貢獻,ERP 數據重複了 100 次。ERP 的簡單內插法也產生了相同的結果。在 jICA 中執行此步驟之後,對於 tIVA 的原始數據,將來自每個模態的數據歸一化為具有零均值和單位方差。為了能夠比較模型和兩個或三個模態結果,為所有結果選擇一個順序,此決策基於使用信息理論標準的指導以及對穩定性和質量的評估。

3、實驗評估

1)jICA 結果:在圖 1 中,我們顯示了 Infomax 和 EBM 的 jICA 結果,其中我們還給出了估計分量的重要性及其一致性的值。首先,我們注意到兩個算法中兩個組件的相似性,然後,與由 Infomax 相比,就 EBM 產生的組差異而言,這些組件的重要性更高。使用保守的 Bonferroni 校正,EBM 估計的最高有效成分甚至可以超過統計顯著性的閾值。事實證明,EBM 僅產生兩個重要組成部分,而對於 Infomax,有兩個附加組成部分在物理上沒有意義,即使它們在統計上也很重要,這一事實進一步證明了這一點。另一方面,與 Infomax 相比,EBM 的一致性較低,這是可以預期的,因為 Infomax 使用固定的非線性,而 EBM 使用自適應方法進行密度匹配。在圖 1 中,最上面的部分標識與 N2 相關的運動執行區域(前部)的變化(也類似於 N2 / P3 複合體),第二部分標識運動計劃區域和運動的差異(運動執行前)以及一些與 N1 高峰相關的丘腦。這些區域和 ERP 偏差對應於先前也已指出在精神分裂症中受影響的區域。

2)tIVA 結果:在圖 4 中,我們顯示了使用 tIVA 模型與 tMCCA-MAXVAR,tMCCA-GENVAR 和 tIVA-G 融合三種模態的結果。首先,請注意,由於配置文件矩陣並不限於所有模態都相同,並且每個模態都有一個單獨的配置文件矩陣,因此我們現在可以估算在所有三個模態中都不重要的分量,對於 tIVA-G,唯一估計的成分是 fMRI-ERP 對。在這些結果中,我們看到與圖 1 所示的 Infomax 和 EBM 最重要的 V 對應。 GENVAR 上方顯示的組件和使用 IVA-G 檢測到的唯一重要組件在 fMRI 中顯示出相似的差異,並且受影響的 ERP 組件具有與 N2 / P3 複合體相似的特徵。但是在 tMCCA-GENVAR 的情況下,患者的功能改變區域活動減少和灰質減少區域分為兩個部分,其中一個與 sMRI 關聯更強。由於 tMCCA-GENVAR 和 tIVA-G 使用相同的成本函數,並且對混合矩陣的約束條件有所不同(對於 MCCA 是正交的),因此結果更加相似也就不足為奇了,事實上,變化的合併區域兩個 GENVAR 成分的 fMRI 與使用 IVA-G 估算單個成分的 fMRI 結果非常相似,這也可以更好地估算 N2 / P3 樣複合物。 MAXVAR 成本僅考慮了最大特徵值,因此僅估算了連結所有這三種模態的單個有效分量,而 GENVAR / IVA-G 成本則考慮了源分量矢量矩陣的所有特徵值,從而提供了更為均衡的平衡數據集中潛在的公共成分的表示,即組差異。此外,IVA-G 是其中受約束最少的方法,並且是產生重要單個成分的方法,而 sMRI 差異不是此結果的一部分,因為作為一種方式,sMRI 與其他方法的連接最弱仿真結果中也提到了兩種方式。

3)順序選擇:我們注意到,對於 jICA 模型,使用信號子空間的建議階數在所有三種模態中均為 14,對於 fMRI-ERP 為 9,對於 fMRI-sMRI 為 32,對於 sMRI-ERP 為 32。通常,這些值遵循與使用 jICA 方式組合確定的重要成分數量相似的趨勢,因為與使用 fMRI-ERP 和所有三種方式相比,fMRI-sMRI 和 sMRI-ERP 組合產生的重要成分更多。另一方面,對於 tIVA 模型,[53]的關節順序選擇方案表明 fMRI ERP 和 fMRI-sMRI 兩種組合的關節成分數目相似,分別為 3 和 4,建議數目較小, ,用於 sMRI ERP 組合。該發現還與使用 tIVA 模型的方法檢測到的重要成分的數量相關,其中,對於 fMRI-ERP,發現了 2 至 4 個重要成分,對於 fMRI-sMRI,發現了 4 至 5 個重要成分,以及使用 sMRI-ERP 發現了兩個和三個組件。由於這兩種方式的性質存在較大差異,因此也有望通過 sMRI 和 ERP 組合對最小順序進行一致檢測。因此,順序選擇,尤其是公共和特定於模態的子空間的順序選擇,為執行多模態數據的探索性分析提供了另一種有希望的方式。

4、結論

​ 本在本文中,我們研究了 jICA 和 tIVA 模型在執行 AOD 任務時融合從兩組收集的數據的應用。我們使用這兩種模型在模態之間進行了三向融合以及雙向和單模態分解,並研究了它們之間的關係。

本文由南京大學軟體學院 2020 級博士生葛修婷翻譯轉述。

相關焦點

  • 基於互信息的多模態數據融合
    摘要多模態可視化旨在融合不同的數據集,從而為用戶提供更多的信息。為此本文中我們提出了一種新的資訊理論方法,該方法從兩個數據集中自動選擇信息量最大的體素。其中融合標準基於兩個輸入數據集間的信息通道,該通道允許我們量化與每個強度值相關聯的信息。該方法已經集成到一個通用框架中,並在不同的醫學數據集上進行了評估。
  • 基於連結獨立成分分析的多模態數據融合
    摘要近些年來,神經影像學研究逐漸使用多種形式的數據,並分別在每種形式中尋找與一些疾病相關的變化。這種方式一個主要的難點在於如何找到系統性的方法,將這些不同的數據類型融合在一起,以自動發現多模態中相關變化模式。
  • 基於深度學習的多模態數據融合研究
    關鍵字:數據融合;腦電圖(EEG);功能磁共振成像(fMRI)1、背景最近,許多異構網絡已經成功地部署在低層和高層應用程式中,包括物聯網,車聯網和社交網絡。與傳統大數據類似,多模態大數據具有高容量、多樣性、速度和準確性。但是,多模態大數據的多樣性比其更為突出。特別是,多模態大數據由幾種模態組成,這些模態包含與每種模態無關的分布所涉及的相同事物的部分描述,模態之間也存在複雜的相關性,隱藏在模態和跨模態中的融合表示的完整模型可以進一步提高各種多模態應用程式的性能。
  • 多模態數據融合挑戰
    我們用 "模態 "一詞來表示每一種這樣的獲取框架。由於自然現象及其發生環境的豐富特徵,單一模態能夠提供有關現象的完整知識是非常罕見的。越來越多的幾種模態同時出現,帶來了新的自由度。本文的目的是在概念層面提出多模態數據融合的各種挑戰,而不是側重於任何具體的模式、方法或應用。
  • 人工智慧在醫學影像中的應用研究——超聲跨模態影像分析
    多模態醫療影像分析技術的最新進展 醫療影像中有著豐富的多模態信息。多模態醫療影像分析可以大致分為幾個方向:缺失多模態影像生成、多模態影像融合與配準以及基於多模態影像的自動診斷等。 缺失多模態影像生成是醫療影像分析的一大重點。
  • 「聯」音|人工智慧在醫學影像中的應用研究—超聲跨模態影像分析
    多模態醫療影像分析技術的最新進展醫療影像中有著豐富的多模態信息。多模態醫療影像分析可以大致分為幾個方向:缺失多模態影像生成、多模態影像融合與配準以及基於多模態影像的自動診斷等。缺失多模態影像生成是醫療影像分析的一大重點。
  • 面向多模態情感數據分析的智能框架
    在這一領域進行的越來越多的研究,加上信號處理和人工智慧的進步,導致了高級智能系統的發展,該系統旨在檢測和處理包含在多模態源中的情感信息。然而,大多數這種最先進的框架依賴於處理單一模態,即文本、音頻或視頻。
  • 用於分類和識別的多模態高維數據融合
    對於不同的方式,分類數據的融合也存在缺點。假定已經獲得了 D 模態,就需要 D 分類器來解釋每種模態的數據。挑戰在於融合 D 分類器以提供整體分類。由於 D 模態通常並不完全彼此獨立,因此融合挑戰更加嚴峻。例如,出於至少兩個原因,PCA 和 ICA 通常無法完美地標識獨立組件。
  • 多模態數據的非剛性配準算法驗證
    摘要我們描述了對多模態數據的非剛性圖像配準方法的評估方法。黃金標準測試數據的缺乏,使得評估變得困難,因為從一個圖像到另一個圖像的真實轉換是已知的。目前,已使用不同的方法克服這個缺陷,例如,通過使用扭曲的合成數據,通過直接比較配準數據等。
  • 面向 2035 的多模態智慧網絡技術發展路線圖
    ④基於開放融合的思想,構建以「全維可定義、多模態尋址與路由、網絡智慧化、內生安全構造」為核心的多模態智慧網絡技術體系,通過網絡結構的自組織和業務的自適配來滿足未來網絡業務高效率、智慧化、高可靠、低時延與內生安全的發展需求,使網絡具備開放可擴展、可增量部署和異構融合等能力,支持網絡按需重構以及新業務的快速部署,為新型網絡發展提供持續演進動力。
  • 物理學院程茜團隊發明「多模態光聲分子成像和腫瘤診斷系統」,早期...
    有了多模態光聲分子成像技術,一切都變了稍有醫學常識的人都知道,B超技術發展到今天,可以通過密度和彈性變化很好地確定病灶整體位置和構成形狀,但依然不能精準判斷病灶的類型等,因此它並不能作為單一確診某種疾病的證據。
  • 基於深度對抗學習的多模態缺失數據補全
    摘要多模態數據在腫瘤檢測、腦部疾病診斷等臨床中有著廣泛的應用。不同的模態通常可以提供互補的信息以提高診斷表現。然而由於各種原因,實際中通常缺失一些模態。因此多模態數據通常是不完整的,這也帶來了多模態缺失數據補全問題的研究。本文中我們將其轉換為一個圖像生成任務,並提出了一種編解碼器深度神經網絡來解決這一問題。
  • 周麗芳:深度拓展圖像識別技術應用,助力數字醫學發展
    隨著成像技術的發展,如磁共振成像、計算機斷層掃描和正電子發射斷層掃描等,醫生完成相關的工作都會使用計算機輔助方法。在臨床醫學上,快速、準確的器官分割在診斷、分類、手術計劃的制定具有重要的作用。  「一種基於改進樹狀部分模型的醫學圖像自動分割方法」是周麗芳在項目《基於視頻的敏感目標跟蹤與識別方法研究》研究上的專利成果之一。
  • 重磅| 「生物醫學影像發展戰略」專輯出版
    近年來,磁共振成像在儀器技術和應用研究方面都取得了飛速的發展。超高場強、超快速和超靈敏磁共振成像等一批尖端成像技術正在走向臨床,並與大數據、人工智慧、診療一體化等其他先進技術相互滲透、相互融合。在應用研究方面,磁共振成像在腫瘤分子影像、腦功能成像、腦連接組研究等方面也正發揮著越來越重要的作用。
  • 基於協同矩陣分解的多模態數據的哈希方法
    摘要在計算機視覺和信息檢索領域,基於哈希的最近鄰搜索方法在有效和高效的大規模相似性搜索中備受矚目。以多模態數據為中心,本文研究了學習哈希函數進行跨視角的相似性搜索的問題。我們提出了一種新型的哈希方法,稱為協同矩陣分解的哈希(CMFH)。
  • 3D目標檢測多模態融合算法綜述
    在前面的一些文章中,筆者已經介紹到了多模態融合的含義是將多種傳感器數據融合。在3D目標檢測中,目前大都是將lidar和image信息做融合。在上一篇文章中,筆者介紹到了目前主要的幾種融合方法,即early-fusion,deep-fusion和late-fusion,並介紹了一種基於Late-fusion的融合方法。但是在大多數研究工作中,都是以deep-fuion的方法為主要的融合策略。
  • 生物醫學成像大科學工程主體結構封頂
    12月26日,「十三五」國家重大科技基礎設施——多模態跨尺度生物醫學成像設施(以下簡稱成像設施)項目在北京懷柔科學城實現主體結構封頂。
  • 聚焦「新基建」,當人工智慧遇上多模態融合(下)
    隱私保護和信息安全已成為新的基礎設施的基礎上,對強身份認證,並在每個場景保護的其他有效手段的需求將呈現爆發式增長,更準確,更安全,更方便的多模態生物特徵融合技術建立在身份管理和訪問控制系統的屬性,是必要的。
  • 同濟王昊奮:知識圖譜與多模態大數據時代 | 世界人工智慧大會
    )圖譜的構建,傳統的做法把將不同模態分別完成抽取並通過圖譜融合來形成最後的多模態圖譜。如圖2左半部分所示,先基於文本和圖像進行信息抽取,對於抽取得到的多個特定模態圖譜融合成多模態知識圖譜。這樣構建形成的多模態圖譜存在以下問題:源頭上並沒有考慮不同模態特徵之間的依賴和對應關係,使得最終融合的結果無法很好地刻畫多模態數據本身蘊含的各種關聯。因此,我們更進一步,使得圖譜本身一開始就具備多模態的特性。
  • 移動人群感知中多模態數據融合的兩階段空間映射方法
    然後,通過雙線性池對不同模態的表示進行融合,並將融合向量用於分類任務。通過對多模態數據集的實驗驗證,證明了多模態融合表示是有效的,分類效果比單模態數據更準確。為了讓人工智慧更好地理解我們的世界,它需要一種理解和推理多模態數據的能力。然而,不同模態數據之間存在語義上的差距,這給多模態數據的處理帶來了很大的困難。以人工智慧的代表的深度神經網絡為例,雖然目前深度神經網絡已經在各種領域中得到了廣泛的應用,但是神經網絡的數據通常由圖像和標籤等雙模態對組成,所以無法處理多模態數據。