多模態數據融合：方法、挑戰和展望

摘要：

自然現象具有的豐富特徵，因此單一的模態的信息往往難以提供對感興趣的現象的完整知識。因此，如何融合每一模態的信息，就成為了多個領域所廣泛存在的一個新的挑戰。

本文討論了兩個關鍵問題:「為什麼我們需要數據融合」和「我們如何實現它」。第一個問題由科學技術中的實際例子引發，並進一步展示了其對應的一個數學框架。而對於第二個問題，我們首先引入了「多樣性」這個概念，並討論了一些基於矩陣和張量分解的數據驅動解決方案，強調了它們如何解釋數據集之間的多樣性。

介紹：

多個數據集的聯合分析一直是廣泛研究的主題，並在 20 世紀 60 年代末至 70 年代初，隨著概念和技術的形成獲得了重大的進展，得到了如多集典型相關分析(CCA)，平行因子分析(PARACAC)，以及其他張量分解等成果。

現如今，多視圖、多關係和多模態數據的研究利用往往與高影響力的商業、社會、生物醫學、環境和軍事領域相關聯，這也使得開發新的高效分析方法的具有豐富的市場以及社會需求，並遠遠超出了純粹的學術興趣。

數據融合是一項具有挑戰性的任務。首先，數據是由非常複雜的系統生成的:生物、環境、社會學和心理學等，它們由許多潛在的過程驅動，這些過程依賴於我們無法獲得的大量變量。其次，由於多樣性的增加，可以提出的新研究問題的數量、類型和範圍可能非常大。第三，使用異構數據集，使每個數據集各自的優勢得到最大限度的利用，缺點得到抑制，並不是一項清晰容易的任務。

本文整理了數據融合中的一個比較全面(但肯定不是詳盡的)挑戰列表。作者將重點放在使用多種儀器、測量設備或採集技術觀察現象或系統的設置上。在這種情況下，每個採集框架被表示為一個模態，並且與一個數據集相關聯。整個設置，其中一個人可以訪問從多個模態獲得的數據，被稱為多模態。多模態的一個關鍵特性是互補性，也就是說，每一種模態都給整體帶來某種類型的附加值，而這種附加值是不能從設置中的任何其他模態中推導或獲得的。

定義 1.1: 多樣性(關於多模態)是一種屬性，它指代那些靠單一模態無法實現的，增強數據的用途、益處和洞察結論的屬性。

「數據融合」是一個相當分散的概念，在不同的應用和目標下有著不同的解釋。而在本文的背景下，根據我們關注的問題類型，我們的重點是以下內容。

定義 1.2: 數據融合 是對幾個數據集的分析，以便不同的數據集可以相互作用和相互產生信息的分析方法。

什麼是多模態？為什麼我們需要多模態？

在這一節中，作者試圖通過大量的實例，提供一個關於「多樣性」和「多模態「更具體的意義和理解。

A． 多感官系統

a) 試聽多模態

視聽多模態可能是最直觀的，因為它使用了我們兩種最豐富的感官。大量的視聽應用涉及人類的語言和視覺。

b) 人機互動

在人機界面中，一個重要的任務是設計使人機界面儘可能自然、高效和直觀的模式。其思想是基於聽覺視覺、觸覺、嗅覺、運動(例如，手勢檢測和用戶跟蹤)、人類語言命令的解釋和其他多感官功能來組合多種交互模式。

B． 生物醫學與健康

a) 理解大腦功能

大腦功能性研究涉及理解大腦的不同元素如何參與各種感知和認知活動。功能性腦研究在很大程度上依賴於非侵入性成像技術，其目的是重建大腦內神經元活動的高解析度時空圖像。

b) 醫學診斷

為了提高診斷、風險評估和治療選擇的性能，有必要基於廣泛的醫學診斷技術進行大量的醫學評估。例如，我們可以增加身體檢查、血液測試、活組織檢查、靜態和功能磁共振成像，以及其他參數，如遺傳、環境和個人風險因素。

c) 發展無創醫療診斷技術

例如，理解測量同一心房顫動事件的表面電極和心臟內電極之間的聯繫是一項無創醫療診斷髮展的挑戰技術，其目標是最終僅使用非侵入性方式提取相關的心房顫動活動。為此，利用心臟內模式作為參考，以指導從無創心電圖記錄中提取感興趣的心房電信號。

d) 智能患者監控

在如今，使用多種類型傳感器的健康監測越來越受到現代健康服務的關注。研究者的目標是提供一套非侵入性、價格合理的傳感器，使患者能夠正常生活，同時提供可靠的實時健康警告。

C． 環境研究

a) 遙感和地球觀測

在現實生活中，如果沒有額外的信息，對一個模態的觀察結果的可解釋性可能是困難的。例如，在非平坦條件下，我們無法僅從光學數據中準確提取材料內容信息。在研究過程中，增加一個報告地形的設備，如雷射雷達，是準確解析光譜所必需的。

b) 氣象監測

氣象分析和預報以及水文、農業和航空服務的許多應用都需要對諸如雨、水蒸氣、露水、霧和雪等大氣現象進行精確測量。數據可以從各種設備獲得，如雨量計、雷達、衛星遙感設備，最近還可以利用現有的商業微波鏈路。

c) 宇宙學

天文學和天體物理學的一項主要工作是了解我們宇宙的形成。天體物理學和宇宙學的一個主要困難是缺乏基本事實。這意味著，從一開始，宇宙學研究就不得不依賴於不同觀測結果的交叉驗證

將多模態視作多樣性的一種形式

本文所討論的例子限制在一類被稱為盲分離的問題上，並且這些例子，主要限制在可以用(多)線性關係表示的數據和觀察上。原因如下。首先，根據定義，數據驅動模型可能對許多應用有用。其次，有許多已建立的理論和許多模型適合這個框架。第三，儘管這一類型不可能涵蓋所有類型的模型，但其涵蓋範圍也遠遠超過某一特定類型。

任何分析模型的一個關鍵特性是唯一性。唯一性是實現可解釋性所必需的。

A． 數學預備知識

在現實場景中，每個觀察或測量通常由來自多個來源的貢獻組成。這些來源可以分為攜帶有價值信息的感興趣的來源和不攜帶任何感興趣信息的其他來源。後一種類型的貢獻有時被稱為噪聲或幹擾，這取決於場景和背景。考慮測量空間中的一個點 x。我們可以將其近似為

其中 z 是潛在變量空間中的點的集合。這些可以是信號、參數或有助於觀察 x 的任何其他元素，f 表示相應的變換(例如，通道效應)。

第一個也是最明顯的解釋是一個反問題，其目標是在給定 x 的情況下獲得 z 和 f 的儘可能精確的估計。我們將這一問題記為問題（1）。

B． 數據驅動 vs. 模型驅動的方法

模型驅動的方法依賴於基礎過程的明確的現實模型，並且如果假設是合理的並且模型成立，通常是成功的。然而由複雜系統生成的多模態數據集的背景下，人們對模態之間的潛在關係知之甚少。數據集和數據類型之間的交互並不總是為人所知或充分理解的。因此，本文作者更建議大家關注數據驅動的方法。

數據驅動的方法，無論是單一模式還是多模式，都已經在廣泛的問題和應用中證明是成功的。不全面的列表包括天體物理學，生物醫學，電信，視聽，化學計量學等等。

C． 單矩陣或張量分解模型的多樣性

a) 矩陣分解模型的多樣性

問題（1）可以被表示成：

更具體的說，對於任意的 i , j ，可以表示為

。

可以簡單的將其理解為，x_ij 是關於信號 R 的第 i 個傳感器在第 j 個因素下的線性組合。其矩陣形式也就可以記作：

X 為 B 提供 I 倍多樣性，為 A 提供 J 倍多樣性。不幸的是，這些類型的多樣性通常不足以檢索潛在的因子矩陣 A 和 B。因為對於任何 R×R 可逆矩陣 T，它總是認為：

我們稱此為不確定性問題，這種不確定性是問題固有的，不可避免的。

在一般的代數環境中，矩陣分解如奇異值分解(SVD)和特徵值分解(EVD)是唯一的，這類方法的思想是通過在基礎矩陣上施加正交性和在奇異值或特徵值上施加不等式，以得到某種唯一的分解。這種約束在數學上很方便，但在物理上通常不可信，因為它們產生不可解釋的結果[69]。因此，希望找到其他類型的約束，以便更好地表示數據的自然屬性。

當 X 的矩陣形式用於分析數據時，它有時被稱為因子分析（FA）。在信號處理領域，當 B 列代表信號樣本，並且目標是僅在給定觀測值 X 的情況下恢復這些信號時，矩陣形式通常與盲源分離(BSS)問題相關聯。FA 和 BSS 的目標是將 X 表示為具有可解釋因素的低等級術語的總和，其中不同之處在於所使用的假設類型。

對潛在變量的任何類型的約束或假設，只要有助於實現本質上的唯一性，都可以被視為「多樣性」。

b) 張量分解角度

在 X 的行和列中存在的兩種線性類型的多樣性不足以獲得唯一的矩陣分解。我們發現唯一性可以通過在(4)中對因子矩陣 A 和 B 施加足夠強的約束來建立。另一種方法是在不限制因子矩陣的情況下，豐富觀測領域。例如，如果由二維陣列 X 給出的兩個線性差異被解釋為空間和時間的，則有可能通過在頻域中增加第三個差異來獲得唯一性，而不對因子矩陣施加約束。

之前的模型可以被拓展為：

，向量形式也就記作：

.當這個式子成立並且在 R 是極小的意義上是不可約的時，它有時被稱為典範多元分解(CPD)。

與之前可逆矩陣不確定性不同的是，只要能夠找到矩陣 P 和三個對角矩陣滿足

，我們就可以認為因子矩陣是本質上唯一的。

矩陣分解和張量分解之間的主要區別在於，對於按比例排列的矩陣來說，共點分解實際上是「本質上唯一的」，而在雙線性情況下，不確定性是一個任意的非奇異矩陣。

在許多現實生活場景中，通常存在 N ≥ 3 個線性類型的多樣性，這使得我們無需任何進一步的假設就能保證唯一性。例如，在直接序列碼分多址通信系統中，人們可以利用(空間 × 時間 × 擴頻碼)[57]或(傳感器 × 極化 × 源信號)類型的分集；在心理測量學中，(場合 × 人 × 測試)或(觀察 × 分數 × 變量)；在化學計量學和代謝組學中，(樣品 × 頻率 × 發射譜 × 激發譜)；在偏振拉曼光譜中，(偏振 × 空間分集 × 波數)；在腦電圖中，(時間 × 頻率 × 電極)；在功能磁共振成像中，(體素 × 掃描 × 受試者)。

進一步的，本文還證明了隨著 N 的增加，可以唯一識別的秩 1 項的數目的界限變得更加寬鬆。換句話說，更多的觀察模式允許在相同的設置中識別更多的源。因此，這證明了觀測多樣性的增加提高了可識別性。將上述模型推廣到更高維度，我們可以認為 CPD 是 FA 的一種推廣，令

表示 FA 問題的 K 個實例，其中

可以視作 B 中行的縮放。則容易得到結論，張量分解是一種平行因子分析（PALAFAC）。將這種觀察與數據融合的觀點相結合，已經注意到，當所有數據集具有相同的大小並且共享相同類型的分解時，張量分解可以被視為融合和聯合分析多個觀察的數據的一種方式。

為什麼張量分解對數據融合有用？

(1)R≥1 秩-1 項的模型是可識別的

(2)確定性不足的混合是可識別的

(3)因子矩陣不必是滿秩的

(4)秩 1 項直到置換都是可識別的

(5)增加 N 允許更高 R 的唯一性

(6)為了實現唯一的分解，不需要結構約束或假設，例如統計獨立性、非負向性、稀疏性或平滑性。

D． 新多樣性形式的數據集之間的聯繫

我們展示了如何將這些屬性傳遞給更複雜的數據融合模型，以及如何將它們強化為更強的屬性，而這些屬性是使用單組單模態數據無法實現的。

a) 耦合獨立成分分析

如果同時考慮幾個這樣的數據集，而不改變每個混合物中的模型，而是允許數據集之間的統計相關性，那麼對於所有這些混合物，存在一個唯一的和可識別的解決方案，直到不可避免的規模和排列模糊性。這個模型，當不局限於高斯獨立樣本時，被稱為獨立向量分析(IVA).

圖一：IVA 模型

b) 耦合張量分解

如果所涉及的張量的階(至少一個)增加，唯一性可以進一步改善。這類似於前面提到的結果，對於單個張量，增加它的 N 階放鬆了 R 上的束縛。添加假設，如所涉及的一個循環冗餘碼的個體唯一性、共享因子 C 的全列秩或特定結構，如範德蒙矩陣，也加強了整個分解的唯一性。最後，所有這些結果可以擴展到更精細的張量分解，而不局限於秩 1 項.

在相關研究中首次提出了兩個或多個三階張量共享一個模式的連結模式 PARAFAC。並且，這個概念被擴展到不同階的數組(其中一個必須是三階或更高階)。耦合張量分解已經被證明在電信，多維諧波檢索，化學計量學和心理測量學等方面是有用的。有關代謝組學的示例，請參見圖 2a。

圖二：矩陣和三階張量之間不同類型耦合的圖解。(a) 代謝組學中的聯繫模式矩陣和張量。數據集代表四種不同的採集方法。所有數據集共享相同的「樣本」模式。(b) 陣列(在這種情況下，三階張量)可以以不同的模式耦合，也可以僅通過模式的一部分耦合。此外，連結數組可能被視為較大體積(紅色立方體)中的元素，其中缺少某些數據點。

E． 結論:數據集之間的聯繫確實是一種新的多樣性形式

在一組未連結的因式分解上，ⅳA 和耦合 CPD 的優勢在於它們能夠利用數據集之間的共性。

數據層面的挑戰：

A． 獲取和觀察層面的挑戰

a) 不可通約

b) 不同的解析度

c) 尺寸不兼容

d) 對齊和配準

B． 各種不確定性帶來的挑戰

a) 噪聲

b) 平衡不同來源的信息

c) 衝突矛盾或不一致的數據

d) 遺失值

模型設計層面的挑戰：

A． 數據融合層面

在實踐中，由於潛在現象和各種複雜因素以及具體的研究問題的複雜和基本未知的性質，在更高的抽象層次和經過某些簡化和簡化步驟後，融合數據集可能會更有用。

第一個策略是數據集成。它意味著每個模態經由一種決策步驟的並行處理流水線。集成是處理異構數據的常用方法。第二種類型的數據融合策略是順序處理模態，其中一個(或多個)模態用於約束另一個模態。從數學上講，這相當於使用一種模態來限制自由度的數量，從而限制另一種模態中的一組可能的解。在本文中，作者將重點放在第三個策略上，即真正的融合，它讓模態充分地相互作用並互通信息。

在「真正的融合」中，有不同的程度:使用高級特徵的真正的融合。使用多元特徵的真正融合。使用數據的真實融合，或使用數據的最小的縮集。

例子：在從 CMB 觀測的宇宙學推論中特徵的使用。

B． 數據連接層面

數據融合的基本思想是，數據集的集合「不僅僅是其各部分的總和」，也就是說，它包含寶貴的信息，如果忽略這些關係，這些信息就會丟失。正確定義連結的目的是支持這一目標。

1. 數據集之間的「軟」和「硬」連結:必須做出的一種決定是，每個數據集是否都有自己的一組獨立參數，是否與其他數據集不相交。
2. 共享元素與非共享元素:數據集既有共享(公共)元素，也有非共享(個體的、模態特定的)元素，其他元素可以在許多模型中找到。它可以通過定義因子矩陣的某些列或潛在變量的子元素為共享的，而其他列為非共享的，來進行數學公式化。

C． 分析框架層面

某些數據融合方法依賴於現有的理論分析框架，這些框架最初是為非融合應用而設計的，至少不是明確的。這些方法是獨立分量分析和基於代數的方法，如並行遺傳算法、廣義特徵值分解、廣義特徵值分解和廣義特徵值分解。這些方法已經存在了一段時間，並且有大量的工作致力於它們的計算。依賴於這些成熟的、廣為人知的方法的數據融合方法通常更容易在研究團體中被接受和整合。然而，這些方法可能無法充分利用數據的多樣性，因此，更先進的數據融合方法可能是首選。

D． 結構化數據融合：一個通用的數學框架

在前面的章節中，我們提到了大量的數據融合模型。然而，顯而易見的是，現有解決方案的列表，儘管可能很全面，卻無法涵蓋當前、未來和潛在數據集、問題和任務的實際上無窮無盡的數量。

圖 3： 結構化數據融合示意圖。結果因子然後被用於聯合分解兩個耦合的數據集。

E． 驗證

選擇合適的模型是一個廣泛開放的問題，近似和高度簡化的模型通常是首選。因此，驗證步驟是必不可少的。以下問題被廣泛關注：

(1) 最佳可實現誤差的下限

(2) 關於該方法的可靠性和實際有用性的理論結果

雖然這些問題不是多模態數據融合特有的，但是在存在多個數據集的情況下，它們需要特殊的解釋。

致謝：

本文由南京大學軟體學院 2020 級博士生尹伊寧翻譯轉述