dsc熱分析圖譜怎麼分析_熱傳導 - CSDN

2D/3D配準的Review Article

摘要

在過去幾十年中，研究醫學成像研究界已經見證了圖像配準方法的不斷進步，這些方法推動了最新技術的發展，並促進了新型醫療程序的發展。一種特定類型的圖像配準問題，稱為切片到體積配準，在圖像引導手術和體積圖像重建等領域發揮了重要作用。然而，到目前為止，儘管有關於該主題的大量文獻，但沒有編寫任何調查來討論這一具有挑戰性的問題。本文首次對切片到體積的配準文獻進行了全面的調查，根據臨時分類法對算法進行了分類研究，並分析了各類的優缺點。我們從這一分析中得出一些一般性的結論，並提出我們對該領域未來的看法。

關鍵詞：書目評論；切片到體積的配準；醫學圖像配準；醫學圖像分析

---

1. 介紹

圖像配準是將來自多個圖像源的數據對齊並組合成唯一坐標系的過程。這個問題已成為計算機視覺和醫學成像的支柱之一。在過去十年中，切片到體積的配準（圖像配準問題的特定情況）在醫學成像領域受到進一步關注。在這種情況下，我們尋求從對應於輸入2D圖像的給定3D體積確定切片（對應於任意平面），而不是配準具有相同尺寸的圖像。

已經出現了一些有從切片到體積映射需求的醫療應用，並推動社區開發向著更準確和有效的策略發展。這種醫學成像任務可以分為兩大類：那些與圖像引導幹預的圖像融合相關的; 和那些與運動校正和體積重建有關的。在第一類中，需要融合術前3D圖像和術中2D圖像以在醫療幹預期間指導外科醫生。切片到體積的配準在此過程中起著關鍵作用，允許醫生使用在手術期間實時採集的低解析度2D圖像來導航3D術前高解析度帶注釋數據。在第二類中，目標是在重建特定模態的體積時校正未對準的切片。解決該任務的典型方法在於將各​​個切片映射到參考體積上，以便校正切片間的錯位。同樣，開發精確的切片到體積配準算法對於成功解決這個問題至關重要。

由於配準過程中涉及的圖像的維度，切片到體積的配準也稱為2D / 3D配準。然而，該術語是含糊的，因為它根據用於捕獲2D圖像的技術描述了兩個不同的問題：它可以是投影（例如X射線）或切片/斷層攝影（例如US）圖像。即使兩個問題在圖像維度方面都有相似之處，但每個公式都需要不同的策略來估計解決方案。缺乏透視和兩種模態固有的不同圖像幾何形狀，這兩種方式都是固有的，因此有必要提出解決這些配準問題的不同策略。此外，任何2D投影圖像中的像素不僅對應於來自體積的一個體素（這是切片到體積的情況），而是對應於它們在一定視角中的一組投影。因此，用於測量圖像之間的相似性的函數的類型在每種情況下都必然是不同的。雖然大多數投影2D / 3D圖像配準方法需要將圖像帶入維度對應（通過投影，反投影或重建等不同策略），在切片到體積配準的情況下，可以直接將來自2D圖像的像素與來自體積的體素進行比較。在這篇綜述中，我們專注於切片到體積的配準，而Markelj等人在調查中提供了關於投影2D到3D圖像配準的更全面的概述。

切片到體積的配準可以被認為是3D-3D配準的極端情況，其中一個3D圖像僅包含一個切片。即使理論上正確，3D-3D配準方法也無法以直接的方式推斷到切片到體積的情況。這尤其適用於基於圖像信息的配準方法，因為用於量化圖像之間相似性的描述符號通常假設兩個圖像中可用的信息量是平衡的。在問題公式化中應明確考慮單個切片（或甚至幾個稀疏切片）提供的信息少於整個體積的事實。此外，特定的幾何約束，如平面度滿足和平面內變形在切片到體積配準的情況下出現限制，這些限制不適用於維度對應的設定。

儘管有大量有關切片到體積的配準的文獻，但迄今為止還沒有編寫任何調查來討論這一新興領域。在這篇綜述中，我們討論了關於切片到體積的匹配的文獻，提供了對解決這個具有挑戰性問題的文章的全面調查，根據分類法提出了相關算法的分類研究，並分析了每個類別的優缺點。我們基於先前的圖像配準調查提出了分類法，並根據特定的切片到體積情況進行了調整（見圖1 ）。我們根據幾個原則對相關工作進行了分類：（i）匹配標準（第2節），規定了定義圖像之間相似性的策略; （ii）轉換模型（第3節），指出用於將圖像帶入空間對應的模型的性質; （iii）優化（第4節），根據用於推斷最優轉換模型的策略區分方法; （iv）切片數量（第5節），根據它們是否需要單個或多個源圖像切片，將方法分成兩組; （v）應用（第6節），我們確定了推動該領域研究的主要臨床情景; 最後（vi）驗證策略（第7節）我們總結了用於驗證所提出的切片到體積配準方法的替代方法。

---

圖1. 分類法用於對本調查中分析的切片到批量註冊出版物進行分類

---

系統地選擇了本評論中包含的論文，搜索包含術語「切片到體積」和「匹配」（及其變體）的論文，並仔細選擇那些既可以提供方法論貢獻也可以應用切片到體積匹配的論文。引入一定程度新穎性的特殊問題。

1.1. 切片到體積匹配的定義

讓我們首先給出切片到體積匹配的正式定義。給定2D圖像$I$I和3D體積$J$J ，我們尋求映射函數$\widehat{\mathrm{\Theta }}$Θ^通過最小化以下目標函數，最佳地將斷層切片$I$I與體積圖像$J$J對齊：
$\widehat{\mathrm{\Theta }}$Θ^ = $\underset{\mathrm{\Theta }}{<mrow><mi\; mathvariant="normal">a</mi><mi\; mathvariant="normal">r</mi><mi\; mathvariant="normal">g</mi><mi\; mathvariant="normal">m</mi><mi\; mathvariant="normal">i</mi><mi\; mathvariant="normal">n</mi></mrow>}$Θargmin​$\mathcal{M}$M($I$I,$J$J;$\mathrm{\Theta }$Θ)+$\mathcal{R}$R($\mathrm{\Theta }$Θ);（1）

$\mathcal{M}$M表示圖像相似性項（所謂的匹配標準）和$\mathcal{R}$R表示正規化項。請注意，此映射可以是剛性或非剛性的，這取決於我們是否允許圖像$I$I（或其對應的來自$J$J的重建切片）有沒有變形。如果我們僅估計剛性映射（即我們計算6自由度剛性變換或更嚴格的變換），我們將問題命名為剛性切片到體積的配準。如果我們也推斷某種變形模型或者我們認為更具表現力的線性變換（例如仿射變換），我們稱之為非剛性配準。有關不同轉換模型的更多信息，請參閱第3節。

匹配標準$\mathcal{M}$M測量2D圖像與其對應的映射（切片）到3D體積之間的相似性。通常，它使用來自$I$I和$J$J的強度信息或顯著的結構來定義。關於在切片到體積匹配（我們還考慮不使用任何圖像信息但依賴於外部傳感器的方法）的完整討論在第2節中介紹。

正規化項$\mathcal{R}$R對解決方案施加約束，可用於解決問題。它還可以在擴展變換模型上（平面設定和非剛性配準的平面變形）編碼幾何屬性。正則化項的選擇取決於轉換模型。雖然簡單的模型，如剛體變換，即使沒有正則化，也可以明確估計，項$\mathcal{R}$R在更複雜的非剛性情景中變得至關重要，以確保實際結果。在切片到體積配準的環境中，正則化器可用於對解決方案施加平面性約束（當不允許面外變形時）或限制平面外變形幅度，保證現實的、合理的轉換。當可用時，也可以通過正則化項編碼關於組織彈性的先驗知識。 此外，正如我們將在第5節中看到的，當同時處理多個切片時，可以使用正則化來強制它們之間的一致性。

我們的目標是優化方程式（1）中定義的能量，通過選擇最好的$\widehat{\mathrm{\Theta }}$Θ^使2D和3D圖像對齊。根據我們試圖推斷的變量及其最優性保證，它們可以分為不同的類別。第4節包含對該主題的全面研究。

方程式（1）中給出的一般定義，將單個切片視為配準過程的輸入。然而，為了完整起見，在本次調查中，我們還考慮了所謂的多切片到體積配準方法，其中幾個（但是稀疏的）切片被配準到完整的3D體積。值得注意的是，我們不包括在配準之前從輸入2D切片執行先前3D重建的方法，因為這些方法將問題減少為經典的3D-3D場景，這不在我們的工作範圍內。相反，我們考慮那些直接配準2D切片子集的方法（可以是正交，平行，任意或甚至沒有先驗已知的空間關係），而不是重建體積。根據該標準對方法的討論和分類見第5節。

2. 匹配標準

所述匹配準則（也稱為（DIS）的相似性度量，評價函數或距離函數）量化的圖像之間的對準的水平，它通常用來引導優化過程中的變換模型。根據匹配過程中利用的信息的性質，註冊方法可以被分類為標誌性的（我們使用體素強度來量化相似性），幾何（我們使用一組稀疏的顯著圖像位置來指導註冊）或混合方法（我們將這兩種策略結合起來）。在切片到卷註冊的特定情況下，還有一些方法，而不是使用圖像信息，依賴於其他非圖像技術; 我們將它們稱為基於傳感器的方法。

除了基於圖像的方法（即基於傳感器的切片到體積配準）之外的切片到體積配準主要使用兩種不同的技術來執行：光學（OTS）和電磁（EMTS）跟蹤系統（ Birkfellner等人，2008 ）。光學系統採用不同類型的相機（例如紅外（IR），標準RGB或雷射相機）來跟蹤有助於識別物體當前位置的標記。電磁定位系統基於發射器，傳感器和處理單元系統執行跟蹤，通過測量電磁場來定位目標物體的位置和方向屬性。兩種方法都繼承了對它們可以估計的轉換性質的約束，因為只能通過這些技術獲得剛性轉換。此外，由於通過估計相對位移來完成定位，因此通常在開始時需要精確的初始校準從前一個開始，因此可以通過所有過程傳播和累積錯誤。相反，利用基於圖像的信息（特徵或幾何）的配準算法可以處理彈性解剖學變化，並且它們對初始誤差不太敏感（因為在註冊過程中迭代地校正它們很簡單）。在消極方面，這些方法可能對圖像噪聲更敏感，圖像噪聲經常出現在術中，實時和低質量模態中，通常對應於輸入的2D圖像。另外，與體積圖像相比，圖像切片的信息量是稀疏的，導致圖像匹配方面的模糊性這使得註冊問題變得不適應。已經開發了不同的策略來根據匹配標準的選擇來處理這些問題。

圖像配準可以是單峰的（當使用相同類型的圖像技術捕獲切片和體積時）或多模式（當切片和體積指的是不同的模態時，例如US切片和MRI 或CT體積）。在前一種情況下，測量圖像之間的相似性的任務更簡單，因為對應於相同解剖結構的像素/體素強度值在兩個圖像中高度相關或甚至相同。因此，標誌性方法可能表現得更好，因為與它們相關的主要問題 - 使用像素/體素對應解釋圖像相似性的困難 - 已經得到解決。在多模態的情況下，其中的關係像素強度並不明顯，有兩個主要的選擇：繼續使用標誌性匹配標準，但定義更複雜的相似性度量，或採用幾何或基於傳感器的策略，在處理不同的圖像模態時看起來更健壯。

2.1. 標誌性的

使用圖像強度信息定義標誌性匹配標準。使用作用於像素/體素強度水平的函數來測量圖像之間的相似性。可以考慮為特定圖像模態定義的標準信號處理工具，信息理論方法或甚至相似性度量。挑戰在於描述可以輕鬆比較的公共空間上的兩個圖像。特別地，在多模態配準的背景下，對應於相同解剖或功能結構的體素強度是不同的。有兩個理想的屬性尋求任何標誌性相似性度量的定義：（i）是凸的，因為它簡化了優化過程，並且（ii）具有辨別力，因為它為不同的組織或解剖結構賦予不同的值。凸性也是相關的。

典型地，在切片與體積的配準，一個標誌性的匹配準則的上下文δ（我1，我2）：Ω 1 × Ω 2 →ℜ被定義為量化兩片（或小片之間的相似性，根據是否我們指定全局或本地函數）。這種相似性度量取決於我們試圖註冊的方式。在單峰情景中，簡單的相似性度量，如絕對差值之和（SAD），方差之和（SSD），甚至是方差的平均值。可以使用強度值。在矢量符號中，SAD也可以看作矢量化圖像的L 1範數，而SSD則對應於L 2規範。這些度量假設兩個圖像中的強度值之間的直接對應，這不一定是這種情況。在諸如圖像引導手術的真實臨床病例中，在手術期間捕獲的圖像往往是嘈雜的，低解析度的，有時甚至不同的模態必須融合。在這些情況下，SSD和SAD的性能會很差。

還提出了更複雜的度量，利用兩個圖像中觀察到的強度值的統計特性。除了處理身份變換之外，這些方法可以處理要登記的圖像中的強度之間的分段線性關係。在這些情況下，兩個圖像中的圖像像素被視為兩個隨機向量X和Y的條目。互相關（CC）是在信號處理和統計領域中廣泛使用的眾所周知的函數，也應用於幾個切片到- 體積配準研究。CC測量X和Y的條目之間的相關性。計算簡單，更重要的是，強度域中的移位和縮放不變。另一個指標是相關比（CR），即使在多模態圖像配準中也顯示出有希望的結果。它測量X和Y之間的函數依賴性，取0（無函數依賴）和1（純確定性依賴）之間的值。CR本質上是不對稱的，因為兩個變量（圖像）在功能關係中不起相同的作用。換句話說，與CC不同，CR根據圖像的順序提供不同的值。CR已經被用作 Marami等人的切片到體積配準的標誌性標準。

信息理論相似性度量通常是多模態註冊的首選項選擇，而片到卷註冊也不例外。最受歡迎的是互信息（MI），其測量兩個圖像中相應分布的圖像強度之間的統計依賴性或信息冗餘，如果圖像是幾何對齊的，則假定為最大。它需要估計聯合和邊際概率密度函數（PDFs）每張圖片的強度。鑑於與體積 - 體積情景相比，切片到體積配準的信息稀疏性質，每個切片的這些聯合PDF的估計 - 特別是在低圖像解析度/樣本數量的切片中 - 是一項艱巨的任務，可能會導致基於MI的註冊結果不佳。通過在fMRI 時間序列登記的背景下整合信息豐富的PDF先驗，開發了一種改進基於MI的切片到體積登記的替代方法。首先，顯示位於頭部掃描中間附近的切片提供更可靠的PDF和MI估計，因為它們指的是比末端切片（頂部或底部）更豐富的信息空間。然後，基於來自註冊的中心切片的強度計數，通過聯合PDF先前引導端切片配準。或者，當將2D MR偵察掃描記錄到完整的3D MR時，通過使用從較高解析度的解剖數據集保留儘可能多的關於體素強度的信息的PDF估計，可以實現切片到體積配準中的更好的MI計算。腦容積。MI是一種廣泛使用的切片到體積配準的相似性度量，在過去幾十年中採用了許多方法。MI的主要缺點之一是當圖像之間的重疊區域改變時它變化，即它在整個配準期間對重疊區域的變化不變。可能會發生這樣的情況：在估算轉換模型時，一些潛在的解決方案不在於數量。在這種情況下，可以選擇重疊不變函數。為此，可以應用MI的修正版本，即歸一化互信息（NMI），其簡單地是邊緣熵和聯合熵之和的比率。NMI在MI方面的另一個優勢是它的範圍：它方便地取0到1之間的值.NMI也被用於切片到體積的配準。

在圖標註冊過程中使用像分割掩模之類的先驗知識可能是有用的。這些方法（也稱為基於區域的方法）使用強度信息或統計來描述預分割區域。例如，Chan-Vese度量旨在最小化給定分割輪廓內外區域的強度差異。Nir和同事將這種匹配標準應用於將多個組織學圖像切片與前列腺的體內MR圖像對齊的問題。

邊界信息是另一種低級視覺提示，被標誌性方法所利用。通常根據圖像的強度梯度確定，其給出了由強度變化定義的圖像結構的概念，與其實際值無關。可以在兩個圖像的梯度幅度之上應用MI以及SAD或SSD 。在Brooks等人。例如，使用美國切片和MRI體積的梯度幅度之間的MI。蘇等人。在圖像強度和梯度上應用SSD，將它們組合在一個獨特的相似性度量中。在Xu等人。，使用歸一化梯度場定義匹配標準對於圖像，而Xu等人採用了強度和梯度幅度的CC 。在Lin等人。使用稱為加權邊緣匹配分數（WEMS）的優值函數來評估2D實時圖像和相應的重新格式化切片的相似性以搜索骨骼模型的3D姿勢。

最近引入了更強大的相似性度量來處理醫學圖像配準中的問題，特別是在切片到體積的情況下。Wein等人做出了顯著的貢獻。和Fuerst等。到這個領域。他們基於來自MRI和CT的美國圖像的模擬提出了不同的相似性度量，這可以處理這些具有挑戰性的多模式配準問題。在Wein等人。，提出了一種模擬CT數據超聲波效應的新方法，以及一種新的線性組合線性相關的相似性度量（LC 2）），它對於缺少模擬細節是不變的，產生平滑的屬性和對應於正確對齊的全局最優。由於它們模擬了與探頭幾何形狀相關的美國成像效果，因此使用掃描的原始B模式掃描平面代替3D重建，使其適用於多切片到體積的配準。Fuerst等人使用LC 2 。，雖然沒有模擬過程：相似性測量是通過將美國強度局部匹配到MRI強度和梯度幅度來定義的。最近，LC 2 的變體名為BOXLC 2Pardasani等人提出，當在GPU上運行時，其在LC 2 上產生可測量的速度改進（同時在單片到體積配準的背景下保持相似的性能）。

Heinrich等人提出了另一種穩健的相似性度量，即模態獨立鄰域描述符（MIND）。用於多模式剛性和可變形註冊。它基於局部自相似性的概念在補丁級別。它們通過對兩個圖像的局部強度分布進行排序來創建多維描述符，因此提供了圖像特徵的局部形狀的非常好的表示。它可以以密集的方式在圖像的所有像素（或體素）上計算; 一旦計算出來，MIND表示的SSD可以用作相似性度量。由於其逐點（像素或體素）計算性質，它可以適用於幾乎任何配準算法。MIND的擴展，稱為自相似性上下文（SSC），也使用基於補丁的自相似性進行估計（Heinrich等，2013）。在Cifor等人。MIND成功地用於多切片到體積的配準框架，以將未經跟蹤的2D美國掃描對準CT卷。

Rivaz等人引入了最後一類強相似性度量。在mutlimodal US / MRI圖像配準的背景下。在Rivaz等人。，提出了一種稱為上下文條件互信息（CoCoMI）的度量。該度量旨在解決基於經典MI的方法的主要缺點之一，即考慮相應像素的強度值而不考慮鄰居的強度值。圖像被視為「單詞包」，因此忽略上下文信息。CoCoMI通過調整對上下文信息的MI估計來克服此限制。在Rivaz等人。，自相似性α提出了-MI（SeSaMI） - 另一種基於MI的匹配標準。α- MI通常根據強度及其梯度等多個特徵計算，而標準MI通常僅根據強度計算。芝麻結合此多特徵α -MI製劑與一個kNN的自相似性α -MI登記框架由是不自相似懲罰簇（即，最近的鄰居）。最後，在Rivaz等人。，引入CR相似性度量。基於魯棒補丁的相關比（RaPTOR）計算小補丁上的局部CR值，並將它們相加以形成全局成本函數。作者聲稱一種產生合適的方法的屬性：它們的度量對於重要的空間強度不均勻性是不變的。這在由于波衰減，陰影和增強偽像處理US圖像時特別有用。這些Rivaz指標（CoCoMI，SeSaMI和RaPTOR）的主要優點之一是它們的梯度可以通過分析得出，因此可以使用隨機梯度下降方法有效地優化成本函數。

2.2. 幾何

幾何登記發現有意義的解剖學位置或凸標記。這些方法旨在最小化能量函數，對於給定的變換，該能量函數測量在2D切片和體積圖像中檢測到的關鍵點之間的差異。一旦標記被適當確定，註冊過程的簡單性，對初始化沒有敏感性並且在變形方面具有更寬的捕獲範圍是這些方法的主要優點。另一方面，具有裡程碑意義的檢測並且匹配過程並不是那麼簡單，其位置上的錯誤會影響註冊過程的準確性。此外，由於關鍵點的稀疏性，變形的質量可能變得不足（由於對插值的有限支持）。

Gourdon和Ayache（1994）的早期工作提出了一種在曲線和曲面之間進行切片到體積配準的幾何方法。在這項工作中，Gourdon和Ayache利用關於在曲線和曲面上計算的微分屬性的知識來約束剛性匹配問題。這項工作最相關的貢獻是他們討論如何使用微分約束來嚴格記錄曲面上的曲線。然而，他們使用了基本的Marching Cubes算法（Lorensen和Cline，1987）從模擬和醫療數據中提取它們。對於具有低解析度的圖像，這些結構的提取仍然是一項艱巨的任務，這種情況通常在切片到體積的配準中是有效的。在這些情況下，可以使用替代方法（例如超解析度重建（Oktay等人，2016 ）或基於配準的插值方法（Penney等人，2004b））來提高原始圖像的質量，然後再提取感興趣的結構，在應用幾何配準過程後產生更準確的結果。

對於醫學圖像（與自然圖像相反），提取獨特特徵變得更加複雜，因為第一個通常不像最後一個那樣具有辨別力（缺乏紋理）。對於縮放，旋轉和照明或亮度變化的不變性構成了尋求提取顯著點的方法的有用屬性。高度獨特的功能（在空間和頻率域中）簡化了匹配任務，因為它們可能正確匹配。成功應用於不同計算機視覺任務的此類描述符的經典示例是尺度不變特徵變換（SIFT）（ Lowe，1999），Harris檢測器（Harris和Stephens，1988）），方向梯度直方圖（HOG）（Dalal和Triggs，2005），加速魯棒特徵（SURF）（Bay et al。，2008）等。最近，使用深度學習學習的特徵已成功應用於場景涉及大量注釋數據用於培訓（Long et al。，2014）。這些特徵用於提取將指導幾何配準過程的顯著標誌。一旦在切片和體積圖像中建立了界標，就有兩種選擇。首先，我們可以執行匹配過程，這導致建立來自兩組的點對之間的對應關係。匹配過程完成後，可以使用對應關係來估計所需的 - 剛性 - 非剛性 - 變換模型。或者，也可以應用直接估計變換模型而不推斷任何對應關係的方法。有時候，可以同時推斷出對應關係和轉換模型，就像Iterative Closest Point（ICP）一樣（Besl和McKay，1992））算法。ICP是隨後改進點對匹配的算法。它最小化了變換的源圖像界標集與目標界面中最接近的檢測到的界標之間的幾何距離之和。這是一種簡單快速的方法，遵循最近鄰原則來執行匹配任務，但通常會收斂到局部最小值。

Dalvi和Abugharbieh（2008）提出了一種使用ICP的切片到體積的配準方法。首先，它使用定向的2D Gabor小波從切片/體積中提取相位一致性信息。然後，使用局部非最大抑制，自動獲得穩健且精確的特徵點集，隨後通過ICP推斷剛體變換來匹配這些特徵點。Nir等人。（2014）使用幾何匹配標準呈現粒子過濾框架，其中應用最近點原理（它們在兩組中的最近點對之間使用SSD）。在他們的提議中，推斷的變換模型涉及9-DOF（仿射）矩陣而不是6-DOF變換（剛體）。Nir的方法由Moradi和Mahdavi（2013）應用為基於腫瘤檢測學習的框架中的預處理步驟，以將US登記為前列腺圖像的整體組織病理學參考，將腫瘤的位置映射到美國圖像域。Yavariabdi等人提出了另一種使用ICP的方法。（2015）用於可變形註冊。他們使用3D MRI體積記錄2D經陰道美國（TVUS）圖像，以定位子宮內膜植入物。他們通過一種新的變分一步可變形ICP方法使用輪廓與表面對應，找到平滑的變形場，同時自動建立點對應。這種方法的主要缺點是它依賴於用戶來分割器官。手動盆腔器官分割是一項費時費力的工作，因此適用性強在真實場景中的方法是有限的。請注意，在本段討論的論文中，不同類型的變換模型基於最近點原理進行估計，顯示了這種方法的靈活性。

當執行形狀和點的非剛性配準時，可以使用有符號距離函數（或帶符號的距離圖）來避免界標匹配步驟。在這種情況下，地標或形狀被指定為零距離，而圖像的其餘像素被標記為到最近的幾何圖元（界標或邊界）的距離。一旦創建了距離圖，就可以通過標準圖標註冊（例如在距離圖上使用SSD）來估計最佳轉換模型（Paragios，Rousson，Ramesh，2003，Huang，Paragios，Metaxas，2006，Taron，Paragios， Jolly，2009）。在Boer等人。（2007年）有符號距離函數用於利用預重建的3D模型來記錄組織學圖像的切片。作者建議使用樸素強力方法進行優化，這會導致極高的計算成本。

2.3. 基於傳感器的方法

基於傳感器的系統是基於圖像的方法的替代方案（即使圖像經常用於初始化），其中切片位置和方向使用傳感器不斷更新。假設初始對應，這種信息可用於從給定體積中提取相應的切片。光學（OTS）和電磁（ETMS）跟蹤系統是執行此任務的最廣泛使用的技術。OTS系統通過跟蹤附著在物體上的有源或無源標記的位置，實時確定物體的位置。它需要在跟蹤設備之間保持視線以及要跟蹤的工具。這可能會給醫生帶來不便 - 尤其是在他的工作期間的圖像引導幹預 - 導致非常不方便。EMTS系統通常由三個基本組件組成：電磁場發生器，與PC連接的系統控制單元，跟蹤傳感器線圈及其與系統控制單元的接口。通過測量每個線圈的行為，可以確定物體的位置和方向。EMTS不會繼承與視線要求相同的約束，但它對來自附近金屬源的失真很敏感，並且與光學跟蹤相比表現出有限的精度（ Birkfellner等人，2008 ）。此外，OTS和EMTS都無法處理體積和切片之間的彈性變形。通常，可以聲稱基於傳感器的方法比基於圖像的方法更可靠（當它們被正確校準時），因為它們不受在圖像解釋過程期間出現的模糊度的影響。

在Gholipour等人。（2011），三維 磁場傳感器用於在MRI掃描期間跟蹤對象的運動。它允許估計切片的位置以進行體積重建。使用MRI掃描儀的原生梯度場實時計算三維（6-DOF）傳感器的剛性6-DOF變換。通過切片採集時的傳感器運動參數計算每個切片的相對3D位置。其他利用EMTS系統的工作可以在Hummel等人的文章中找到。（2008） ; Olesch等。（2011） ; Olesch和Fischer（2011年） ; 徐等人。（2008年）。

光學跟蹤系統還可以取代基於經典圖像的切片到體積配準算法。在Schulz等人。（2014）通過光學跟蹤系統實現了用於fMRI 圖像重建的逐片運動校正（關於該問題的完整討論，參見第6.2節）。作者建議使用三個帶有嵌入式圖像處理的跟蹤攝像機，使用護目鏡跟蹤附著在頭骨上的三個光學標記的位置。然後使用跟蹤信息來代替在fMRI圖像重建期間考慮運動校正所必需的經典切片到體積配準步驟（ Kim等人，1999）。在鮑等人。（2005），基於紅外相機，光學跟蹤用於將腹腔鏡US註冊到幻像肝臟的CT圖像。紅外攝像機的優點是位置傳感器不會受到反射和環境光的幹擾。但是，視線要求仍然存在，因此不能阻擋傳感器。其他使用OTS跟蹤圖像切片在用體積圖像進行記錄時的位置的論文可以在這裡找到黃等人。（2009） ; Penney等人。（2006） ; 2004a）; 舒爾茨等人。（2014年）。

最近（Eresen等，2014 ），智慧型手機跟蹤技術被認為是一種導航工具，用於初始化組織學2D切片和MR體積之間的切片到體積的配準過程。智慧型手機的慣性測量單元（IMU）（也可作為獨立組件提供）用於定義切片的方向。給定IMU傳感器的方向和位置數據，然後可以從MR體積內插相應的切片。這種交互式對齊用於確定2D切片的初始方向，並使用通過強力優化的基於MI的標誌性註冊過程進行細化。IMU跟蹤系統使用加速度計的組合和陀螺儀分別測量加速度和角速度。由於加速度是相對於時間的位置的二階導數，並且角速度是一階導數，因此從已知的起始位置產生平移和旋轉（即6-DOF變換）隨時間積分的角度變化（ Birkfellner等人2008 ） 。這些傳感器價格便宜且可廣泛使用。然而，使用IMU進行跟蹤的主要問題是錯誤的累積（系統或統計），導致隨時間的退化估計。卡爾曼濾波器（Kalman，1960）可以用來處理這類問題，並且經常被科學界採用。在 Marami等人。（2016B）; 例如，2016a），卡爾曼濾波器與切片到體積配準相結合以估計頭部運動參數。

請注意，如下一節所述，幾篇提出基於傳感器的方法的論文實際上是這種技術與一些基於圖像的配準技術的結合，從而產生了我們所謂的混合方法。

2.4. 混合動力

索蒂拉斯等人。（2010）指出，混合匹配標準利用標誌性和幾何方法，以努力獲得兩全其美。此類別可以通過包括基於傳感器的技術進行擴展，因為它也可以與標誌或幾何方法結合使用。在這種情況下，傳感器用於初始化配準過程或提供切片位置的實時更新，然後可以使用基於圖像的配準來細化。

Mitra等人。（2012）提出了一種混合切片 - 體積配準方法，在概率框架中結合幾何和標誌性匹配標準，以將經直腸美國（TRUS）與前列腺的MR圖像配準。幾何分量基於分段前列腺輪廓的形狀 - 上下文（Belongie等，2002 ）表示。在兩個形狀的形狀 - 上下文直方圖之間的Bhattacharyya距離（Bhattachayya，1943 ）用於在每個軸向MR圖像中找到點對點對應。TRUS之間的卡方距離計算切片和每個MR切片並用於確定匹配切片。一旦確定了具有最小卡方距離的TRUS-MR切片對，它就用於檢索它們之間的2D剛性變換（平面內旋轉和平移）。該變換應用於剩餘的MR切片，以確保與2D TRUS切片類似的2D平面內剛性對準。通過測量TRUS圖像與MRI的每個旋轉的軸向切片之間的相似性（NMI和CC用作度量）來執行圖標步驟。最後，將形狀和圖像相似性度量轉換為概率密度函數，並映射到統計相似性框架，以檢索類似於TRUS圖像的MR切片。兩個問題限制了這種方法在臨床實踐中的適用性。第一，註冊由兩個圖像上的前列腺的手動分割確定。其次，該方法假設TRUS切片與MR平行軸向平面 ; 因此，登記的結果不考慮任何可能在現實場景中發生的平面外旋轉。

跟蹤信息（來自EMTS或OTS系統）可以通過混合方法與標誌或幾何標準組合以執行切片到體積的配準。在這種情況下，跟蹤信號可以用於初始化過程或計算新2D切片相對於前一個切片的附加位置，將它們帶到相同的坐標系。然後可以結合標誌性或幾何註冊來補充該過程。在 Penney等人。（2004年例如，基於圖像的配準用於計算將該獨特坐標系與體積圖像相關聯的初始變換，以及用於執行跟蹤的切片的相對位置的基於傳感器的更新。Penney等人使用了這種方法。（2004a）將術中US圖像登記到術前MR體積。該算法在Penney等人的文章中進行了擴展。（2006）處理2D US到體積CT註冊。SanJoséEstépar等。（2009年）改進由連接到腹腔鏡或內窺鏡探頭的EM系統提供的剛性跟蹤信息。使用基於邊緣的圖標配準方法結合相位相關技術，根據平移參數進行細化。在Xu等人。（2008年），EM跟蹤和術中圖標圖像配準用於將MRI數據疊加在前列腺的TRUS圖像上。為此，應用三步算法，其中中間算法對應於切片到卷的配準。在TRUS手術開始時，操作者執行從前列腺基部到其頂點的2D跟蹤軸向掃描，其用於產生前列腺體積的體積US重建。重建的美國體積和MRI是手動對齊的。因此，2D TRUS切片被登記到US重建體積（將MRI / US多模態問題減少到US / US單峰性），而估計的變換仍可用於恢復相應的MRI切片。在幹預期間，平面外運動補償使用近乎實時的2D US圖像和3D US圖像之間的間歇多切片到體積配準來實現。這種剛體註冊基於使用Simplex算法最小化SSD 。最後一步是指US的2D-2D註冊（使用CC和基於梯度的相似性度量），並且它試圖考慮平面內未對準。在此工作流程中，EM跟蹤信息用於簡化從多個單模態註冊的問題，並結合標誌性的切片到卷註冊以考慮運動補償。將跟蹤信息與標誌性或幾何配準方法相結合的其他混合方法是 Sun等人。（2007））; 嚴等人。（2012）;肖等人。（2016）。

在Ghanavati等人。（2010）在全髖關節置換（THR）手術的背景下，提出了一種方法，該方法將來自跟蹤的徒手2D US 換能器的信息與基於US圖像模擬的圖標匹配標準相結合。他們使用骨盆的統計形狀模型（SSM），由幾個CT圖像構成。他們開發了一種多切片到體積的配準方法，將多個2D US切片註冊到骨盆的統計圖譜。基於美國的模擬方法，地圖集的平均形狀首先嚴格地記錄在徒手2D美國圖像上（Wein et al。，2008a）。然後，通過測量從地圖集實例模擬的實際美國和美國圖像之間的圖標相似性來實例化地圖集。這種兩步算法估計剛性變換並隨後優化可變形參數，在Ghanavati等人中被轉化為一次性優化方法。（2011年）。

在Wein等人。（2008b ），附著在患者皮膚上的位置傳感器用於提取標量替代測量，其代表用於檢測和補償肝臟呼吸運動的前 - 後翻譯。該信息與標誌性標準相結合，以估計仿射12-DOF轉換模型，該模型將術前計劃和成像映射到介入場景中。

黃等人。（2009）提出了利用多個時間幀的混合切片到卷註冊策略。引入了多模態圖像導航系統，其使用心電圖（ECG）信息，光學跟蹤和基於圖標MI的配準將2D美國圖像與術前心臟CT體積集成。該心電圖用於使US圖像與相應的術前動態3D CT同步，這取決於ECG指示的心臟相位。由光學跟蹤器給出的空間信息用於為每個切片產生接近最佳的起始點，其通過最大化MI相似性度量來改進。這種方法可以實時工作，使其適用於真正的介入場景。Hummel等人提出了一種不同的傳感器組合來解決配準問題。（2008），EM和OTS傳感器與標誌性註冊相結合，將內窺鏡US註冊到CT數據。

3. 轉型模型

轉換模型解釋了切片和正在註冊的卷之間的關係，並且是註冊過程的結果。它們通常根據其自由度進行分類。剛性變換處理全局旋轉和平移，而可變形模型 - 複雜情況 - 可以產生局部面內和面外變形（見圖 3）。變形模型的豐富程度與我們需要指定的參數數量成正比，因此可以在模型複雜性和表達能力之間找到折衷。

當對給定圖像應用變換時（在配準過程的最後步驟或在中間優化步驟期間），必須使用插值方法來在重採樣期間推斷變換圖像的空間中的每個像素的強度值。在這方面，在切片到體積配準時有兩種選擇：使用估計的變換重新取樣切片或體積。最常採用的策略包括重新採樣體積圖像，因為在3D中重新採樣切片的定義不如卷的定義。但是，在某些特殊情況下，變換模型只允許在2D圖像的空間內進行平面內變形（如（Ferrante，Paragios，2013，Ferrante，Fecamp，Paragios，2015）），可以進行切片重採樣。

3.1. 死板

最簡單的轉換模型考慮了旋轉和平移參數。它通常表示為6個自由度（6-DOF）變換的Θ [R 3旋轉和3個平移參數組成。這種基本模型是文獻中用於切片到體積配準的最常見選擇。剛性變換足以表達簡單的切片與體積關係（見圖2 ）。他們可以處理平面內和平面外的平移和旋轉。不繼承圖像失真的臨床場景- 如簡單的片間運動校正（Jiang，Xue，Glover，Rutherford，Rueckert，Hajnal，2007b，Kim，Hansen，Habas，Rousseau，Glenn，Barkovich，Studholme，2008b，盧梭，格倫，2005年，SmolíkováWachowiak，Wachowiak，芬斯特，Drangova，2005 ）或基本性質圖像引導手術（聖何塞埃斯特帕爾，威斯汀，Vosburgh，2009年，Birkfellner，Figl，Kettenbach，胡默爾，Homolka，Schernthaner，瑙，貝格曼，2007，Gill，Abolmaesumi，Vikal，Mousavi，Fichtinger，2008） - 可以用剛性變換建模。

圖2. 剛性切片到體積的註冊。在這種情況下，變換$\mathrm{\Theta }$Θ參數化一個簡單的6-DOF變換，它只能模擬旋轉和平移。即使很簡單，這種類型的轉換也已經被本次調查中審查的工作大量採用（見表1）。

圖3. 根據應用，切片到體積配準算法可以允許面外，面內或零變形。

當避免平面外運動時，甚至可以使用更簡單的模型。Zakkaroff等。（2012）提出使用堆棧比對變換恢復心臟MR系列中的平面內切片旋轉。沿著X和Y的平面內平移以及圍繞用戶提供的各個切片的旋轉中心的旋轉被獨立地參數化。它還包括沿Z方向進行全局平移的參數。因此，它將各個切片變換組合成一個獨特的參數空間 - 每個切片包含3-DOF而不是6-，這樣所有參數都可以同時優化。這種類型的模型在很大程度上受到批評，表明（特別是在體積重建的背景下）精確對應的切片只能通過切片到體積的配準來找到，該配準也考慮了平面外的旋轉和平移。在肖等人。（2011年）作者考慮了切片到切片匹配的初始步驟，其中來自組織學體積的每個2D圖像通過基於組的MI比較與一個軸向MRI 切片匹配。它意味著涉及簡單切片對應（1-DOF）的受限變換模型。隨後，他們校正每對匹配切片應用2D-2D仿射配準的面外偏差，以及組織學偽體積（在轉換每個2D切片後重建）和MRI體積之間的後三維仿射配準。受限制的剛體轉換可以是完整的切片到卷註冊管道的方便初始化組件。

6-DOF剛體轉換是幾乎所有切片到體積配準算法的一部分。尋求可變形配準的文獻通常在執行局部可變形映射之前通常採用剛性對齊來解釋大範圍位移（應用這種兩步法的例子可以在Tadayyon等人（2011） ; Xu等人（2014a）中找到） ; Fuerst等人（2014） ; Hallack等人（2015） ; Murgasova等人（2016））。估算6-DOF剛性變換的標準方法包括通過持續優化最小化能量函數（基於圖標或幾何匹配標準）算法（參見4.1節），其中搜索空間是剛性變換的歐幾裡得群SE（3）的一部分。第2.3節中描述的傳感器也可用於許多論文中提出的剛性對準。

3.2. 非剛性

在這篇綜述中，我們將非剛性轉換稱為那些在某種程度上執行圖像結構變化的模型。這些變化不同於簡單的操作 - 它們仍然可以使用線性變換（例如縮放，翻轉或剪切）建模到更複雜的模型，從而產生局部變形。

3.2.1. 線性模型

線性變換是非剛性配準的第一步。在Wein等人。（2008a ），作者提出仿射模型可以在將術中2D US切片記錄到CT圖像時消除大部分大規模變形。在不同呼吸配置的CT和US檢查之間特別觀察到這些變形，並且可以通過仿射變換來處理。然而，在前列腺的組織學切片記錄到MRI體積的不同情況下，Nir等人。（2014）得出結論，仿射變換模型無法捕捉變形，特別是在直腸中區域。這是因為局部變形不能用全局仿射模型表示。在這種情況下，需要進行可變形登記（在下一節中進一步說明）。

最近，仿射模型用於記錄骨骼的2D切片和3D圖像（Hoerth等人，2015 ）。他們的提議包括一種新的方式來啟動2D切片和骨骼的3D圖像之間的配準。該方法使用廣義霍夫變換（GHT）（Ballard，1981 ）來識別合適的起始位置。他們通過對其梯度矢量場進行閾值處理來創建2D切片的模板版本，用於通過GHT形狀檢測過程探索3D體積，提供一組初始位置。然後使用標準仿射登記過程根據初始配置使圖像變形GHT空間的使用並使用基於MI的標準進行更新。可以考慮這樣的原則來處理替代轉換模型。估計用於解決切片到體積配準的仿射模型的其他論文是 Gefen等人。（2008）; Micu等人。（2006）; Museyko等人。（2014））; Wein等。（2008b）; 肖等人。（2011）; 2016）。

3.2.2. 可變形模型

彈性變形是強大的變換，在切片到體積的映射中得到了廣泛的應用。這些模型的表現力取決於用於定義它們的參數數量。Sotiras等人提出了用於非剛性配準的不同類型和類別的可變形模型的詳盡描述。（2013年）和（ Holden，2008年）。在這裡，我們專注於應用於切片到體積映射的模型。

薄板樣條（TPS）經常用於從稀疏的控制點集生成密集的變形場。這些方法涉及一組可以位於任意位置的控制點，這些控制點通常通過檢測顯著結構來獲得。徑向基函數（RBF） - 其中任何插值點處的值作為其與控制點的距離的函數給出 - 以控制點為中心並與仿射項組合以定義插值函數。TPS 基於此插值函數最小化彎曲能量，這提供了封閉形式的解決方案，其在大多數情況下保證其唯一性。TPS可以分解為仿射和局部組件。在Osechinskiy和Kruggel（2011a）; 2011b ），TPS用於參數化2D表面（切片）的平滑3D變形。控制點放置在2D圖像域上的規則網格中，並且使用三個獨立的TPS函數定義3D扭曲。同樣，在Miao等人。（2014），控制點的幾個常規2D網格在多切片到體積的配準場景中定義每個切片的一個TPS變形模型。Kim等人。（2000年）還將TPS應用於單個切片到體積的配準問題，並且使用剛體配準算法比較彈性映射的兩個變體（涉及支持TPS模型的不同數量的控制點）。作者提出了兩個主要結論：（i）基於TPS的登記優於剛體登記，至少在他們的多切片fMRI情景中，由於局部場引起的變形或局部的平面外運動偽影而遇到局部變形 ; （ii）控制點的數量和位置對最終結果有重大影響。

自由變形（FFD）模型也廣泛應用於醫學圖像配準。起源於計算機圖形學（Sederberg和Parry，1986），由於Rueckert等人的開創性工作，它們開始流行起來。（1999）。在該模型中，加權函數是三次B樣條。控制點具有有限的局部支持（與TPS相反，其中控制點在插值期間影響完整域）並且以類似網格的方式均勻地分布在圖像域上（Glocker和Sotiras，2011）。在Ferrante和Paragios（2013年） ; 費蘭特等人。（2015）），FFD用於基於圖的離散優化框架，用於執行切片到體積的可變形映射。在該模型中，2D網格狀圖同時編碼平面位置（剛體變換）和切片相對於其在3D處的對應位置的平面內變形。通過FFD插值獲得平面內變形，其中圖的節點起控制點的作用。類似地，但在連續設置中，Osechinskiy和Kruggel（2011b）優化了在2D網格上定義的控制點的位置，其中未知變量對應於3D位移。在另一種情況下，Fuerst等人。（2014）提出在邊界框內使用基於3D網格的FFD跟蹤美國掃描。因此，他們估計了3D網格中的單個3D變形場，可用於變形US掃描中包含的所有切片。FFD優於TPS的主要優點是它不需要求解線性系統來計算位移的權重。然而，FFD在建模方面施加了約束，因為控制點必須放置在規則網格中並且必須包圍域邊界，而對於TPS，控制點原則上可以任意放置在域中（ Osechinskiy和Kruggel， 2011b）。其他有趣的工作結合了B樣條以在切片到體積配準的背景下對可變形轉換進行建模，這可以在 Brooks等人的文章中找到。（2008年）; Honal等。（2010） ; Museyko等人。（2014））; 蘇等人。（2013） ; Rivaz等人。（2014c）; 2014b）; 2014a）; Tadayyon等。（2010） ; 2011）; 徐等人。（2014a）。

基於有限元（FE）網格的替代模型已經在Marami等人中使用。（2011）模擬動態線性彈性變形場。它基於圖標圖像相似性標準對允許的體積變換施加正則化約束。有限元模型的優點在於它們允許通過物理上有意義的約束將組織變形的動態行為結合到配準過程中。

4. 優化方法

優化方法旨在確定基於上述匹配標準最小化函數的變換模型的實例（參見第2節）。根據所涉及變量的性質，這些方法可以分為連續或離散。連續方法利用整個參數空間，而離散方法利用可允許解決方案的離散化/量化版本。

計算機視覺和醫學成像中的許多問題本質上是離散的（如語義分割）; 然而，這不是切片到體積圖像配準的情況，其中搜索空間是連續的。關於切片到體積配準的大多數已發表的方法採用連續配方。儘管如此，最近關於圖像配準的工作主要集中在離散公式。下一小節介紹了現有工作，並討論了在切片到卷註冊的上下文中連續和離散推理方法的局限性。我們還考慮了第三類啟發式方法，這些方法獨立於變量的性質，可以應用於更廣泛的問題，但代價是不提供最優保證。考慮到問題目標函數的性質，當找到最優解不可能或不切實際時，通常應用這些方法。

4.1. 連續

連續優化算法通常是迭代方法。它們通過迭代更新它們來推斷一組參數的最佳值。該策略的常見數學公式由下式給出：
（2）
其中Θ是參數的向量，d 噸是在迭代搜索方向噸和ω 是步大小或增益因子。可以使用不同的策略來計算搜索方向。

可以根據不同的標準對連續優化方法進行分類（例如，凸或凹最小化，線性或非線性函數的求解器，平滑或非平滑問題等）。在這裡，我們簡單地根據它們是執行基於梯度或非梯度的優化來對它們進行分類，即，它們是否利用能量函數的第一（或更高階）導數來計算搜索方向，或者它們是否依賴於其他策略。Osechinskiy和Kruggel（2011b）提出了一個有趣的比較分析，其中來自兩個類的方法用於解決組織切片與MR圖像的切片到體積配準。

4.1.1. 基於梯度的方法

梯度驅動方法使用目標函數的導數來指導優化過程。在凸函數和可微函數的情況下，這些方法被賦予最優保證。否則，可以收斂到局部最小值，並且它們對初始化是明智的。它們的主要缺點是需要對能量函數導數進行分析推導或數值估計，從而降低其適用性，因為它通常很複雜。

梯度下降是此類別中最簡單的策略，其中搜索方向d t由能量函數的負梯度給出。它指的是標準的連續優化方法，並已廣泛應用於切片到體積配準的問題。

共軛梯度方法使用共軛方向而不是局部梯度來估計d t。能量函數具有長而窄的波谷形狀，可以使用比標準梯度下降方法更少的步驟進行優化，從而實現更快的收斂。Elen等人。（2010） ; Osechinskiy和Kruggel（2011b ）分別應用這種策略來估計剛性和非剛性切片到體積映射函數。

當能量函數的雅可比行列式或Hessian不能被計算或者計算得太昂貴時，使用準牛頓優化策略。在這種情況下，基於使用先前迭代提供的信息計算的Hessian的估計來計算時間 t 處的搜索方向。 。使用幾種相似性度量，應用準牛頓優化來在Kim（2005）中對腦切片進行可變形的 MR 切片配準。它還用於在 Brooks等人的術前體積中記錄2D術中US圖像。（2008年）。最流行的準牛頓方法之一是Honal等人使用的Broyden-Fletcher-Goldfarb-Shanno（BFGS）算法。（2010）在MRI採集期間校正呼吸運動偽影。有限內存版本的BFGS（L-BFGS）特別適用於涉及大量變量的問題，並應用於解決多片到卷的註冊問題。Fogtmann等。（2014） ; 徐等人。（2014a）。

Gauss-Newton方法可以處理非線性最小二乘函數。使用Hessian矩陣的近似值，一旦與梯度組合，就提供對這些函數的搜索方向的良好估計。因此，它只需要計算一階導數（與必須計算實際Hessian矩陣的標準牛頓方法相反）。在 Heldmann等人。（2010） ; Olesch等。（2011） ; Olesch和Fischer（2011），Gauss-Newton方法用於多模式配準，其中2D US切片的肝臟被登記到術前CT體積。它們的匹配標準計算平方差的和（SSD）對 3D和2D切片中肝臟血管結構的分割。SSD是最小二乘函數，因此可以有效地應用Gauss-Newton方法。該方法也用於Lasowski等人。（2008），解決了迭代重加權最小二乘（IRLS）過程，以估計fluoroCT和CT圖像之間的剛性變換。該Levenberg-Marquardt算法是解決非線性最小二乘問題的另一種方法，它也只需要一階導數。對於表現良好的平滑函數，該算法比標準Gauss-Newton方法花費更多時間。然而，該方法比標準Gauss-Newton更穩健，這意味著即使初始化不良也可以找到解決方案。據我們所知，這種優化算法僅用於估計剛體變換 ; 然而，它已被用於優化多個領域的幾個標誌性匹配標準，如重建3D細胞圖像（ Yu等，2011），內鏡幹預（Hummel等，2008）和胎兒腦成像（Kim，Hansen，Habas，Rousseau，Glenn，Barkovich，Studholme，2008b，Kim，Habas，Rousseau，Glenn，Barkovich，Studholme，2010b）。

4.1.2. 非基於梯度的方法

無導數方法消除了目標函數的可微分條件。它們適用於更廣泛的功能，包括噪聲，不可微分或甚至未知功能，其中我們只有一個黑盒子，在給定一組輸入參數的情況下返回輸出值。這些是在處理醫學圖像登記時經常出現的情況。

用於解決切片到卷註冊的最簡單的基於非梯度的方法是本地搜索或最佳鄰居方法。在這種情況下，使用步長ω依次擾動要估計的每個參數，並計算目標函數的值。然後，搜索方向d t被估計為產生目標函數的最大改進的方向。這種方法的主要缺點是它依賴於初始步長ω 的選擇。大步長可能導致算法移動到其捕獲範圍之外。另一方面，對於太小的步長，優化可能陷入局部最優（Penney et al。，2004a））。這種貪心算法已被應用於估計剛體和仿射變換映射切片到體積，其具有比可變形模型更少的DOF 。不同的圖像模式，如美國到MRI（ Penney等，2004a）或CT（Penney等，2006 ; Sun等，2007）圖像，以及fluoroCT圖像（Micu等，2006）被認為是臨床上。

Nelder-Mead（Nelder和Mead，1965）（也稱為下坡單純形法或變形蟲法）是最流行的無衍生物方法。它依賴於單純形的概念（a生活在n 維空間中的多面體，以系統的方式探索解決方案的空間。在每次迭代時，該方法在搜索表面上構造一個單純形，並在其頂點上計算目標函數。該算法通過在每次迭代時將通過剩餘n 個點的質心反射的點替換當前集合的最差頂點而在表面上移動。該方法可以收斂到局部最優值，用於平滑和單峰的目標函數。然而，與基於標準梯度的方法相比，它在複雜參數空間中表現出更強大的行為，在魯棒性和收斂時間之間提供了良好的折衷（Leung等，2008））。它已被廣泛用於切片到體積的配準應用。

另一種流行的基於非梯度的方法是眾所周知的Powell方法。它通過沿N個不同向量執行雙向搜索來探索搜索空間。通常，這些向量最初指的是canoninc方向。然後，使用先前的線性組合更新搜索方向。算法迭代直到沒有進行顯著改進。SmolíkováWachowiak等。（2005）應用Powell的方法將二維心臟圖像記錄到術前3D圖像。作者聲稱，與所有本地技術類似，Powell的方法收斂於局部最小值，但它通常穩健且準確，並且表現出快速收斂。Wein等。（2008B利用鮑威爾方法在特定方向上執行線搜索的事實。他們對仿射變換的12個參數應用主成分分析（PCA），將搜索空間減少到3個最重要的PCA模式。因此，Powell方向搜索以最重要的PCA模式啟動，這確保了良好的性能和穩健性。其他將Powell方法應用於我們問題的論文可以在這裡找到Fei等人。

4.2. 分離

在離散場景中，切片到體積的配準可以表示為馬爾可夫隨機場（MRF）上的離散標記問題（Wang等，2013 ）。MRF的離散優化通常是NP難問題（Shimony，1994 ）。但是，在特殊情況下，它可以從非常有效的解決方案中受益。普通的強力算法（即為每個變量嘗試所有可能的標籤組合）具有指數複雜性，使得這種方法不適合。在過去的二十年中，已經開發出更有效的算法，這促進了計算機視覺領域中圖形模型的使用。根據它們，它們可分為三大類Kappes等。（2013）：
1。
多面體和組合方法，解決了離散能量最小化問題的連續線性規劃（LP）鬆弛。中心思想是放寬變量的完整性條件以簡化問題。放寬完整性約束後，可以應用標準線性規劃方法來解決優化問題，並使用捨入策略來恢復積分解。這種方法的示例是局部多面體上的線性規劃鬆弛，二次偽布爾優化（QPBO）（ Rother等人，2007）和雙重分解（ Komodakis等人，2011）。

2。
消息傳遞方法，其中消息在圖中的節點之間計算和傳播。這種傳播可以看作是原始問題的重新參數化，旨在在重新加權函數中建立特殊屬性，使得推理更容易。例子是標準的Loopy Belief Propagation（LBP）（Murphy等，1999）和Three Re-weighted Belief Propagation（TRBP）（ Wainwright et al。，2005）。

3。
最大流量和移動算法利用圖論中眾所周知的最大流量最小切割（Boykov和Kolmogorov，2004 ）算法，該算法可以最優地解決離散能量的某些情況。這些方法通常與貪婪策略相結合，通過求解一系列max-flow min-cut子問題迭代地最小化標籤空間。例子是α-擴張，αβ交換（Boykov等，2001）和FastPD（Komodakis和Tziritas，2007）算法。更簡單的移動算法不使用max-flow，但仍然應用以初始標記開始并迭代地移動到更好的標準直到滿足收斂標準的策略，是經典的迭代條件模式（ICM）（Besag，1986）及其概括Lazy Flipper（Andres et al。，2012）。

圖形模型和離散優化是過去幾年在計算機視覺領域成功使用的強大形式（Wang et al。，2013）。通常，圖形模型表示為圖形 在哪裡頂點 對應於變量而 是一個鄰域系統（成對和高階集團），它編碼這些變量之間的關係。在離散優化問題，其目的是為離散標籤分配升v ∈ 大號到每個變量 通過最小化以下能量函數：
（3）
其中g v（l v）是一元勢， 是成對的術語和 是高階集團C i的高階項，取決於兩個以上的變量。請注意，此等式可視為等式的離散版本。（1），其中通過標記{ l p }對變換映射函數Θ進行參數化，並且在能量項中編碼相似性和正則化項。

基於方程式1的一般公式，已經提出了幾種模型。（3 ）。最近，Porchetto等人提出了一種切片到體積剛性配準的離散方法。（2016）。受先前使用圖形模型進行線性變換離散估計的工作的啟發（Zikic等，2010a ），他們通過完全連接的成對MRF來制定它，其中節點與剛性參數相關聯，並且邊緣編碼之間的關係變量。可變形圖像配準也可以表示為最小成本圖問題，其中圖的節點對應於變形網格的控制點和圖形連通性強加正規化約束。即使這種技術主要應用於單維情況（2D-2D或3D-3D）（ Glocker和Sotiras，2011），在過去的幾年中發表了一些工作，將這一理論擴展到切片到體積的情況註冊（ Ferrante，Paragios，2013， Ferrante，Fecamp，Paragios，2015， Ferrante，Paragios，2015）。

Ferrante和Paragios（2013）提出了使用圖形模型和離散優化進行可變形切片到體積配準問題的第一個解決方案。同時模擬平面位置和平面內變形的規則網格被解釋為圖形模型，其中每個網格點對應於離散變量。使用在5維標籤空間上的耦合公式內組合線性和可變形參數的成對模型。這種模型的主要優點是其成對結構提供的簡單性，而主要缺點是維度標籤空間的計算低效和近似（搜索空間的有限採樣）。考慮到能量函數的特性（成對項和非子模塊），採用FastPD作為優化算法。由 Shekhovtsov等人的工作所激發。（2008年），為了減少標籤空間的維度，Ferrante等人的工作。（2015年）提出了一個不同的模型（所謂的解耦模型），其中線性和可變形參數現在被分成兩個互連的子圖，這些子圖指的是較低維度的標籤空間。它通過增加邊和頂點的數量來減少標籤空間的維度，同時保持成對圖。在這種情況下，循環置信傳播被用作優化算法，因為FastPD通常需要所有節點的相同數量的標籤，這在給定標籤空間的不同維度的情況下是它們的設置中的問題。最後，在Ferrante等人。（2015年），提出了一種高階方法，其中標籤空間維數減少是通過增加圖形模型的順序來實現的，使用利用這種類型的變量交互的表達能力的三階集團。這樣的模型以非常具有挑戰性的推理為代價提供了對全局變形約束的更好滿足。在這種情況下，Loopy置信傳播也被用作優化算法。

與用於圖像配準的連續方法相比，離散方法具有若干優點。首先，它們本質上是無梯度的，而大多數連續方法要求目標函數是可微分的。其次，當函數不凸時，連續方法常常容易陷入局部最小值。然而，在離散方法的情況下，甚至可以使用大鄰居搜索方法來優化複雜的功能。第三，並行架構可用於執行若干離散算法（例如LBP中的消息計算）所需的非順序任務，從而實現更高效的實現。第四，通過使用離散標籤空間，可以明確地控制其範圍和解析度，這對於引入先驗信息是有用的。與連續方法相比，離散方法的主要限制是精度，其由連續空間的離散化限制。然而，正如Glocker（2010）所建議的那樣，即使最優性受離散化的限制，通過智能細化策略，也可以實現連續方法的準確性。

4.3. 雜

無論變量是連續的還是離散的，都可以使用不同的策略來探索解決方案的空間。啟發式或元啟發式可以獲得可接受的解決方案，特別是在我們處理非線性，非凸或黑盒優化問題的情況下，即使我們知道沒有提供最優性保證。在某些情況下（例如，初始化更複雜的註冊程序）具有近似良好的解決方案就足夠了; 在這些情景中，可以設想不同的策略。

進化算法是最受歡迎的生物啟發元啟發式算法。在進化計算中，生物進化的概念被用來探索搜索空間。特定人群的個體是我們問題的候選解決方案，並且它們根據不同的法則（例如突變，重組和選擇）發展。通過適應度函數來執行對給定解決方案的質量的評估，這實際上是我們的目標函數。這個想法是，在生成序列中，生成具有更好和更好適應性的個體，從而產生良好的解決方案。這些算法通常是隨機的。如果是這種情況，則可以根據參數空間中的多元正態分布對新的候選解進行採樣。Lin等人使用遺傳算法。（2013）估計膝關節的 2D MRI實時切片和3D MRI體積之間的6-DOF變換。在幾個切片到體積配準問題中應用的一種進化算法是協方差矩陣 自適應進化策略（CMA-ES）。該方法通過估計類似於逆Hessian矩陣的近似的基礎目標函數的二階模型來更新前述分布的協方差矩陣。Gefen等人提出了另一種基於遺傳算法來解決我們感興趣的問題的案例。（2005） ; 2008）。根據參數空間，也可以組合不同的優化策略。在Tadayyon等人。（2010） ; 2011例如，應用CMA-ES來優化剛性變換模型的平移參數，而使用標準梯度下降方法估計旋轉和可變形的參數。在它們對前列腺MR圖像的應用中，CMA-ES無法優化6-DOF搜索空間，因為無論是否縮放，它都在旋轉時發散。

另一種流行的元啟發式方法是眾所周知的模擬退火（SA）方法。它模仿金屬原子在材料被加熱然後緩慢冷卻時所遭受的物理過程。為了避免局部最小值，該算法探索降低目標函數的新方向，但也以一定的概率探索提高目標的那些方向。這種概率隨著迭代次數的增加而減少，因此它在早期迭代中遠離局部最小值，並且能夠在全球範圍內探索更好的解決方案。Birkfellner等人。（2007）使用這種方法將fluroCT切片登記到CT體積，優化了幾個標準的標誌性匹配標準，而Cifor等人。（2013） 將其應用於多切片到體積的配準情況，其中優化了與魯棒模態無關的相似性度量。

5. 切片數量

在本次審查中，我們包括單片和多片到體積的配準方法。而在第一種情況下，估計的切片到體積映射函數僅考慮單個2D切片，而在第二種情況下，幾個切片被映射到3D體積。

通過簡單地將算法獨立地應用於每個輸入切片，可以實現對多切片情況的任何單個切片到體積配準方法的簡單擴展。它將允許並行化過程 - 因為每個註冊可以並行執行 - 但同時，由於不考慮輸入切片之間的關係，因此將丟失上下文信息。已經提出了幾種這種類型的方法。我們可以引用費等人的話。（2003a）; 費蘭特等人。（2015）; Osechinskiy和Kruggel（2011b）; Yavariabdi等人。（2015年）等。

可以採用不同的策略來將多個切片註冊到給定的體積。在這裡，我們只審查對輸入切片集執行一致轉換的方法，但仍然將該過程視為基於切片而不將其視為完整且唯一的卷。不考慮使用輸入切片重建新體積然後執行標準3D-3D 註冊過程的方法。請注意，在一些像布魯克斯等人的作品中。（2008） ; 嚴等人。（2012） ; 徐等人。（2014a），已經進行了實驗以比較多切片與體積與體積與體積配準的性能。在Xu等人。（2014A），在MR前列腺圖像的背景下進行比較，以顯示多切片到體積的配準足以在術中捕獲前列腺運動。結論是，多片到卷的註冊能夠產生足夠接近體積到體積註冊的結果。考慮到僅使用幾個切片而不是完整卷時實現的數據計算減少，這是一個令人鼓舞的結果。布魯克斯等人。（2008）和Yan等人。（2012）在不同的醫療情景中得出了類似的結論。這一共識表明在可能的情況下使用稀疏切片而不是完整體積的可靠性。該策略有幾個優點：（i）由於要處理的數據量減少（只有幾個切片與完整的體積），計算要求較低，（ii）遺漏了潛在的複雜重建步驟，（iii）相似性度量的適應性更強，以及（iv）更容易並行化（Brooks et al。，2008）。

在存在多個切片的情況下，多切片到體積的過程 - 與單切片過程相反 - 極大地提高了匹配的質量，從而導致更穩健的配準方法（Yu等人，2011）。當切片之間的相對位置已知時，這甚至更有趣。在錢德勒等人。（2006） ; 2008年）中，例如，多切片與體積的配準來校正在短軸（SA）的圖像未對準的心臟解剖結構通過註冊兩個平行的切片（假設它們之間要對齊）的堆疊到高解析度3D MR軸心容量。在其他情況下，不同的配置，如正交切片，切片在任意位置對齊（使用跟蹤系統獲得）甚至是時間序列的切片（Miao et al。，2014），已註冊成卷。另一個案例是Yu等人。（2008） ; 2011 ），其中提出了雙重協議來重建細胞的微觀體積。雙協議由對相同單元成像的兩組多個切片組成，這兩個切片用兩種不同的幾何形狀捕獲。然後將兩組切片相互配準，並使用簡單的插值策略重建最終體積。

讓我們回想一下，與3D-3D配準方法相比，多切片到體積的配準涉及更低的計算複雜度。此外，與單切片方法相比，多切片到體積的配準通過增加圖像支持確實提高了配準過程的穩健性。處理多個切片需要比單切片情況更多的計算能力 ; 然而，在像徒手美國掃描的情況下，切片包含可以避免的冗餘信息。從這個意義上說，由於方案的複雜性與輸入切片的數量成正比，Wein等人。（2008a ）提出了一種策略，首先只選擇幾個關鍵切片。這些用於估計剛性或仿射變換模型，將美國切片映射到CT卷。由於徒手US掃描的相鄰幀包含重疊信息，因此僅選擇幾個關鍵切片。他們通過選擇具有最高圖像熵的那些切片來選擇信息量最大的切片。Olesch等。（2011）將相同的關鍵切片選擇技術應用於Heldmann和Papenberg（2009）提出的變分可變形配準框架。為此，考慮了整個體積中分布均勻的切片，其包含關於熵的有意義的信息。在另一部作品中， Olesch和Fischer（2011） 通過引入僅考慮在給定感興趣區域（ROI）中的切片的聚焦註冊策略來擴展該關鍵切片選擇技術。

在江等人。（2007b ），提出了一種多切片到體積的配準方法- 帶有體積重建（SVR）的快照磁共振成像- 用於處理MRI的重建移動主題 在重複地對感興趣的目標對象進行成像（產生相同移動物體的多個重疊的切片堆疊）以保證足夠的採樣之後，選擇其中一個堆疊。然後，應用迭代mutli切片到卷註冊策略，其中堆棧隨後（以剛性方式）註冊到參考。一旦所有堆棧都被註冊，它們將被平均以產生新的引用。然後，減少每個堆棧中的時間上連續的切片的數量，使得數據被分成在時間上連續的子包，儘管每個子包中的切片可能在空間上不相鄰。然後重複該過程：將子包註冊到平均圖像，再次更新，並且每個堆棧的切片數量再次減少; 重複該過程直到每個切片被單獨處理（減少到單個切片到體積的情況）並且重建最終平均體積。在江等人。（2007a）; 2009 ）這個想法被擴展到允許在同一場景中重建擴散張量圖像。在同樣的工作中，江等人。（2007b）測試了使用前瞻性獲取的數據和模擬病例同時使用平行和正交獲取切片的益處。最近，提出了一種快速的多GPU加速框架來執行SVR（Kainz等，2015 ）。他們提出了一種完全並行的SVR方法，用於從運動損壞的圖像堆棧重建高解析度體積數據。並行化在兩個級別執行：（i）在切片級別，多個切片被分別處理以用於大部分重建過程和（ii）由於基於像素/體素的操作彼此獨立，所以它們也可以並行執行。作者聲稱他們的方法比目前最快的多CPU框架快5到10倍。

Rousseau和Glenn（2005）以及Rousseau等人。（2006）提出將多組正交2D MRI切片註冊到高解析度MRI體積中。江等人的工作。（2007b ）與他們有一些相似之處。然而，不是在每個切片被單獨處理之前減少每個子包的切片數量，而是執行兩步法。在該設置中，低解析度圖像的全局對齊之後是將每個切片的低解析度圖像配準到重建的高解析度體積。僅考慮正交的切片組用於重建。

Kim等人的工作。（2008b）; 2010b）（建立在Rousseau，Glenn，2005，Rousseau，Glenn，Iordanova，Rodriguez-Carranza，Vigneron，Barkovich，Studholme，2006之上），提出了一種名為切片交叉運動校正（SIMC）的新方法。它直接根據堆棧中每對切片的交叉點來考慮註冊過程，從而避免了中間體積估計過程。通過最小化由不相似度量之和定義的全局能量函數來估計獨立的每切片剛性變換任何兩個正交切片之間的所有交叉輪廓。SIMC可以在這種情況下使用，考慮交叉的體素線而不是標準補丁或基於全局的計算。Kim等人。（2008b）; 2010b）將SIMC應用於重建移動的人胎腦的MR圖像的問題。從那以後，已經發表了對這項工作的一些擴展，例如Kim等人提出的工作。（2010c）將該方法擴展到Diffusion Tensor Images和Kim等人的案例。（2010a）; 2011）修改它以便考慮胎兒腦MR圖像的偏差場不一致性校正。

在Nir和Tannenbaum（2011）和Nir等人的研究中，考慮了一種基於粒子濾波（PF）的方法。（2014）處理組織學圖像到MR或US卷的多切片到體積的配準。PF框架以貝葉斯方式推導出參數的最優估計，解決了多模態配準中出現的兩個主要問題，例如初始化易感性和最優解。在 Chen等人的基於EPI的fMRI運動校正的背景下，PF框架被應用於頭部運動跟蹤的問題。（2016）。陳和他的同事使用這種策略在註冊過程中連續連續EPI切片，與標準的體積 - 體積和單片 - 體積配準方法相比，可以提高性能。

6. 應用

大量的臨床設置和應用程式可以從切片到卷的註冊中受益。在本次審查中，我們將它們分為兩大類。

6.1. 圖像融合和圖像引導幹預（IGI）

一些醫療程序，如圖像引導手術和治療（Fei等，2002 ），活組織檢查（Xu等，2014a ），射頻消融（Xu等，2013），跟蹤特定器官（Gill等。 ，2008 ）和微創手術（Liao，Zhang，Sun，Miao，Chefd』Hotel，2013，Huang，Moore，Guiraudon，Jones，Bainbridge，Ren，Peters，2009 ）屬於這一類。在這種情況下，切片到卷的註冊將高解析度的注釋數據帶入手術室。通常，術前3D圖像如獲取計算機斷層掃描（CT）或磁共振圖像（MRI）用於診斷並由專業醫師手動注釋。在外科手術過程中，使用不同技術（例如，fluoroCT，US或介入MRI切片）生成2D實時圖像。術中圖像與術前體積的對齊增強了醫生可以訪問的信息，並允許他們在執行操作時導航體積注釋（參見圖4）。這些術中圖像比術前圖像繼承更低的解析度和質量。此外，在手術過程中，組織移位塌陷以及呼吸和心臟運動圖像中的彈性變形，使得切片到體積的配準成為極具挑戰性的任務。在將自動方法與手動（人）結果進行比較時，已經證明了對齊的統計學顯著改善，顯示了在圖像融合和IGI背景下自動切片到體積配準算法的重要性（ Frühwald等，2009）。

圖4。需要切片到體積配準的主要應用之一是用於圖像引導程序的圖像融合。在該圖中，我們可以觀察到操作內的US切片被登記到術前CT圖像的示例。然後並排顯示圖像，提供補充信息（並排的US / CT圖像是從Ewertsen等人（2013）中提取的）。

費等人的開創性工作。（2001） ; 2002）; 2003a）; 2003c）; 2004 ）在圖像引導手術的背景下引入了圖像融合的標誌性切片到體積配準。動機是低解析度單光子發射計算機斷層掃描（SPECT）可以通過預先註冊高解析度MRI體積來實現，後者可以隨後與實時iMRI融合。這就是通過將高解析度MR圖像與實時iMRI採集相結合，Fei及其同事可以將功能數據和高解析度解剖信息映射到實時iMRI圖像，以改善熱消融期間的腫瘤靶向。

Birkfellner等人。（2007）使用切片 - 體積配準將2D螢光CT與體積CT融合，這是用於介入放射學中的圖像引導活組織檢查的公知工具。在這種情況下，使用具有造影劑的介入前診斷高解析度CT來定位肝臟中的病變。然而，在幹預期間，病變不再可見。因此，定位對應於術中螢光CT的CT切片允許醫生在活組織檢查期間找到病變。這種方法只考慮嚴格的轉換。但是，介入程序像射頻消融（RFA）或使用fluoroCT作為圖像引導技術的圖像引導活檢一樣，在患者連續呼吸時進行。因此，在註冊術前靜態CT圖像時也應考慮變形。Micu等人討論了這種變形的影響以及在這種情況下進行非剛性配準的可靠​​性。（2006年）和Lasowski等人。（2008年）。據稱，基於單一低質量螢光CT的2D-3D非剛性配準溶液不能像執行醫療程序那樣精確。這主要是由於螢光CT切片提供的肝臟解剖學特徵（主要是血管）支持不佳。他們提出通過提供圍繞最小估計姿勢的體積區域的自適應可視化（Lasowski等人，2008 ）來克服該限制。這種方法可以應對估計變形的不確定性，並且比單個註冊切片帶來更多信息。他們的方法執行嚴格的切片到體積配準，並包括沿平面外運動參數的平面方向確定的CT體積的視圖 在最小姿勢旁邊。

腹腔鏡和內窺鏡介入手術也利用切片到體積的配準。SanJoséEstépar等。（2009），提出了一種實時記錄內窺鏡和腹腔鏡US圖像與術前計算機斷層掃描體積的方法。它基於一種新的相位相關技術，稱為LEPART，用於嚴格配準。在Heldmann等人的文獻中可以找到在微創手術中應用切片到體積配準的其他方法。（2010） ; 鮑等人。（2005年）。

6.2. 運動校正和體積重建

第二類是運動校正和體積重建。這裡，目標是在重建特定模態的體積時校正未對準的切片（參見圖5 ）。解決此任務的典型方法包括將體積內的各個切片映射到另一個參考體積上，以便校正切片間未對準。流行的地圖切片到體積（MSV）方法引入了這個想法（Kim等，1999 ）。最近，在心臟磁共振（CMR）等不同背景下，切片到體積配準應用於同一問題（Chandler，Pinder，Netsch，Schnabel，Hawkes，Hill，Razavi，2008，Elen，Hermans，Ganame，Loeckx， Bogaert，Maes，Suetens，2010胎兒圖像（Seshamani等，2013 ）和彌散張量成像（DTI）（Jiang等，2009）已經顯示出有希望的結果。在這些問題中，通常假設單個切片是相干的，在空間不一致性僅發生在切片間級別的意義上。

---

圖5。在進行體積重建的運動校正時，切片到體積的配準是一項關鍵任務。在該圖中，我們可以觀察到典型的情況，其中患者在逐片採集3D圖像的同時移動，導致切片堆積體積損壞。通過切片與體積登記運動校正是改善重建的體積的質量的常用技術（該圖是基於圖1中從Chen等人（2016） ）。

---

在體積重建的上下文中的切片運動校正通常涉及切片到目標體積的迭代配準。目標體積可以是解剖學參考，或者可以使用切片運動的當前估計在每次迭代時重建目標體積，考慮對象的所有可能視圖。

Kim等人。（1999）引入了用於fMRI圖像的時間序列中的切片間運動校正的地圖切片到體積（MSV）方法。在這種情況下，頭部運動是測量fMRI時間序列中與給定刺激相關的強度變化的主要誤差來源（ Yeo et al。，2004））。MSV的目的是使用解剖學MRI體積作為參考，回顧性地將通過頭部運動移位的切片重新映射到其空間正確的位置。MSV方法通過使用Nelder-Mead下坡單純形法進行優化，通過最小化基於互信息的能量，為每個fMRI切片獨立估計6-DOF剛性變換。該方法被用作切片堆棧方法的替代方法。不考慮切片方式的配準，而是假設切片的堆疊已經在它們之間進行了登記，並且忽略了多切片回波平面成像（EPI）採集序列固有的切片間運動（因為每個切片以連續的時間間隔被激發） 。MSV表現出比以前的音量更好的性能登記方法，但由於較小區域的信息支持有限（紋理區域較少，背景較多），端蓋切片的估計位置參數的可靠性較低。Park等。（2004）提出使用切片到體積的聯合映射（JMSV）來克服這種限制。JMSV是一種多切片配準方法，其聯合估計每個切片的剛體變換，同時懲罰對象的運動軌跡中的隱含加速度- 順序獲取的切片的運動參數的突然變化。標準MSV的其他擴展包括（i）可變形註冊的計算（ Kim等，2000）通過TPS 轉換模型 ; （ii）通過並發迭代場校正重建來改善MSV的運動校正能力（Yeo，Fessler，Kim，2004，Yeo，Fessler，Kim，2008 ）; （iii）廣泛評估MSV的激活檢測性能和運動參數估計的時間濾波效果（ Yeo等，2006 ）和自旋飽和效應（Kim等，2008a ）; （iv ）通過結合關節改進低複雜性末端切片（頭部掃描頂部或底部附近的切片，呈現較差信息）中的MI 匹配標準估計在同一時間序列中從成功登記的中心切片估計的圖像強度的概率密度函數。

在Kim等人的基礎工作之後。（1999）及其擴展（其中大多數與fMRI圖像重建有關），另一個需要校正切片間運動的問題開始引起社區的注意：胎兒腦MR成像。在這種情況下，沒有可用作目標體積的解剖學參考; 因此，在註冊過程中使用切片的當前估計來計算參考體積。江等人。（2007a）和Rousseau等。（2006）建立了一系列新方法的基礎，這些方法依賴於切片到體積配準和散亂數據插值的迭代（SDI）執行移動物體的超解析度重建 - 特別是胎兒腦MRI-。兩種方法共享一個類似的迭代切片到體積註冊方案，但在SDI方法上有所不同：而Rousseau等人。（2006）使用基於高斯核的SDI，Jiang等。（2007a ）依靠一個控制點的規則網格，作為一個立方B樣條函數來執行SDI。在最近的一項工作中，Gholipour和Warfield（2009）以及Gholipour等人。（2010）批評基於SDI的方法，指出這些技術都不能保證重建的收斂，至少是局部最優解決方案。因此，他們提出使用最大似然（ML）誤差最小化方法，其保證重建圖像的收斂以通過最速下降誤差最小化來匹配運動校正切片。Gholipour等人提出了這種方法的擴展。（2011），使用基於實時傳感器的跟蹤（即，基於非圖像的方法）來估計每個切片的初始位置，然後通過基於ML誤差最小化的回顧性切片到體積配準方法來細化。

7. 驗證切片到卷的註冊方法

本研究中發現的一個主要問題是缺乏開放/公共基準，其中金標準注釋專門用於驗證切片到批量註冊方法。這種類型的數據集通常可用於大多數醫學圖像分析問題，1可以將新方法與最新技術進行比較，從而產生更具建設性的貢獻。幾個切片到體積登記研究中使用的少數公共數據集之一（ Rivaz，Karimaghaloo，Fonov，Collins，2014c， Rivaz，Karimaghaloo，Collins，2014b， Rivaz，Chen，Collins，2014a， Ferrante，Paragios，2013，Pardasani，Baxter，Peters，Khan，2016 ）是Mercier等人介紹的MNI BITE（蒙特婁神經病學研究所的腫瘤腦圖像評估資料庫）。（2012）。它包含幾個患者的2D US，3D US和MRI腦圖像，以解剖學標誌的形式提供地面實況。即使該數據集用於多個研究，也不是專門設計用於驗證切片到體積的配準方法，特別是在單切片方法的情況下。如Pardasani等人所述。（2016），有一點需要注意的是，這些地標是在重建的美國卷（不是獨立的切片）中確定的，因此有不同的解決方法（參見第7.2.2節）必須使用它來使其適應單個切片到體積的配準驗證（我們需要2D和3D圖像中的同源注釋）。

專門設計用於評估切片到體積配準方法的新驗證數據集應包括解剖標誌形式的注釋，感興趣結構的手動分割以及在2D和3D圖像中映射切片到體積的金標準轉換。用於基準測試的公共數據集被證明對圍繞視覺問題構建社區至關重要（如用於對象類識別的Pascal VOC數據集（Everingham等，2010）或用於腦圖像分割的IBSR數據集IBSR），它們肯定有助於切片到 - 體積登記是一個完善的問題。

在下文中，我們分析了用於驗證本評論中考慮的方法的標準方法，討論了切片到卷註冊的優缺點。

7.1. 圖像類型

有兩種主要類型的圖像用於驗證：幻像和臨床圖像。模體是人造物體，可以在受控條件下掃描以模擬患者真實圖像的採集。它們通常設計用於模擬人體或動物組織的某些特性，並用於校準醫學成像設備的參數或用於基準測試目的。不僅是人工解剖結構（如乳房（Marami等，2011），心臟（黃等人，2009），腹部結構（楊，丁，康，朱，王，楊，丁，王，康，朱， Shen，2015， Birkfellner，Figl，Kettenbach，Hummel，Homolka，Schernthaner，Nau，Bergmann，2007），腰椎（Yan et al。，2012 ），盆腔器官（Fei等，2004）等）以及其他類型的非傳統物體（如樂高積木（Xiao et al。，2016 ）甚至菠蘿（Gholipour等，2011））被認為是在切片到體積配準的背景下成像的模型。此外，數字模擬的模型（如Ghostipour等人（2010）中考慮的BrainWeb（Cocosco等，1997）或Kim等人採用的著名的分析型Shepp-Logan模型（Shepp和Logan，1974）（ 2011））也被使用過。數字模擬模型的主要優點之一是，由於我們詳細了解圖像是如何生成的，因此我們可以為某些感興趣的結構提供額外的信息，如分割掩模或概率圖，然後可以用於驗證，因為我們將見7.2節。可以考慮的其他類型的圖像是臨床研究。這是最常見和最有價值的案例，其中捕獲真實患者的圖像並用於驗證註冊方法。

本綜述中考慮的大多數方法都使用臨床圖像進行驗證，因為它證明了該方法在實際臨床環境中應用的潛力。但是，必須指出的是，臨床數據集的主要缺點之一是缺乏注釋。尋找臨床圖像的注釋比模型更難，因為我們通常需要能夠手動注釋它們的專家。因此，徐等人等幾位作者採用了一種共同的策略。（2008） ; 黃等人。（2009） ; SanJoséEstépar等。（2009） ; Kim等人。（2011） ; Gholipour等。（2011） ; 舒爾茨等人。（2014） ; 凱恩斯等人。（2015） 將虛擬和臨床數據集結合起來，努力實現兩全其美：基於幻像數據的精確測量，以及使用臨床數據的實際驗證。

7.2. 測量切片到體積配準方法的性能

已經考慮了替代指標來量化切片到批量註冊的性能。雖然其中一些測量全局屬性（如剛性配準中的估計參數），但其他方法關注於局部方面（例如，特定解剖標誌中的誤差或註冊前後圖像強度方面的局部差異）。表3包括用於驗證本調查所包含方法的最相關指標的摘要。在這裡我們詳細討論它們。

7.2.1. 轉換參數之間的距離

給予單一切片或多個切片和音量，如果變換Θ GT兩個圖像映射是已知的，我們可以估算之間的距離Θ GT和估計的轉換。該方法主要用於驗證全局線性變換（參見例如Kim等人（1999） ; Park等人（2004） ; Dalvi和Abugharbieh（2008） ; Ferrante和Paragios（2013） ; Lin等人（2013） ））其中要估計的參數數量低，每個參數的距離可以報​​道。但是，在Su等人。（2013），應用相同的策略來測量估計的變形場的準確性。在這種情況下，他們只考慮每個像素中變形場組成部分上歐氏距離的平均值，由下式給出： 哪裡 是位置x中的地面實況和估計變形場的相應位移矢量，N是像素的總數，Ω是圖像域。

請注意，這個策略需要事先知道確切的轉換（剛性或非剛性）Θ GT繪圖片與體積。在幻像和臨床情景中，這種情況很少發生。為克服這一局限，在一些工作中應用了一種常見的策略（例如Kim等人（1999） ; Park等人（2004） ; Yeo等人（2004） ; SmolíkováWachowiak等人（2005） ; Yeo等人（2006） ; Birkfellner等人（2007） ; Dalvi和Abugharbieh（2008） ; Gefen等人（2008） ; Kim等人（2008a）; Yeo等人（2008） ;Elen等人。（2010） ; Gholipour等。（2010） ; Zakkaroff等。（2012） ; Ferrante和Paragios（2013年） ; 費蘭特等人。（2015）; 2015）; Porchetto等。（2016））包括通過從給定3D圖像的已知變換中提取任意切片來生成合成地面實況。然後擾動這些參數以初始化註冊過程，並用作地面實況來計算關於估計變換的誤差。另一種方法是生成青銅標準注釋。在這種情況下，想法是儘可能使用更可靠的配準方法（例如，當多個切片可用時進行體積到體積的配準，或者在提供準確的解剖學界標時進行基於地標的配準）以獲得變換，然後將其視為地面實況。在 Fei等人的文章中可以找到製備用於切片到體積配準的青銅標準注釋的替代方法。（2002） ; 2003a）; 2004）; 2003c）; Penney等人。（2006） ; 江等人。（2009年）。

7.2.2. 基於點的註冊錯誤

文獻中經常使用的另一種常見策略是基於地標。我們的想法是注釋在切片和體積圖像中都可見的興趣點，以便我們可以在註冊前後測量相應點之間的距離。地面實況與登記的解剖標誌之間的平均距離通常稱為目標登記誤差（TRE），並計算如下：
（4）
哪裡 是源域和目標域中的相應地標，M是地標的數量和 是註冊參數化後的估計變換 。該係數有時稱為均方根誤差（RMS）。如果使用基準標記而不是解剖學點，那麼該度量被稱為基準配準誤差（FRE）。這兩個概念最初都是在 Fitzpatrick等人的開創性工作中引入的。（1998）測量幾何配準方法的性能，但已被註冊社區採用作為一般驗證度量。已經使用TRE的不同變體來驗證Bao等人的切片到體積配準方法。（2005） ; 盧梭和格倫（2005年） ; Penney等人。（2006） ; Rousseau等。（2006） ; Hummel等人。（2008年）; Leung等。（2008） ; Wein等。（2008a）; 黃等人。（2009） ; Tadayyon等。（2011） ; 嚴等人。（2012） ; Cifor等。（2013） ; Fuerst等。（2014） ; Nir等人。（2014） ; Rivaz等人。（2014c）; 2014b）; 2014a）; 徐等人。（2014a）; 2014b）; Yavariabdi等人。（2015） ; 肖等人。（2016），包括基準和解剖標誌。

基於地標的錯誤是註冊質量的可靠指標。然而，必須注意的是，在切片到體積的配準情況下，切片太稀疏，注釋這些感興趣的點可能是非常困難的並且有時是不可能的。Pardasani等人採用了一種簡單的解決方法。（2016）使MNI BITE數據集（在重建的美國體積和3D MRI圖像中識別地標）適應切片到體積的配準情況：它們僅使用距專家0.3毫米範圍內的美國切片 -確定了地標。這減少了可用切片的數量，但允許他們計算TRE指標。

即使沒有地標，也可以採用基於點距離的替代測量。在這種情況下，在註冊之前和之後將感興趣區域內的體素的位置與目標中的對應體素進行比較。考慮到體素之間的距離的方法已經用於幾種切片到體積的配準方法，如Fei等人。（2002） ; 2004）; 2003c）; 2003a）; 錢德勒等人。（2006） ; Kim等人。（2008b）; Tadayyon等。（2010） ; Kuklisova-Murgasova等。（2012） ; Fogtmann等。（2014）。然而，我們仍然需要一種方法來在兩個圖像中的體素之間建立對應關係，這並不總是可用的。

7.2.3. 基於細分的指標

當分割掩模可用於切片和體積圖像中的某些感興趣結構時，在註冊之前和之後計算的基於分段的統計可用於驗證。理性的是，在註冊之前未對齊的結構應該在之後。因此，通常的策略在於從初始位置的體積中提取切片，並在註冊後進行相同的切片。此時，問題減少到在兩個2D圖像之間計算基於分段的統計。已經考慮了基於分段的替代係數來處理切片到卷的配準驗證。

Dice係數（Dice，1945）（DSC，也稱為Sørensen-Dice係數或相似性指數SI）量化了兩個給定的分段掩模A和B之後的重疊量。其值範圍從0（表示無空間重疊）到1，表示完全重疊。該係數已被廣泛應用於幾種切片 - 體積配準方法，其中肝腫瘤的分割掩模（Cifor等，2013 ），腦結構（Ferrante，Paragios，2013，Ferrante，Fecamp，Paragios，2015，Kainz， Steinberger，Wein，Kuklisova-Murgasova，Malamateniou，Keraudren，Torsney-Weir，Rutherford，Aljabar，Hajnal，Rueckert，2015），前列腺（Nir等，2014 ），心臟左心室（Xu et al。，2014b）和骨盆器官（Yavariabdi等，2015） 被認為是。Brooks等人在切片 - 體積研究中使用了替代重疊測量。（2008） ; 錢德勒等人。（2008） ; Osechinskiy和Kruggel（2011a）; Museyko等人。（2014））。正如Yavariabdi等人所述。（2015），請注意，高骰子並不意味著良好的輪廓重疊，這是在註冊感興趣的結構之後的期望屬性。在這種情況下，可以報​​告諸如Hausdorff距離（輪廓之間的最大距離）和輪廓平均距離（CMD）的指標（在切片到體積配準的情況下的示例可以在Sun等人（2007）中找到）; 布魯克斯等人。（2008） ;Elen等人。（2010） ; Tadayyon等。（2010） ; 2011）; Zakkaroff等。（2012） ; Nir等人。（2014） ; Yavariabdi等人。（2015））。

使用分段掩碼進行切片到體積註冊驗證的主要優點是它們的可用性：分割掩碼形式的注釋比地標或地面實況轉換更頻繁。此外，如果我們的目標是評估非剛性配準，估計的變形域可用於扭曲分割掩模，從而可以對可變形配準誤差進行量化。然而，正如Rohlfing（2012）所討論的，必須注意用於驗證的感興趣的結構。使用寬和非良好定位的結構分割（例如腦組織）計算的統計數據可能無法提供足夠的證據來驗證配準準確性。根據作者的觀點，只有較小的，更局部化的感興趣區域近似點標誌，才能提供這樣的證據，因為它們的重疊近似於基於點的配準誤差。結合區域重疊和基於輪廓距離的係數（其提供關於配準質量的補充信息）已被建議作為減輕這種不一致性的方式（ Ferrante，Paragios，2015， Yavariabdi，Bartoli，Samir，Artigues，Canis，2015）。

7.2.4. 基於外觀的指標

外觀信息也可用於驗證。當切片到體積配準方法是朝向執行運動校正/體積重建的中間步驟時，評估配準質量的間接方式是通過量化重建精度。在這種情況下，重建誤差通過的強度差（通常是測量的均方根差異或RMSD）或信噪比（SNR）估計，並用於地面實況體積。在一些作品中考慮的另一種選擇是衡量重建的銳度。的直覺的是，當未校正的運動或誤差殘差之間輸入圖像採集都存在時，平均圖像將被成像的結構（的離焦運動模糊版本 Gholipour和沃菲爾德，2009年）。這種測量的主要優點之一是它不需要地面實況重建圖像，因為它是直接在估計的體積上計算的。

可以使用估計和目標切片之間的簡單強度差異或相關度量的另一種情況是在執行單峰切片到體積配準時。在這種情況下，SAD，SSD或CC可用於通過視覺誤差量化來測量配準精度，因為切片和體積強度傾向於線性相關（參見例如Marami等人（2011）和Porchetto等人（2016））。在多模式情況下，也可以採用更複雜的度量（例如MI或NMI）或甚至針對特定模態定義的臨時相似性度量（如Wein等人（2008b）使用的LC 2度量）進行驗證。

最後一種策略包括量化的視覺檢查，其中要求一個或多個專家在視覺上評估根據給定比例分配分數的註冊質量。這種方法採用Birkfellner等人的方法。（2007） ; 波爾等人。（2007） ; Frühwald等人。（2009） ; Kim等人。（2010b）; 蘇等人。（2013年）。這種策略的主要缺點是它非常耗時並且需要人為幹預。但是，這種方法可以與本調查中列出的任何其他方法結合使用，因為它提供了從專家知識獲得的補充信息，這很難通過客觀/數學指標進行量化。

8. 討論和未來方向

在本次調查中，我們回顧並討論了與切片到卷註冊相關的文獻中的一些最重要的工作。根據不同原理對這些論文進行分類，包括匹配準則，轉換模型，優化方法，切片數量，應用和驗證策略。

在分析表1和表2 （其中提供了該工作的簡要總結）時出現的結論之一是，本調查中討論的大多數方法都集中在剛性配準，使用標誌性匹配標準和連續優化技術。因此，值得一提的是，在處理切片到卷的註冊時，為什麼這種趨勢如此清晰和明顯。大多數作品估計剛性變換的事實可能與兩個主要原因有關。第一個問題與應用程式角度的簡單要求有關。如第3.1節所述這種基本的變換模型足以表達簡單的切片到體積映射，因為它可以處理平面內和平面外的平移和旋轉。在不繼承圖像失真的臨床場景中- 類似於切片間運動校正的基本情況 - 這種類型的模型可能就足夠了。在更複雜的情況下，如圖像引導手術事實上，由於在手術期間組織移位塌陷和呼吸/心臟運動，術中圖像相對於術前體積變形。此外，不僅在術中病例中而且在非介入成像期間，許多身體器官（例如心臟，肺或舌）具有自然彈性運動。即便如此，剛性模型仍然在文獻中佔主導地位。這與我們發現的第二個原因有關：醫生之間對非剛性轉變的普遍不信任。從醫學的角度來看，有時候提供可靠但近似的線索比不切實際的解決方案更可取。非剛性和彈性模型可能導致從幾何角度來看是正確的解決方案，但它們在解剖學上沒有意義。現實的進一步研究反映物理組織特性的變形模型肯定會提高我們估計的準確性，並在醫學界內對我們的方法建立信任。

---

表1。比較表：它包括本調查中引用的那些論文的選擇，這些論文發表在與醫學圖像分析相關的最重要的期刊和會議上。它們根據本工作中使用的分類法進行分類，即匹配標準（第2節），轉換模型（第3節），優化方法（第4節）和切片數（第5節）。

---

標準匹配標準（基於替代相似性度量）被證明是描述解決方案質量的偏好選擇。如果我們認為缺少與切片到體積配準自然相關的圖像支持，並且在操作中，實時和低質量模態中經常出現的圖像噪聲（通常對應於輸入的2D圖像），這在某種程度上是出乎意料的。這使得解釋圖像相似性變得困難完全基於強度信息。從這個意義上講，我們確定了兩種有助於緩解這種局限的策略。第一個是使用（如果可能）多個切片而不是單個切片。通過這種方式，可以通過增加圖像支持來提高匹配質量，同時與標準3D-3D 配準方法相比保持較低的計算複雜度（如第5節所述，此策略在處理運動校正時特別有用）影像重建）。第二個是將標誌性匹配標準與幾何或基於傳感器的策略相結合（如第2.4節所述）。雖然最後一個對圖像變化和不連續性更加穩健，但前者有助於產生更多準確的方案。當與基於傳感器的方法結合使用時（例如，在傳感器可以連接到成像設備或手術工具的圖像引導幹預中），標誌性相似性測量顯示有助於改進初始剛性估計並提供更精確的結果。

在優化策略方面，即使計算機視覺和醫學成像的社區在過去十年中開始大量採用離散方法，但在片到體積註冊的特定情況下也沒有發生同樣的情況。雖然大多數已發表的方法採用連續優化器（基於梯度和非梯度），但最近發表的一些作品開始從離散的角度來設想這個問題。連續方法已經很好地建立並且顯示出足夠好以處理基本的切片到卷的配準問題。然而，在其他生物醫學圖像分析問題中獲得的結果通過離散方法建模（Paragios等人，2016 ）表明這些策略具有很大的潛力，仍有待用於切片到體積的註冊。在要估計的參數數量太多的情況下（例如，採用密集變形場作為變換模型的可變形配準），能量函數不是凸的（例如多模態圖像配準）或者搜索空間非常寬（例如差的初始化），離散方法可能會有所作為。

計算機視覺和醫學成像的研究團體已經做出了重大努力來開發更準確的切片到體積的配準策略，主要考慮這個問題的幾何方面。然而，我們在21世紀目睹的大量圖像數據產生，再加上人工智慧的最新進展，特別是深度卷積網絡（ LeCun等，2015），開啟了設想切片的可能性。 - 在完全不同的範例內註冊體積圖像。使用大量數據訓練的深度卷積網絡在其他基本視覺任務（如圖像）中優於所有現有的最先進策略分割（Long et al。，2015）和物體檢測（ Szegedy等，2013）。最近一些關於使用CNN的圖像配準和矢量流估計的工作（不僅有相似性度量，還有實際註冊過程從實例中學習）表明這些問題不是例外。在這種範例下的切片到體積圖像配準的制定剛剛開始被探索並且仍然在很大程度上未被探索。從這個意義上說，已經取得的有希望的結果表明轉向基於學習的切片到體積的註冊範例可能會導致更快，更準確的預測，從而在該領域打開新的大門。