前沿研究丨深度學習在醫學超聲圖像分析中的應用

本文選自中國工程院院刊《Engineering》2019年第2期

作者：劉盛鋒，王毅，楊鑫，雷柏英，劉立，李享，倪東，汪天富

來源：Deep Learning in Medical Ultrasound Analysis: A Review[J].Engineering,2019,5(2):261-275.

編者按

作為最常用的成像模態之一，超聲已經成為臨床上不可或缺的掃查與診斷工具。超聲是一種快速發展的技術，具有無痛苦、無電離輻射、經濟實用、實時成像等優點；同時也有成像質量差、差異性大等特有的缺點。對於圖像分析來說，很有必要開發先進的自動化超聲圖像分析方法來幫助醫生進行超聲診斷，一方面可以減輕醫生的負擔，另一方面可以降低診斷的主觀性，從而使診斷更加客觀與準確。

中國工程院院刊《Engineering》刊發《深度學習在醫學超聲圖像分析中的應用綜述》一文，旨在全面而系統地總結深度學習在醫學超聲圖像分析中的應用，主要是在典型的任務及其在不同解剖結構中的應用。文章指出，在醫學超聲圖像分析中，深度學習展示了巨大的應用潛力，簡要介紹了一些流行的深度學習結構，討論了深度學習方法在超聲圖像分析的各種特定任務（如圖像分類、物體檢測與目標分割）中的應用。文章指出了深度學習在醫學超聲圖像分析應用中所面臨的挑戰以及潛在的發展趨勢。

一、

引言

作為最常用的成像模態之一，超聲（US）已經成為臨床上不可或缺的掃查與診斷工具。由於具有相對安全、成本較低、無創、實時成像以及操作舒適等優點，超聲成像尤其廣泛應用於世界各地的產前篩查中。幾十年的臨床實踐證實，與其他如X射線、磁共振成像（MRI）與計算機斷層掃描（CT）在內的醫學成像模態相比，超聲成像具有一些明顯優勢，如無電離輻射、攜帶方便、易於接近以及成本效益高等。在當前的臨床實踐中，醫學超聲已在各個專業科室得到了應用，如心電圖、乳腺超聲、腹部超聲、經直腸超聲、心血管超聲以及產前診斷超聲，尤其廣泛應用於婦產科（OB-GYN）。

但是，超聲也存在一些獨特的挑戰，如因噪聲與偽影引起的低成像質量，高度依賴操作者或者診斷醫生的經驗，以及不同機構和廠家超聲系統之間具有觀測者內或者不同觀測者之間的高度差異性。例如，一項使用超聲圖像進行產前異常檢測的研究表明，不同醫學機構之間的敏感度範圍為27.5%~96%。為了應對這些挑戰，開發先進的自動化超聲圖像分析方法，能夠使得超聲診斷和（或）評價，以及圖像引導的幹預和（或）治療更加客觀、準確與智能。

深度學習是機器學習的一個分支，也是一種表徵學習方法，能夠直接處理原始數據（如超聲圖像），並從中自動學習到中層與高層抽象特徵。它有潛力進行各種超聲圖像任務的自動分析，如病變/結節分類、組織分割與目標檢測等。自從AlexNet——一種深度卷積神經網絡（CNN）與深度學習方法的代表，贏得了2012年ImageNet大規模視覺識別挑戰賽（ILSVRC）之後，深度學習開始在機器學習領域引起關注。一年後，深度學習入選世界十大突破技術之一，這進一步穩固了其作為各種研究領域，尤其在一般圖像分析（包括自然圖像與醫學圖像）與計算機視覺（CV）任務中，作為最主要機器學習工具的地位。到目前為止，在網絡結構或者模型方面，深度學習獲得了快速的發展，如更深的網絡結構與深度產生式模型。同時，深度學習也成功應用於各種研究領域，如CV、自然語言處理（NLP）、語音識別以及醫學圖像分析，因此表明深度學習能夠在各種自動分析任務中獲得顯著的性能改善，並能取得最優的性能表現。

當前，深度學習已應用在醫學圖像分析的各種任務中，如包括分類、分割、檢測、配準、生物學測量與質量控制/評價在內的傳統診斷任務，以及包括圖像引導的幹預與治療在內的新興任務（圖1）。在這些任務中，分類、檢測與分割是3個最基本的任務。它們被廣泛應用於不同解剖結構（器官或身體部位）的醫學超聲圖像分析中，如乳腺、前列腺、肝臟、心臟、大腦、頸動脈、甲狀腺、心血管、胎兒、淋巴結、腎臟、脊柱、骨骼、皮膚、神經結構、舌等。多種深度網絡應用於這些任務中。CNN是最流行的深度結構之一，在各種任務中獲得了極大的成功，如圖像分類、物體檢測與目標分割。最常用的方法是使用CNN模型從採集的原始數據（如超聲圖像）中進行自動學習，從而產生分層抽象表示，然後再通過softmax層或者其他線性分類器[如支持向量機（SVM）]產生一個或者多個概率圖或類別標籤。在這種情況下，圖像標註或標籤是必不可少的。這就是所謂的「監督學習」。無監督學習也能從原始數據中學習表示。自編碼機（AE）與限制玻爾茲曼機（RBM）是醫學超聲圖像分析中最普遍使用的無監督神經網絡，取得了不錯的性能改善。與監督學習相比，無監督學習有一個顯著的優勢，它不需要耗時耗力、枯燥乏味以及昂貴的人工標註。

圖1 深度學習在醫學超聲圖像分析中的應用

儘管當前的醫學超聲圖像分析主要集中在二維（2D）超聲圖像處理，深度學習在三維（3D）醫學超聲圖像分析中的應用也呈現了增長的趨勢。在過去20多年中，商業公司與研究人員一起極大地促進了3D超聲成像技術的發展。一張3D圖像（也常稱為「3D體積」）通常比2D圖像包含更豐富的信息，因此使用3D體積能夠獲得更魯棒的結果。

更具體地說，2D超聲圖像具有一些不可避免的局限性：

①儘管超聲圖像是2D的，而解剖結構是3D的，因此檢測人員或者診斷醫生在他/她的腦海裡一定要有集成多張圖像（這個過程通常可能無效且很耗時）的能力，這個能力的缺失將導致較大的差異甚至誤診。

②診斷（如婦產科）與治療（如分期與計劃）決策通常需要對器官或腫瘤體積進行準確的估計，然而2D超聲通過假定測量目標為一個理想的形狀（如橢球體），從長、寬、高等簡單的測量中進行體積測量。這可能導致準確率較低，差異性較大，且依賴操作者的經驗。

③一張2D超聲圖像呈現了身體中任意角度的一個平面，對於隨訪研究，這些平面很難再定位與復現。

為了克服2D超聲的局限性，各種3D超聲掃查、重建與顯示技術被開發，這給3D超聲圖像分析提供了很好的基礎。此外，3D超聲成像技術的發展也支持了當前的深度學習在醫學超聲圖像分析中的應用。

到目前為止，已有一些有關深度學習應用於醫學圖像分析的綜述，它們要麼涉及整個醫學圖像分析領域，要麼只關注單個成像模態，如磁共振成像（MRI）與顯微成像。然而，除了極少數涉及特定的任務，如乳腺超聲圖像分割以外，很少有文獻總結深度學習在醫學超聲圖像分析中的應用。

通過指定關鍵詞（如「超聲」或「超聲檢查」或「超聲成像」與「卷積」或「深度學習」），在主要的資料庫（如PubMed與谷歌學術資料庫）和一些重要的會議（如MICCAI、SPIE、ISBI與EMBC）中檢索了2018年2月1日之前的這個領域中的所有相關文獻。

為了篩查所有檢索到的文獻，通過詳細瀏覽每一篇文獻的摘要，保留相關的文獻，最後得到近100篇文獻，匯總於表2與Appendix A中的Table S1。本文旨在全面而系統地總結深度學習在醫學超聲圖像分析中的應用，主要集中在典型的任務及其在不同解剖結構中的應用。本文的其餘部分安排如下：第2節簡要介紹醫學超聲圖像分析中常用深度學習方法的基本理論與結構；第3節詳細討論深度學習在醫學超聲圖像分析中的應用，主要集中在包括分類、檢測與分割在內的傳統任務；最後，第4節指明深度學習在醫學超聲圖像分析應用中的未來趨勢與發展方向。

圖2 深度學習在醫學超聲圖像分析中的應用統計。（a）解剖結構；（b）出版年份；（c）網絡結構。DBN：深度置信網絡；FCN：全卷積網絡；Multiple：多種網絡結構的組合；RNN：循環神經網絡；AE：自編碼機包括它的變體：稀疏自編碼機（SAE）和堆疊去噪自編碼機；RBM：限制玻爾茲曼機

二、

常用深度學習結構

本節主要介紹醫學超聲圖像分析中普遍使用的深度學習結構。作為機器學習的一個分支，深度學習實質上是計算樣本數據的分層特徵或表示形成，其中高層次的抽象特徵是通過將它們與低級特徵相結合來定義的。

基於所討論的深度學習結構與技術（如分類、分割或檢測），本領域最常用的深度學習結構可分為3大類：①監督深度網絡或深度辨別式模型；②無監督深度網絡或深度產生式模型，以及③混合深度網絡。當前醫學超聲圖像分析應用中最基本的模型或結構是CNN、循環神經網絡（RNN）、RBM/深度置信網絡（DBM）、AE，以及這些深度學習結構的變種，如圖3所示。上述第三類中的「Multiple」指的是要麼由產生式和辨別式模型成分組成，要麼充分利用它們所生成的模型，因此這一類在下文中不再特別討論。相反，本節將繼續介紹醫學超聲圖像分析中普遍存在的訓練深度模型所遇到的挑戰及其應對策略。為了方便起見，還總結了一些常用的深度學習框架。

圖3 5種典型的神經網絡結構，主要分為兩大類：（1）監督深度學習模型，包括（a）CNN和（b）RNN；（2）無監督深度學習模型，包括（c）AE/SAE，（d）RBM，以及（e）DBM

（一）有監督深度學習模型

當前，監督深度學習模型廣泛應用於醫學圖像分析中解剖結構的分類、分割與檢測。在這些任務中，CNN與RNN是兩個最常用的結構。下面簡要介紹一下這兩個深度模型。

1. 卷積神經網絡

CNN是一種辨別式深度結構，包括一些模塊，每一個模塊一般由一個卷積層與一個池化層構成。如果有必要的話，後面還有其他層，如校正線性單元（ReLu）與批量標準化（BN）。網絡的最後部分一般是全連接層，這樣就構成了一個標準的多層神經網絡。就結構而言，這些模塊通常是一塊一塊堆疊起來，形成一個深度模型，這樣能夠充分利用輸入的2D或3D圖像的空間與配置信息。

通過對輸入圖像進行卷積操作，卷積層共享所有的權重。事實上，卷積層的作用就是檢測輸入圖像/特徵圖譜（如醫學超聲圖像）中不同位置的局部特徵，得到一組k個核的權重W={W₁,W₂, ..., W_k}以及偏差b={b₁,b₂, ..., b_k}，從而產生一個新的特徵圖譜。在數學上，每個卷積層的卷積過程表達為：

式中，σ(·)是非線性激活函數；

是偏置參數；*表示卷積操作。

在一般的CNN模型中，為了克服卷積過程的減少，卷積層中超參數的確定非常關鍵。這主要涉及3個超參數：深度、步長（stride）與填充（padding）。輸出體積的深度對應濾波器的數量，每一個濾波器學習在輸入中尋找局部不同。指定步長能夠控制濾波器如何在輸入體積中進行卷積操作。在實踐中，更小的步長總是工作得更好，這是因為在網絡的前面一些層（即那些更靠近輸入數據的層）中小的步長能夠產生大的激活圖，能夠產生更好的性能。在一個擁有許多卷積層的CNN中，由於每一次卷積操作都會丟失一些區域，尤其是邊界，因此輸出維度的減少可能出現問題。在輸入體積的邊界周圍進行填充（一般是0填充）是消除卷積操作過程中維度降低影響的一種最常用的策略。填充最大的好處之一是它使得設計更深的網絡成為了可能。此外，填充防止了輸入體積中邊界信息的丟失，所以它可以有效改善整個模型的性能。因此，在有限的計算成本與時間成本的條件下，在實踐中對特定的任務，有必要在多個因子（即濾波器數量、濾波器大小、步長、網絡深度等）之間進行平衡。

卷積層的輸出被隨後的池化層進行再採樣，以降低下面層的數據率。與適當選擇的池化方案一起，卷積層中共享的權重能使得CNN具有某些不變性，如平移不變性。這也能大大降低參數的數量，如權重的數量不再完全取決於輸入圖像的大小。值得注意的是，全連接層一般放在網絡中卷積流的後面，通常沒有共享權重。在標準的CNN模型中，通過網絡最後一層的softmax函數產生激活來獲得關於類標籤的分布。然而，有時也使用一些傳統的機器學習方法，如投票策略或線性SVM。

隨著流行度以及實踐性增加，許多經典的以及基於CNN的深度學習結構被開發並應用於（醫學）圖像分析、自然語言處理以及語音識別中。如AlexNet（或適用於Caffe深度學習框架的CaffeNet）、LeNet、faster R-CNN、GoogLeNet、ResNet以及VGGNet。

2. 循環神經網絡

在實踐中，RNN一般作為一種監督深度學習網絡應用於醫學超聲圖像分析的各種任務中。在RNN中，網絡的深度可以與輸入樣本數據序列（如醫學超聲視頻序列）的長度一樣長。一個普通的RNN包含一個潛藏或隱藏狀態，h_t，它是時間t時由網絡輸入x_t與前一個狀態進行非線性映射得到的輸出ht–1，可以表示為:

式中，權重W與R在時間上是共享的；b是偏差參數。

由於結構特性，RNN在建模序列數據（如醫學超聲視頻序列）時具有先天的優勢。但是，到目前為止，RNN都沒有廣泛應用於各種涉及序列建模的研究任務中。部分原因是很難訓練RNN來捕捉長期依賴性，這種情況下，RNN通常引發梯度爆炸或梯度消失，這個問題早在20世紀90年代就被發現了。因此，一些特別的記憶單元得到開發，最早的以及最常用的是長短時記憶細胞（LSTM）及其簡化門控循環單元。到目前為止，RNN主要應用於語音或文本識別領域，在醫學圖像分析中應用較少，並更少地應用於醫學超聲圖像分析。

RNN也可以作為一種無監督的深度模型。在無監督的模型中，RNN通常使用以前的數據樣本來預測隨後的數據序列。它不需要額外的分類信息（如目標類別標籤）來幫助學習，而在監督學習模型中類別序列標籤是最基本的。

（二）無監督深度學習模型

無監督學習意味著任務特定的監督信息（如標註的類別標籤）在學習過程中是不需要的。在實踐應用中，利用各種無監督的深度學習模型，通過網絡採樣生成數據樣本，如AE、RBM/DBN與廣義去噪AE。從這個角度來看，無監督深度模型通常作為產生式模型應用於各種任務中。下面將簡要介紹醫學超聲圖像分析中最常用的3種基本無監督深度學習模型。

1. 自編碼機（AE）及其變體

簡單來說，AE是一種沒有涉及目標類別標籤使用的非線性特徵提取方法。這個方法通常用於表示學習或者在隱藏層對原始輸入數據（如以輸入向量的形式）進行有效的編碼。因此，提取的特徵集中在保存與更好地表示信息上，而不是在執行特定的任務（如分類）上，儘管這兩個目標並不總是互斥的。

AE通常是一個簡單的網絡，包含至少3層：一個輸入層x，表示原始數據或輸入特徵向量（如圖像中的塊/像素或者語音中的頻譜）；一個或多個隱藏層h，表示變換特徵；以及一個輸出層y，通過非線性函數來激活隱藏層從而匹配輸入層x來完成重構：

到目前為止，已開發出許多AE的變體，如稀疏自編碼機（SAE）與去噪自編碼機（DAE）及其堆疊版本。在SAE模型中，採用正則化與稀疏化限制來增強網絡訓練中的求解過程，而「去噪」是防止網絡學習無效解的一種解決方案。通常將AE層放置在彼此的頂部而生成這些模型的堆疊版本。

2. 限制玻爾茲曼機與深度置信網絡

RBM是具有兩層結構的馬爾可夫隨機場的一種特殊類型。就結構而言，它是一種單層無向圖模型，包含一個可見層與一個隱藏層，它們之間是對稱連接的，同一層中的單元之間是沒有連接的。因此，RBM本質上是一種AE。在實踐應用中，RBM很少單獨使用，一般都是一個一個堆疊起來生成更深的網絡，這就成了通常的單概率模型，叫做DBM。

一個DBM包含一個可見層與若干隱藏層，最上面的兩層構成一個無向二部圖（如RBM），下面的層構成一個具有方向並上下連接的sigmoid置信網絡。因為可以使用無標籤的數據進行逐層預訓練（實踐中一般使用少量的標籤數據），DBM具有很好的泛化能力。由於DBM使用無監督的方式進行訓練，對於一個特定的任務，在實踐中進行最終的微調是有必要的，通常實現監督優化的一個選項是通過在網絡的最後面層增加一個線性分類器（如SVM）。對於無監督的學習模型，在最終的表示學習之後往往伴隨一個微調步驟，這也是解決特定任務（如圖像分類、目標檢測或者組織分割）的一個最常用的實踐方案。

（三）模型訓練的困難及其應對策略

深度學習的巨大成功是源於它需要大量帶有標籤的訓練樣本才能獲得優異的學習性能。然而，在當前的醫學超聲圖像分析中，這種要求是很難滿足的，這是因為專家標註是昂貴的，而且一些疾病（如病變或結節）的數據很稀有。因此，在醫學超聲圖像分析中，怎樣使用有限的訓練樣本來訓練深度模型成為了一個公開的挑戰。使用有限訓練樣本時的最普遍的一個問題是容易產生模型過擬合。

為了解決模型過擬合的問題，有兩個主要的途徑選擇：模型優化與遷移學習。對於模型優化來說，近年來提出了很多富有成效的策略，如合理設計的初始化策略、隨機梯度下降及其變體（如動量與Adagrad）、有效的激活函數，以及其他有力的中間正則化策略（如批量標準化），具體如下：

（1）合理設計的初始化/動量策略，包含合理隨機初始化的利用，以及一種緩慢增加訓練模型迭代過程中動量參數的特別方案。

（2）有效的激活函數，如ReLu，一般在卷積層後面執行非線性操作。此外，Maxout也是一種激活函數，尤其適用於沒有dropout的訓練。

（3）Dropout在每次訓練迭代中以一定比率（如0.5）隨機地使網絡中的單元/神經元失活。

（4）批量標準化，對訓練中每個小批量數據進行標準化操作，並且在每次訓練迭代中通過標準化參數反向傳播梯度。

（5）堆疊/去噪，主要用於AE，以便使模型變得更深，並且從損壞的輸入中重建出原始「乾淨的」數據。

另一個關鍵的解決方案是遷移學習，也被廣泛採用並顯示了優異的性能改善能力，而且不需要大樣本訓練數據。這種方法避免了特定應用領域中昂貴的數據標註工作。根據Pan等的研究，遷移學習可以分為三大類：歸納式遷移學習，即無論目標域與源域是否相同，目標與源任務是不同的；直推式遷移學習，即目標任務與源任務相同，而目標域與源域是不同的；以及無監督遷移學習，即歸納式遷移學習類似，只是目標任務與源任務不同，但與源任務相關。基於遷移內容，上述3類遷移學習配置所採用的方法可以分為4種情況：實例法、表示法、參數遷移法以及關係知識法。但是，本文最關心的是如何通過從其他領域（容易收集大樣本訓練數據的領域，如CV、語音與文本領域）遷移知識到醫學超聲領域來改善性能。這個過程涉及兩個主要的策略：①使用預訓練網絡作為特徵提取器（即從頭開始學習特徵）；以及②在醫學超聲圖像或視頻序列上微調預訓練的網絡，這種方法廣泛應用於當前的醫學超聲圖像分析中。在一些特定的任務中，這兩種策略都獲得了良好的性能。

一些其他的策略也需要注意，如數據預處理與數據增強。

（四）常用深度學習框架

隨著相關硬體（如GPU）與軟體（如開源軟體庫）的快速發展，深度學習技術在全世界的各種研究任務中流行起來。下面列出了5個最流行的開源深度學習框架（或軟體庫）：

（1）Caffe: https://github.com/BVLC/caffe；

（2）Tensorflow: https://github.com/tensorflow/tensorflow；

（3）Theano: https://github.com/Theano/Theano；

（4）Torch7/PyTorch: https://github.com/torch/torch7或https://github.com/pytorch/pytorch；

（5）MXNet: https://github.com/apache/incubatormxnet。

大部分框架提供了多種接口，如C/C++、Matlab與Python。此外，一些軟體包還提供基於這些框架寫的更高級的軟體庫，如Keras。關於這些開源框架的優缺點，請參考文獻。在實踐應用中，研究人員可以根據實際需要以及個人喜好來選擇任何框架，或者使用他們自己寫的框架。

三、

深度學習在醫學超聲圖像分析中的應用

正如前面提到的，當前深度學習技術在醫學超聲圖像分析中的應用主要涉及三大任務：各種解剖結構（如乳腺、前列腺、肝臟、心臟與胎兒）的分類、檢測與分割。本節將分別討論每項任務在不同解剖結構中的應用。此外，在臨床實踐中，3D超聲在改善超聲成像診斷方面提供了一個有前景的方向，將作為一個獨立的部分進行詳細的討論。

（一）分類

圖像分類是診斷放射學中的一項基本認知任務，它是通過識別某些解剖或病理特徵來實現的，這些特徵能夠區分某個解剖結構或組織與其他的解剖結構或組織。儘管當前計算機遠遠沒有達到復現醫學圖像解釋所需要的整個推理鏈，感興趣目標（如腫瘤/病變、結節、胎兒）的自動分類是計算機輔助診斷系統中的一個研究熱門。傳統的機器學習方法通常利用從超聲圖像中提取的各種手工特徵，並與多路線性分類器（如SVM）相結合來實現特定的分類任務。然而，這些方法容易受到圖像失真的影響，例如由於內部或外部環境，或者成像過程中環境的影響而導致的形變。由於直接從原始數據（或者圖像）中學習中層或高層抽象特徵，因此深度神經網絡（DNN）有一些明顯的優勢。此外，DN能夠直接為每張圖像輸出一個個體預測標籤，從而實現感興趣目標的分類。對於不同的解剖應用領域，存在一些獨特的挑戰，下面將分別討論。

1. 腫瘤或病變

根據疾病控制與預防中心的最新統計數據，乳腺癌已成為世界各地女性中最常見的癌症和第二大癌症死亡原因。儘管乳房X線照相術仍然是臨床上掃查或診斷的主要成像模態，但是超聲也成為了乳腺癌診斷的重要篩查工具。尤其，基於超聲的計算機輔助診斷（CADx）系統在腫瘤疾病分類中的應用給放射醫生或診斷學家提供了有效的決策支持和第二個工具選擇。在傳統的CADx系統中，特徵提取是包括特徵選擇與分類在內的隨後步驟的基礎，它們集成在一起能夠實現腫瘤或腫塊病變的最終分類。乳腺或腫塊病變CADx系統中的傳統機器學習方法經常使用手工的和啟發式的病灶提取的特徵。相反，深度學習能夠自動地直接從圖像中學習特徵。

早在2012年，Jamieson等進行了一項有關深度學習用於乳腺腫瘤或腫塊病變分類任務的初步研究。如圖4（a）所示，自適應去卷積網絡（ADN）是一種無監督和產生式的分層深度模型，用於從診斷乳腺腫瘤或腫塊病變超聲圖像中學習圖像特徵以及生成特徵圖譜，並進行了包括建立圖像描述符和空間金字塔匹配（SPM）算法在內的後處理步驟。

因為模型是以無監督的方式訓練的，所以學習到的高層次特徵（如SPM核輸出）作為輸入來訓練監督的分類器（如線性SVM），從而實現惡性與良性乳腺腫塊之間的二值分類。實驗結果表明其性能已達到傳統的採用人工設計特徵的CADx系統的水平。在這一成功之後，許多類似的研究將深度學習方法應用於乳腺腫瘤診斷中。Liu等與Shi等都在兩個小的超聲數據集上使用了監督深度學習算法，稱為深度多項式網絡（DPN），或者它的堆疊版，即堆疊深度多項式網絡（S-DPN）。在預處理即基於剪切波變換的紋理特徵提取和感興趣區域（ROI）提取和SVM分類器（或多核學習）的幫助下，獲得了92.4%的最高分類準確率，優於無監督深度學習算法（如堆疊AE和DVM）。當使用深度學習從塊水平的超聲圖像中學習圖像表示，局部塊不能提供豐富的上下文信息時，這種方法是一個很好的選擇方案。此外，堆疊去噪自編碼機（SDAE）、點陣門控玻爾茲曼機（PGBM）和限制玻爾茲曼機的組合（RBM），以及GoogLeNet CNN也應用於乳腺超聲或剪切波彈性成像來輔助乳腺癌診斷，它們都取得比人類專家更優的性能表現。在Antropova等的研究中，一種融合預訓練CNN提取的中低級特徵與傳統CADx系統獲得的手工設計特徵的方法應用於3個臨床成像模態數據集，並證實了顯著的性能改善。

圖4 腫瘤超聲圖像分類流程圖：（a）無監督深度學習和（b）有監督深度學習。在超聲圖像輸入到深度神經網絡之前，通常會先進行預處理和數據增強（如提取ROI、圖像裁剪等）。儘管監督深度學習中也可以使用後處理，但是通常很少這麼做，反而會將特徵圖譜直接輸入到softmax分類器進行分類

另一種常見的腫瘤是肝癌，已成為全世界第六大癌症和第三大癌症死亡原因。早期精準診斷對於通過提供最佳幹預來提高生存率非常重要。活檢仍然是當前肝癌診斷的金標準，並且嚴重依賴傳統CADx方法。然而，活檢是侵入性的和不舒適的，很容易造成其他的不良影響。因此，基於超聲的診斷技術成為了肝癌檢測、診斷、幹預和治療的最重要的無創方法之一。

Wu等將一個3層DBN應用於從對比增強超聲（CEUS）視頻序列中提取的時間強度曲線（TIC）中，實現了局灶性肝臟病變的良惡性分類。他們獲得了86.36%的最高準確率，優於傳統的機器學習方法[如線性辨別方法（LDA）、k近鄰（k-NN）、SVM和反向傳播網絡（BPN）]。為了降低使用基於TIC的特徵提取方法的計算複雜度，Guo等採用深度典型相關分析[DCCA，典型相關分析（CCA）的一種變體與多核學習分類器（MKL，一種典型的多視角學習方法）相結合的方法來區分良惡性肝癌。實驗結果表明，充分利用這兩種方法可以獲得較高的分類精度（90.41%），且有很低的計算複雜度。此外，遷移學習策略也常應用於肝癌超聲圖像診斷中。

2. 結節

甲狀腺結節已成為全世界成人中最常見的結節性病變之一。當前的甲狀腺結節診斷主要依靠非手術[主要是細針穿刺（FNA）活檢]和手術（即切除活檢）方法。然而，這兩種方法對於大規模篩查來說是很耗時耗力的，而且可能使患者焦慮以及增加成本。

隨著超聲技術的快速發展，超聲由於其實時性與無創特性而成為了甲狀腺結節診斷和預後的一種可選擇工具。為了降低對操作者依賴和提高診斷性能，基於超聲的CADx系統易被開發出來用於檢測與分類甲狀腺結節。Ma等在一個融合的框架裡集成了兩個預訓練的CNN用於甲狀腺結節診斷：一個是更適合學習低級特徵的淺層網絡，另一個是擅於學習高級抽象特徵的深層網絡。更具體地，兩個CNN在一個大的甲狀腺結節超聲圖像數據集上分別進行訓練，然後將得到的兩個特徵圖譜進行融合，並輸入到softmax層來診斷甲狀腺結節。集成CNN學習到的高級特徵與傳統手工設計的低層特徵也是一個可選擇方案，這已經在Liu等的研究中得到了證實。為了克服集成特徵向量中的冗餘與不相關問題，並避免過擬合，有必要挑選特徵子集。結果表明，該方法比僅使用傳統特徵的方法提高了14%的精度。此外，對於特定的任務來說，有效的預處理和數據增強策略被證實可以提高診斷性能。

3. 胎兒與新生兒

在產前超聲診斷中，胎兒生物學測量是一項必不可少的檢查，包括腹圍（AC）的估計等。然而，由於對比度低且不均勻，以及不規則的形狀，對AC的精確測量比其他參數更加困難。在臨床檢查與診斷中，不正確的胎兒AC測量可能導致胎兒體重估計不準確，進一步增加誤診的風險。因此，胎兒超聲圖像的質量控制非常重要。

最近，Wu等提出了一個胎兒超聲圖像質量評價方案，主要包含兩步：①一個CNN用於定位ROI；②基於ROI，另一個CNN用於分類胎兒腹部標準面。為了改善性能，Wu等採用了一些諸如局部相位分析與圖像裁剪的數據增強策略。類似地，Jang等利用一個特別設計的CNN結構從超聲圖像中將圖像塊分類為關鍵解剖結構，然後基於可接受的胎兒腹部平面（即標準平面），再通過基於霍夫變換的橢圓形檢測方法對胎兒AC進行估計。Gao等通過胎兒解剖結構的多標籤分類問題探索了從大規模自然圖像到小規模超聲圖像學習特徵的遷移性。結果表明，遷移的CNN優於那些直接從小規模超聲數據學習特徵的網絡（91.5% vs.87.5%）。

胎兒心臟的定位與心臟平面的分類對於先天性心臟病的識別具有重要意義。由於胎兒心臟很小，在臨床實踐中這些任務是很有挑戰性的。為了解決這些問題，Sundaresan等提出了將其作為語義分割問題的解決方案。更具體地，使用一個全卷積神經網絡（FCN）在超聲圖像幀中分割出胎兒心臟平面，一步實現心臟的檢測與心臟平面的分類。一些後處理步驟也被用於解決預測圖像可能包括不同非背景區域多標籤的問題。此外，Perrin等在來自5個不同兒科人群的超聲心動圖像數據集上，直接訓練CNN來識別先天性心臟病。在一個特定的胎兒標準面識別任務中，帶有全局平均池化（GAP）策略的深層CNN，在有限的訓練數據上獲得了顯著的性能改善。

（二）檢測

在超聲圖像分析中，超聲圖像或視頻的感興趣目標（如腫瘤、病變與結節）檢測是極其重要的。尤其，腫瘤或病變的檢測可以為物體分割和良惡性腫瘤的分類提供有力的支持。解剖對象（如胎兒標準面、器官、組織或者特徵點）定位也被視為分割任務或基於圖像的幹預與治療的臨床診斷流程的前提條件。

1. 腫瘤或病變

腫瘤/病變的檢測或定位在治療計劃與幹預的臨床工作流程中是至關重要的，也是最耗時耗力的任務之一。不同解剖結構的病變檢測是有一些明顯差異的。這項任務通常是在全圖像空間上定位與識別小的病變。最近，Azizi等將使用DBN從時間增強超聲圖像中提取的高級抽象特徵與從數字病理圖像中提取的組織結構相結合，成功實現了前列腺癌的檢測與分級。為了做一個全面的比較，Yap等對比了3種不同的深度學習方法：基於塊的LeNet、U-net以及遷移預訓練的FCN-AlexNet，在兩個不同超聲系統獲得兩個超聲圖像數據集上進行了乳腺癌檢測。在兩個乳腺超聲圖像數據集上的實驗表明，這些深度學習方法都獲得了性能提高，但是沒有哪個深度學習模型在真陽性率（TPF）、每張圖像的假陽性（FP）與F測量等指標上都獲得最好的性能。類似地，Cao等綜合比較了4種最優的基於CNN的目標檢測深度模型：Fast R-CNN、Faster R-CNN、You Only Look Once（YOLO）與單點多框檢測器（SSD）用於乳腺癌檢測，結果表明SSD在精度與召回率方面都取得了最佳性能。

2. 胎兒

作為常規產科檢查，胎兒超聲篩查在確認胎兒存活率、準確確定胎齡與發現影響產前護理的畸形方面發揮著至關重要的作用。在胎兒超聲診斷的工作流程中，標準面的獲取是前提步驟，對隨後的生物學測量和診斷至關重要。除了使用傳統的機器學習方法檢測胎兒超聲標準面，現在使用深度學習方法檢測胎兒標準面的應用也越來越多。Baumgartner等和Chen等分別通過遷移的深度模型，實現了2D超聲圖像中13個胎兒標準面（如腎臟、大腦、腹部、脊柱、股骨與心臟切面）和胎兒腹部（或者面部與心臟四腔心切面）標準面的檢測。為了利用時空信息，一個基於RNN的深度模型也被遷移到超聲視頻中多胎兒標準面（如腹部、面部水平與心臟四腔心平面）的自動化檢測。此外，Chen等提出了基於卷積與RNN的混合通用框架，用於超聲視頻中不同標準面的檢測。

3. 心臟

準確識別超聲心動圖中心臟運動周期相位舒張末期（ED）和收縮末期（ES）是估計一些心臟參數（如中風量、射血分數與最大舒張容積）的必要前提條件。Dezaki等提出了一種能自動識別心臟運動周期相位的深度殘差循環神經網絡（RRN）。RRN由殘差神經網絡（ResNet）、兩個LSTM單元塊與一個全連接層構成，因此結合了殘差神經網絡和循環神經網絡的優點，前者能夠處理當網絡變深而出現的梯度消失或爆炸問題，而後者能夠建模序列圖像幀之間的時間關係。類似地，Sofka等提出了一種全卷積回歸網絡，用於心臟胸骨旁長軸切面中測量點的檢測，該網絡包含一個用於回歸測量點位置的FCN和優化估計點位置的LSTM單元。注意，強化學習也與深度學習結合用於心臟超聲圖像的解剖關鍵點檢測。

（三）分割

解剖結構與病變的分割是心臟或腦分析中與體積和形狀有關的臨床參數的量化分析的前提條件，在病變（如乳腺、前列腺、甲狀腺結節與肺結節）的檢測與分類，以及生成ROI以便在CADx中進行後續分析方面也起著至關重要的作用。由於超聲圖像中目標與背景之間的對比度較低，對大部分解剖結構，尤其病變（結節）超聲圖像進行準確的分割，仍然是一個很有挑戰性的任務。此外，眾所周知，手動分割方法是非常耗時耗力的，且存在很大的個體差異。因此，很有必要開發更先進的自動分割方法來解決這些問題。使用深度學習進行解剖結構分割的一些結果如圖5所示。

圖5 使用深度學習進行常見解剖結構分割的分割結果示例。（a）前列腺；（b）左心室；（c）羊水與胎兒身體；（d）甲狀腺結節；（e）中神經結構；（f）淋巴結；（g）子宮內膜；（h）中腦；（i）舌輪廓。所有這些結果都表明了與人類放射科醫生相當的分割性能。不同顏色的線或點表示相應的分割輪廓或區域

1. 非剛性器官

超聲心動圖因其成本較低，可用性與可移植性強，而成為可視化與診斷心臟左心室（LV）最常用的成像模態之一。為了診斷心臟病，心臟病學家必須對心臟進行定量功能分析，這通常需要對收縮末期與舒張末期的LV進行準確的分割。顯然，LV的手動分割非常繁瑣、耗時且具有主觀性，而自動LV分割系統可能有潛力解決這些問題。然而，由於顯著的外形與形狀差異、低信噪比、陰影以及邊緣不完整，全自動分割LV仍然是一項具有挑戰性的任務。為了解決這些問題，各種傳統機器學習方法，如主動輪廓和可變形模板，已被廣泛用於LV的自動化分割，這通常需要使用與LV形狀和外形有關的先驗知識。最近，基於深度學習的方法也被頻繁採用。Carneiro等利用能夠從原始超聲圖像中學習高級特徵的DNN來自動地分割LV。為了提高性能，還採用了一些其他的策略，如高效搜索方法、粒子濾波器、在線協同訓練方法以及多重動態模型。

典型的非剛性分割方法通常把分割問題分為兩步：①剛性檢測與②非剛性分割或輪廓描繪。第一步非常重要，因為它可以減少搜索時間以及降低訓練複雜度。為了降低剛性檢測中的訓練與推理複雜度，同時保持較高的分割精度，Nascimento和Carneiro利用稀疏流形學習方法結合DBN來進行非剛性物體的分割。實驗結果表明，在剛性檢測中使用稀疏流形學習與DBN的結合取得了與當前最優結果一樣精確的性能，但是具有更低的訓練與搜索複雜度。不像典型的非剛性分割方法，Nascimento和Carneiro通過顯式輪廓的稀疏低維流形映射直接進行非剛性分割，但是泛化能力有限。儘管大部分研究表明，使用深度學習能夠取得比傳統機器學習方法更好的性能，但是最近的一項研究表明，在2D超聲心動圖像的LV分割中，手工製作特徵優於CNN，且訓練中的計算成本更低。一個合理的解釋是，用於手工設計特徵的監督下降（SDM）回歸方法在迭代優化估計的LV輪廓方面更加靈活。

與成人LV分割相比，胎兒LV分割更具有挑戰性，這是因為胎兒超聲心動圖像序列存在不均勻性、偽影、對比度差和被試間差異太大等特性；此外，因為胎兒在子宮內隨機運動，LV與左心房（LA）通常是連接在一起的。為了解決這些問題，Yu等提出了一種基於多尺度信息與微調的動態CNN方法，用於胎兒LV分割。該動態CNN對每一個超聲心動圖像序列的第一幀和餘下幀分別進行深微調和淺微調，以便適應每個胎兒。此外，還採用了匹配的方法來分離LV與LA之間的連接區域。實驗表明，與固定的CNN相比，動態CNN在平均Dice係數上取得了從88.35%到94.5%的顯著性能提高。

2. 剛性器官

在醫學超聲圖像中，許多解剖結構/對象（如前列腺、乳腺、腎臟、胎兒等）的邊界不完整是一個普遍問題，這對這些結構的自動分割提出了很大的挑戰。目前，有兩種主要的方法來解決這個問題：①自下而上法，在監督下將每個像素分為前景（目標）或者背景；②自上而下法，利用先驗形狀信息來引導分割。通過端到端的、全監督學習的方式對圖像中的每一個像素進行分類，許多研究實現了對不同解剖結構（如胎兒身體與羊水、淋巴結以及骨骼）進行像素級分割的任務。對於特定的任務，這些研究中提出的深度學習方法在性能與速度方面都優於最先進的方法。

自下而上法的一個顯著優勢是，它能為圖像中每個像素提供預測；但是，由於缺少先驗形狀信息，它可能無法處理邊界信息丟失的問題。相比之下，自上而下法可以通過對形狀建模為分割任務提供強有力的形狀引導，儘管合適的形狀建模通常是困難的。為了同時實現關鍵點描述符學習與形狀推理，Yang等將邊界完整性表述為一個序列問題，即動態建模形狀。為了同時利用自下而上法與自上而下法，Ravishankar等利用先前從形狀正則網絡中學習到的形狀，來優化FCN分割網絡獲得的預測分割結果。在一個腎臟超聲數據上的實驗結果表明，先驗形狀信息的利用可以使腎臟分割的性能提高大約5%。此外，Wu等將FCN網絡核植入到自動上下文模型以便利用局部上下文信息，從而解決了嚴重邊界不完整的問題，且顯著提高了分割精度。Anas等在基於殘差網絡（ResNet）的深度框架優化中，使用指數加權圖來提高局部預測。

解決分割任務的另一種方法是將分割問題表述為塊級分類問題，正如文獻所述。該方法可以顯著降低計算成本與內存需求。

（四）3D 超聲圖像分析

由於3D深度學習的應用困難，目前應用於醫學超聲圖像分析的深度學習方法大多應用在2D圖像，儘管輸入可能是3D的。

事實上，由於以下限制，3D深度學習仍然是一項具有挑戰性的任務：①在大體積數據上訓練一個深度網絡，對於實際的臨床應用來說，計算成本可能太高（如內存與計算要求顯著增加）；②以3D圖像塊作為輸入的深度網絡需要更多的訓練樣本，這是由於3D網絡包含的參數與2D網絡相比呈指數級增加。在有限訓練數據的情況下，這可能顯著增加過擬合的風險。相反，由於很難生成與共享病變或疾病圖像，醫學超聲圖像分析領域常常只能收集到有限的訓練樣本（即使在使用了數據增強後，樣本數通常也只有幾百或者幾千份）。然而，在醫學超聲圖像分析領域，越來越多的人試圖解決這些具有挑戰性的3D深度學習任務。

在常規婦科超聲檢查和絕經後出血的女性子宮內膜癌篩查中，通常採用厚度測量法進行子宮內膜的評估。Singhal等提出了一種基於FCN的兩步算法，實現子宮內膜厚度的全自動測量。首先，提出了一種混合變分曲線-傳播模型，叫做深度學習蛇形（DLS）分割模型，用於從3D經陰道超聲體積數據中檢測和分割子宮內膜。該模型將深度學習的子宮內膜概率圖集成到分割能量函數中，而該概率圖是在矢狀切面上通過基於U-net的子宮內膜定位來預測構建的。分割後，以分割掩膜中兩個接觸面（基底層）之間的最大距離作為測量的厚度。

為了解決產科和慢性疼痛治療中，超聲引導的硬膜外針注射時針狀目標的自動定位問題，Pesteie等提出了一種卷積網絡結構以及特徵增強技術。該方法包含兩步：①利用局部有向Hadamard（LDH）特徵與前向反饋神經網絡從3D超聲體積數據中分類平面；②在識別的目標平面中，通過CNN分類圖像中的每個像素而實現目標定位。

Nie等提出了一種從複雜3D超聲數據中自動檢測中矢狀面的方法。為了避免不必要的大規模搜索以及相應的巨大計算負載，他們巧妙地將矢狀面檢測問題轉化為對稱面與軸搜索問題。更具體地說，該方法包含3步：①根據文獻，建立一個DBN，從3D超聲數據的中間切面中檢測完全包含胎兒頭部的圖像塊；②採用增強的圓檢測方法，確定胎兒頭部在圖像塊中的位置與大小；③最後，通過一個模型以及前兩步確定的胎兒頭部位置與大小等先驗知識，確定矢狀面。

應該指出的是，這3個方法實際上都是基於2D深度學習的逐片處理（slice-by-slice）方法，儘管它們都可以用於3D超聲體積數據。這樣做的優點是高速、低內存消耗，並且能夠直接或通過遷移學習利用預訓練的網絡。然而，缺點是無法利用圖像平面正交方向的結構上下文信息。為了克服這些缺點，Milletari等提出了一種稱為霍夫-CNN（Hough-CNN）的逐塊多圖譜方法，用於多個深部腦區域的檢測與分割。該方法採用了類似於早期研究中提出的霍夫投票策略，區別在於結構特定的特徵是通過CNN而不是SAE獲得的。為了充分利用3D超聲體積數據中的上下文信息，Pourtaherian等直接訓練了一個3D CNN來檢測3D超聲體積數據中的針狀體素，每個體素是通過從以它為中心的3個正交面中局部提取的原始數據來分類的。為了解決數據集中高度不平衡的問題，採用了一種新的更新策略被採用，即在訓練階段對非針狀體素進行重採樣，從而提高檢測性能以及魯棒性。

廣泛應用於2D超聲圖像的典型非剛性物體分割方案也適用於3D超聲體積的分割。Ghesu等採用這種典型的非剛性分割方法，實現了3D超聲體積主動脈瓣的分割，該方法包含兩步：剛性目標定位與非剛性目標邊界估計。為了解決3D目標檢測的問題，採用了邊緣空間深度學習方法（MSDL），該方法結合了邊緣空間學習（MSL）和深度學習。基於檢測到的目標，對非剛性形狀做一個初始估計，然後採用基於稀疏自適應DNN的主動形狀模型來引導形狀變形。在一個大型3D經食管超聲心動圖像數據集上的實驗結果證實了，MSDL在主動脈瓣的3D檢測與分割任務中的效率與魯棒性，它的性能比當前最先進的方法提高了42.5%。僅使用中央處理單元（CPU），主動脈瓣可以在不到1 s的時間內成功分割，其準確度高於原來的MSL。

胎兒結構的分割比一般的解剖結構或器官更具挑戰性。例如，胎盤高度可變，因為它的位置取決於子宮內的著床部位。雖然已證實手動分割與半自動分割方法是準確的以及可接受的，但是它們特別耗時且依賴於操作者的經驗。為了解決這些問題，Looney等採用DeepMedic從3D超聲體積中分割胎盤。訓練數據集沒有使用人工標註數據，而是使用半自動隨機步行（RW）方法的輸出作為標註結果。DeepMedic是由Kamnitsas等提出的一種雙通道3D CNN結構， 最開始用於大腦磁共振成像（MRI）數據的病變分割。然而，3D超聲體積的胎盤成功分割表明，DeepMedic是一個適用於不同模態3D醫學體積數據的通用3D深度學習結構。最近，Yang等將RNN植入到定製的3D FCN中，用於同時分割超聲體積中的多個目標，包括胎兒、妊娠囊與胎盤。針對普遍存在的邊界不確定性問題，採用了一種有效的序列化策略。此外，他們還提出了一種分層深監督機制，以促進循環神經網絡中的信息流動，進一步提高分割性能。類似地，Schmidt-Richberg等結合了FCN與可變形形狀模型，用於3D胎兒腹部超聲體積的分割。

四、

挑戰與應用前景

從上面的例子可以看出，深度學習已經應用到醫學超聲圖像分析中的各種應用領域。然而，儘管深度學習方法不斷更新醫學超聲圖像分析中不同應用方面的最新性能結果，但仍有改進的空間。本節將總結深度學習應用於醫學超聲圖像分析時普遍遇到的挑戰，並討論它的未來發展前景。

顯然，深度學習能取得的主要性能改善，在很大程度上依賴於大樣本訓練數據集。然而，與其他領域的大規模與公共可用的數據集（如ImageNet數據集超過1×10⁶標註的多類別自然圖像）相比，當前醫學超聲領域內公開可用的數據集仍然很有限。有限的數據集已成為深度學習方法在醫學超聲圖像分析中進一步應用的瓶頸。

為解決小樣本數據集的問題，目前研究人員最常用的方法之一是進行跨數據集（模態內或模態間）學習，即遷移學習。正如前文所述，遷移學習的使用主要分為兩類：直接利用預訓練網絡作為特徵提取器以及固定網絡中的部分權重進行微調。

根據目標域與源域是否相同，遷移學習可以分為兩類：跨模態與跨領域遷移學習。跨領域遷移學習是醫學超聲圖像分析中各任務最常用的方法。在任何情況下，當前的模型預訓練總是在大樣本數據集上進行。這樣做可以確保出色的性能，但這在醫學成像領域絕對不是最佳選擇。當使用小樣本訓練數據集時，特定領域深度模型從頭開始訓練（如果能夠恰當選擇模型大小）能夠比其他領域大樣本數據集（如自然圖像）預訓練網絡後的遷移學習取得更好的性能。這一現象的根本原因可能是，用於醫學圖像分析中特定任務的原始輸入圖像像素到特徵向量的映射，在預訓練情況下變得更加複雜，因而需要大樣本訓練數據集才能有好的泛化能力。相反，特別設計的小網絡可能更適合醫學成像中普遍存在的小規模訓練數據集。因此，開發醫學成像領域專用的深度學習模型，不僅能夠以較低計算複雜度來提高特定任務的性能，還可以促進醫學成像領域中CADx的技術發展。

此外，在自然圖像上訓練的模型可能不是醫學圖像的最佳模型，後者通常是單通道、低對比度以及具有豐富的紋理特徵。在醫學成像，尤其乳腺成像中，診斷工作流程中經常使用多種成像模態，如MRI、X射線與超聲。超聲或者乳房X線照相術通常是一線篩查工具，因此更容易收集到大量的訓練數據集。然而，通常用於篩查高風險人群的乳腺MRI是一種更加昂貴和耗時的方法，要收集足夠的訓練數據集以及進行標註將更加困難。在這種情況下，跨模態遷移學習可能是一個可取的選擇。有實驗表明，在缺乏足夠訓練數據集的情況下，對於特定的任務，跨模態遷移學習要優於跨領域遷移學習。因為考慮到很少能夠從單個站點（即機構或醫院）收集到大樣本數據集，而通常收集自多個不同的站點（或機器），因此可以嘗試進行相同成像模態的跨站點（或跨機器）遷移學習。

最後，還必須解決當前遷移學習算法的其他問題，包括如何避免負性遷移，如何處理源域與目標域或者源任務與目標任務之間的特徵空間不一致問題，以及如何提高不同任務的泛化能力。遷移學習的目的是利用從源任務學習到的知識來提高目標任務的學習性能。然而，不恰當的遷移學習有時反而會降低性能，即成為負遷移。

忽略不同方法間的固有差異，對於特定的目標任務，任何遷移學習的有效性主要取決於兩個方面：源任務及其與目標的關係。理想情況下，遷移方法將在足夠相關的任務間產生正遷移，而避免負遷移，儘管這些任務可能不是完全匹配的。然而，這些目標在實踐中很難同時實現。為了避免負遷移，可以採用以下策略：①識別與拒絕有害源任務知識；②從一組候選源任務中選擇最好的源任務（如果可能的話）；③建模多個候選源任務的任務相似性。此外，當源任務和目標任務的表示不一致時，映射可以用於任務表示之間的遷移。

值得再次強調的是，3D超聲是醫學成像領域中一種重要的成像模態，3D超聲圖像分析在基於超聲的臨床應用中顯示出巨大的潛力，儘管一些問題亟待解決。可以預見的是，更多新穎的3D深度學習算法將被開發，用於醫學超聲圖像分析中的各種任務，並在未來實現更大的性能改進。然而，如果沒有其他領域，尤其CV的支持，當前醫學超聲圖像分析領域的3D深度學習算法開發將比較困難。

註：本文內容呈現略有調整，若需可查看原文。

改編原文：

Shengfeng Liu, Yi Wang, Xin Yang, Baiying Lei, Li Liu, Shawn Xiang Li, Dong Ni, Tianfu Wang.Deep Learning in Medical Ultrasound Analysis: A Review[J].Engineering,2019,5(2):261-275.

前沿研究：人工智慧輔助COVID-19影像學識別——AI技術從實驗室走向臨床

戰略研究：COVID-19疫情背景下的醫院人工智慧快速布局和發展戰略探討

前沿研究：信息科學應引領未來的生物醫學研究

中國工程院院刊

工程造福人類

科技開創未來

微信公眾號ID ：CAE-Engineering

註：論文反映的是研究成果進展，不代表《中國工程科學》雜誌社的觀點。