基於部分監督學習的多器官分割

2021-02-24 奇蹟學術
前言

    本文是《Marginal loss and exclusion loss for partially supervised multi-organ segmentation》的中文簡寫版。

    說起《M》一文頗有感慨。去年MICCAI被拒後,大家頗為鬱悶。遂擼起袖子,大幹一場 ---整理思路、補充實驗、斟酌文字,於年中投稿《MedicalImageAnalysis》,很快被要求大修。但是,恰逢公雷同學去阿里做實習,還要找工作,過程很是糾結。幸運的是,最終守得雲開,堅持帶來了回報。在此,恭喜公雷同學!也感謝這次的匿名reviewers獨特精準的眼光!

                                               -- 周少華

背景

    多器官分割是醫學圖像分析中的一個重要的研究問題,而數據標註是建立多器官分割模型過程中不可或缺的一部分。在醫學圖像中標註多個器官非常花費精力和時間,因此,現有的多器官標註數據集的樣本量通常很少(如下圖左),而大部分的數據集往往都只標註單個或少量器官(如下圖右邊)。由於標註的不完整性,常規方法只能基於單個數據集訓練模型,模型的性能受到數據量不足帶來的影響。我們研究了如何突破標註的不完整性,聯合不不同的數據集,從中學習一個多器官分割網絡

圖 1:不同的數據集有不同的器官標註。

方法

    為此,我們提出了兩種新的損失函數:marginal loss (邊緣損失) 和exclusion loss (互斥損失)。

    Marginal loss(邊緣損失),主要利用標註合併和邊緣概率的思想,。如圖表1,區域和區域在數據集中同屬於(即合併為)區域,區域和區域同屬於(即合併為)區域,那麼在對應數據集中可能最終只給出了區域和區域的ground truth,而網絡輸出的結果是區域各自的概率,那麼在做的時候就直接計算各自的邊緣概率,再利用分割loss函數(如Dice + 交叉熵CE)反向傳播。具體舉例,某個只含肝臟標籤的影像中,其「背景」是其他非肝臟器官和真正背景的合集。

圖2

    Exclusion loss(互斥損失),主要利用器官不重疊帶來標籤間互斥的思路。例如某個只含肝臟標籤的數據中,如果在已標註的肝臟區域上,網絡給出的結果是脾臟,那麼就應該對應做出懲戒。如圖3,數據集給出的ground truth有區域,那麼網絡分割出來的對區域的預測值如果出現在了區域,就應該利用Dice做出對應的區域性懲戒。

圖3

具體的marginal loss和exclusion loss公式可以參照論文中的描述。

實驗

    實驗中主要使用的數據集如下圖。經過合併後,數據總量達到了688個。以下所有實驗中訓練的模型都是基於nnU-Net的。

    我們分別針對不同的情況做了如下消融實驗,實驗性能的量化指標是Dice係數:

    a)正常使用單個全器官分割數據集、單個單器官分割數據集、二分類方法以及我們的方法的對比;

    b)Marginal loss和Exclusion loss在不同權重下的效果對比;

    

    c)對數據量的敏感度(主要是針對全分割數據集中,在把部分數據遮擋其他器官ground truth後變成單器官分割標籤情況下進行訓練的效果);

    d)同類型方法以及對比我們方法的p-value;

    e)在丟失部分單器官標註數據集情況下的影響;

    f)針對小目標的分割效果(以Pancreas tumor為例)。

小結

    我們提出的marginal loss(邊緣損失)和exclusionloss(互斥損失)有效地利用了多器官分割標註中的先驗知識。基於此,我們有機地整合了不同數據集以及他們的部分標註信息,由此訓練出來的模型也得到了更好的性能。

相關焦點

  • CNN 在基於弱監督學習的圖像分割中的應用
    如果學習算法能通過對一些初略標記過的數據集的學習就能完成好的分割結果,那麼對訓練數據的標記過程就很簡單,這可以大大降低花在訓練數據標記上的時間。這些初略標記可以是:1. 只給出一張圖像裡面包含哪些物體;2. 給出某個物體的邊界框;3. 對圖像中的物體區域做部分像素的標記,例如畫一些線條、塗鴉等(scribbles)。
  • 自動計數:利用田間圖像對植物器官進行無監督分割和計數
    點擊藍色字免費訂閱,每天收到這樣的好資訊本文提出了一種對植物器官等密集物體進行計數的無監督計數法利用田間圖像對植物器官進行計數,如頭狀花序或穗,是植物表型研究中一個基準計算機視覺任務,此前文獻中已使用最先進的監督深度學習技術進行了研究。然而,在田間圖像中,器官的標註耗時較長,容易出錯。
  • Double DIP——一種無監督層圖像分割 AI 技術
    今年三月份,他們選擇了由 Yossi Gandelsman,Assaf Shocher 和 Michal Irani 三位學者(下文中所提到的作者,均指以上三位學者)共同完成的關於 Double-DIP 模型的論文,其中詳細介紹了基於耦合的深度圖像先驗網絡對單個圖像進行無監督層分割這一技術。概況許多看似無關的計算機視覺任務可以被視為圖像分割為不同的層的特殊情況。
  • Double DIP ——一種無監督層圖像分割 AI 技術
    今年三月份,他們選擇了由 Yossi Gandelsman,Assaf Shocher 和 Michal Irani 三位學者(下文中所提到的作者,均指以上三位學者)共同完成的關於 Double-DIP 模型的論文,其中詳細介紹了基於耦合的深度圖像先驗網絡對單個圖像進行無監督層分割這一技術。
  • 【Nature子刊】科學家開發基於AI的器官分割軟體,助力精準化醫學影像分析
    該項目名為AIMOS,意思是基於AI的小鼠器官分割(AI-based Mouse Organ Segmentation)。AIMOS軟體的核心是人工神經網絡,它與人腦一樣,具有學習能力。AIMOS是一種全自動的、端到端的深度學習管道,可在3D掃描圖像中以不同的成像方式分割小鼠的多個器官該研究的第一作者,Oliver Schoppe解釋說:「三維成像的分析過程非常複雜,過去你必須告訴電腦程式你想讓它們做什麼,而神經網絡不需要這樣的指令:通過多次提出問題並給出解決方案來訓練它們就足夠了。漸漸地,算法就可以識別相關的模式,並能夠自動找出正確的解決方案。」
  • 華為雲2篇論文被MICCAI2020收錄,醫學圖像邊緣分割新突破
    基於醫生手工勾勒或者傳統軟體勾勒的方法耗時耗力或者方法泛化能力差,基於深度學習的方法在醫療圖像分割問題上展現優異的分割性能,但是由於醫療設備成像原因(成像偽影),器官病灶本身構造原因(器官病灶內部體液、肌肉間隔,相鄰器官病灶邊緣界定不清晰)等諸多原因,導致器官病灶等待分割物體邊緣不清晰,已有深度學習的方法無法較好解決以上問題。
  • 基於完全卷積神經網絡的多模態嬰兒腦圖分割技術
    在等強度期(大約 6-8 個月大),WM 和 GM 在 Tl 和 T2 圖像中表現出相似的強度,導致組織對比極低,也因此使組織分割極具挑戰性。現有的等強度組織分割方法通常在單一 T1、T2 或部分各向異性(FA)模態或其簡單疊加組合上採用基於 patch 的稀疏標記,此類方法並沒有充分挖掘多模態信息。
  • 當前最好的詞句嵌入技術概覽:從無監督學習轉向監督、多任務學習
    但在最近的幾個月裡,人們開始逐漸轉向監督學習和多任務學習,並且在 2017 年底/2018 年初提出了一些非常有趣的方案。近期的通用詞/句嵌入的趨勢:在本文中,作者將介紹上圖中用黑體表示的模型。目前最常用的模型是 word2vec 和 GloVe,它們都是基於分布假設(在相同的上下文中出現的單詞往往具有相似的含義)的無監督學習方法。
  • 德克薩斯A&M大學在讀博士遊宇寧:自監督學習在圖卷積網絡中的研究...
    為了有效利用大量的無標籤數據,自監督學習通過設置合理的學習目標和定義前置任務,從數據本身中得到了監督信號。當前自監督學習已經被廣泛用於訓練卷積神經網絡(CNNs),有效地提高了圖像表示學習可傳遞性、泛化能力和魯棒性,並且已在語義分割、目標檢測、圖像分類、人體動作識別等實戰場景中展現出卓越效果。現在更多無需人工標註的前置任務訓練也被提出,如前景對象分割、圖像修補、圖像著色等。
  • 2019 語義分割指南
    DenseNets for Semantic Segmentation (用於語義分割的全卷積DenseNet)Multi-Scale Context Aggregation by Dilated Convolutions (基於擴張卷積的多尺度上下文聚合)
  • 人工智慧的下半場,一定少不了自監督學習
    然而,當前主流的監督式學習任務往往過度依賴於人工標註,即所謂「有多少人工就有多少智能」。因此,通過自監督的方式自動生成監督信號成為了越來越多人工智慧從業者的選擇。本文從圖像、視頻、控制三個角度分別介紹了自監督表徵學習的最新進展,值得一讀!對於給定的任務,在擁有足夠的標籤的情況下,監督式學習可以很好地解決該問題。
  • GAN用於無監督表徵學習,效果依然驚人……
    該論文提出的方法建立在 SOTA 模型 BigGAN 之上,通過對其表徵學習和生成能力進行廣泛評估,證明這些基於生成的模型在 ImageNet 數據集的無監督表徵學習和無條件圖像生成方面均實現了 SOTA 效果。
  • ECCV 2020 Oral | 蘇黎世聯邦理工學院提出:弱監督語義分割新網絡
    論文地址:arxiv.org/pdf/2007.01947代碼地址:https://github.com/GuoleiSun/MCIS_wsss 本篇文章沿著近幾年弱監督語義分割(WSSS)的研究熱點一、簡介如果閱讀過我之前關於弱監督語義分割(WSSS)的論文閱讀筆記的讀者,就一定知道弱監督語義分割從開始到現在的發展大致分為兩個階段。這兩個階段以CAM [1] 的出現為劃分節點。在CAM這個方法出現之前,WSSS的研究呈現百花齊放的狀態。這種狀態體現在兩個方面:弱監督標籤的多樣性:這一階段大家選擇的弱監督標籤是多樣化的。
  • 阿里文娛資深算法專家:視頻物體分割算法的三個方向與最新應用
    視頻物體分割結果是進行內容二次創作的重要素材。例如目前火爆的「裸眼 3D 視頻」,基於視頻中主要物體與觀眾之間的距離,利用蒙皮遮擋的變化產生 3D 效果。其核心點是將前景物體從視頻中分割出來,這部分會花費創作者 99% 以上的時間。因此,對於優酷這樣的視頻類網站,視頻物體分割是非常有價值的算法,能夠賦能內容生產者,提升內容生產效率。
  • 100個深度圖像分割算法,紐約大學UCLA等最新綜述論文
    我們提供了一個比較總結的性質和性能的審查方法的分割目的,在流行的基準上進行。 我們為基於深度學習的圖像分割提出了一些挑戰和潛在的未來方向。 該調研的其餘部分組織如下: 第2節提供了流行的深度神經網絡架構的概述,作為許多現代分割算法的主幹。
  • 自監督學習知識遷移
    自監督學習是一個非常有趣的研究領域,其目標是在沒有任何人工標註的情況下,從未標註的數據中學習豐富的表示。我們可以通過創造性地提出一個問題來實現,這樣你就可以使用數據本身的一部分作為標籤並嘗試進行預測。這樣的表述被稱為前置任務例如,你可以設置一個前置任務,給定灰度圖情況下來預測圖像的彩色版本。
  • 利用基於幾何關係的擴增技術從OCT圖像進行病理視網膜區域分割
    由 Amy Zhao 等人提出的一種基於學習的配準方法,將圖像配準到圖集中,利用相應的變形場對分割掩模進行變形,得到新的圖像數據。然而,由於它們不能模擬不同器官之間的幾何關係,而且大多數擴增方法不能區分正常和病變樣本,因此它們對分割的相關性有限。因此,需要考慮不同解剖區域之間的幾何關係的擴增方法,並為病變和正常病例生成不同的圖像。當前擴增方法的另一個局限性是它們沒有以原則性的方式納入多樣性。
  • DeepMind爆出無監督表示學習模型BigBiGAN,GAN之父點讚!
    BigBiGAN表明,「圖像生成質量的進步轉化為了表示學習性能的顯著提高」。研究人員廣泛評估了BigBiGAN模型的表示學習和生成性能,證明這些基於生成的模型在ImageNet上的無監督表示學習和無條件圖像生成方面都達到了state of the art的水平。這篇論文在Twitter上引發很大反響。
  • 前沿研究丨深度學習在醫學超聲圖像分析中的應用
    作為機器學習的一個分支,深度學習實質上是計算樣本數據的分層特徵或表示形成,其中高層次的抽象特徵是通過將它們與低級特徵相結合來定義的。基於所討論的深度學習結構與技術(如分類、分割或檢測),本領域最常用的深度學習結構可分為3大類:①監督深度網絡或深度辨別式模型;②無監督深度網絡或深度產生式模型,以及③混合深度網絡。
  • 韓國科學技術院在讀博士潘飛:語義分割場景中域適應問題的研究 |...
    基於卷積神經網絡的監督學習方法近幾年在語義分割任務裡取得了顯著進展。但是,這種方法十分依賴於大量帶注釋的數據進行訓練。為了解決這種限制,通常將從圖形引擎生成自動注釋數據,並用來訓練語義分割網絡。但是,從圖形引擎裡生成的數據訓練的模型很難遷移到真實世界採集到的圖像數據。針對遷移學習的問題,目前主流的是使用域適應或遷移學習的方法來解決圖像分割任務中的遷移學習問題。