本文是《Marginal loss and exclusion loss for partially supervised multi-organ segmentation》的中文簡寫版。
說起《M》一文頗有感慨。去年MICCAI被拒後,大家頗為鬱悶。遂擼起袖子,大幹一場 ---整理思路、補充實驗、斟酌文字,於年中投稿《MedicalImageAnalysis》,很快被要求大修。但是,恰逢公雷同學去阿里做實習,還要找工作,過程很是糾結。幸運的是,最終守得雲開,堅持帶來了回報。在此,恭喜公雷同學!也感謝這次的匿名reviewers獨特精準的眼光!
-- 周少華
背景
多器官分割是醫學圖像分析中的一個重要的研究問題,而數據標註是建立多器官分割模型過程中不可或缺的一部分。在醫學圖像中標註多個器官非常花費精力和時間,因此,現有的多器官標註數據集的樣本量通常很少(如下圖左),而大部分的數據集往往都只標註單個或少量器官(如下圖右邊)。由於標註的不完整性,常規方法只能基於單個數據集訓練模型,模型的性能受到數據量不足帶來的影響。我們研究了如何突破標註的不完整性,聯合不不同的數據集,從中學習一個多器官分割網絡。
圖 1:不同的數據集有不同的器官標註。
方法
為此,我們提出了兩種新的損失函數:marginal loss (邊緣損失) 和exclusion loss (互斥損失)。
Marginal loss(邊緣損失),主要利用標註合併和邊緣概率的思想,。如圖表1,區域和區域在數據集中同屬於(即合併為)區域,區域和區域同屬於(即合併為)區域,那麼在對應數據集中可能最終只給出了區域和區域的ground truth,而網絡輸出的結果是區域各自的概率,那麼在做的時候就直接計算和各自的邊緣概率,再利用分割loss函數(如Dice + 交叉熵CE)反向傳播。具體舉例,某個只含肝臟標籤的影像中,其「背景」是其他非肝臟器官和真正背景的合集。
圖2
Exclusion loss(互斥損失),主要利用器官不重疊帶來標籤間互斥的思路。例如某個只含肝臟標籤的數據中,如果在已標註的肝臟區域上,網絡給出的結果是脾臟,那麼就應該對應做出懲戒。如圖3,數據集給出的ground truth有和區域,那麼網絡分割出來的對區域的預測值如果出現在了區域,就應該利用Dice做出對應的區域性懲戒。
圖3
具體的marginal loss和exclusion loss公式可以參照論文中的描述。
實驗
實驗中主要使用的數據集如下圖。經過合併後,數據總量達到了688個。以下所有實驗中訓練的模型都是基於nnU-Net的。
我們分別針對不同的情況做了如下消融實驗,實驗性能的量化指標是Dice係數:
a)正常使用單個全器官分割數據集、單個單器官分割數據集、二分類方法以及我們的方法的對比;
b)Marginal loss和Exclusion loss在不同權重下的效果對比;
c)對數據量的敏感度(主要是針對全分割數據集中,在把部分數據遮擋其他器官ground truth後變成單器官分割標籤情況下進行訓練的效果);
d)同類型方法以及對比我們方法的p-value;
e)在丟失部分單器官標註數據集情況下的影響;
f)針對小目標的分割效果(以Pancreas tumor為例)。
小結
我們提出的marginal loss(邊緣損失)和exclusionloss(互斥損失)有效地利用了多器官分割標註中的先驗知識。基於此,我們有機地整合了不同數據集以及他們的部分標註信息,由此訓練出來的模型也得到了更好的性能。