科學家開發出一種基於深度學習的生物醫學圖像分割方法

2020-12-25 科學網

科學家開發出一種基於深度學習的生物醫學圖像分割方法

作者：

小柯機器人

發布時間：2020/12/9 13:32:53

德國海德堡大學Klaus H. Maier-Hein課題組開發出一種基於深度學習的生物醫學圖像分割方法。2020年12月7日，《自然—方法學》雜誌在線發表了這項成果。

研究人員開發了nnU-Net，這是一種基於深度學習的細分方法，可以自動進行自我配置，包括針對任何新任務的預處理、網絡架構、訓練和後處理。此過程中的關鍵設計選擇被建模為一組固定參數、相互依賴的規則和經驗性決策。無需人工幹預，nnU-Net可以超越大多數現有方法，包括對國際生物醫學分割競賽中使用的23個公共數據集提供高度專業化的解決方案。研究人員將nnU-Net作為一個開箱即用的工具公開提供，通過不需要標準網絡培訓之外的專業知識或計算資源，即可讓廣大研究者使用。

據介紹，生物醫學成像是科學發現的驅動力，也是醫療保健的核心組成部分，並且受到深度學習領域的影響。儘管語義分割算法可以在許多應用程式中進行圖像分析和量化，但是各個專用解決方案的設計並非易事，並且高度依賴於數據集屬性和硬體條件。

附：英文原文

Title: nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation

Author: Fabian Isensee, Paul F. Jaeger, Simon A. A. Kohl, Jens Petersen, Klaus H. Maier-Hein

Issue&Volume: 2020-12-07

Abstract: Biomedical imaging is a driver of scientific discovery and a core component of medical care and is being stimulated by the field of deep learning. While semantic segmentation algorithms enable image analysis and quantification in many applications, the design of respective specialized solutions is non-trivial and highly dependent on dataset properties and hardware conditions. We developed nnU-Net, a deep learning-based segmentation method that automatically configures itself, including preprocessing, network architecture, training and post-processing for any new task. The key design choices in this process are modeled as a set of fixed parameters, interdependent rules and empirical decisions. Without manual intervention, nnU-Net surpasses most existing approaches, including highly specialized solutions on 23 public datasets used in international biomedical segmentation competitions. We make nnU-Net publicly available as an out-of-the-box tool, rendering state-of-the-art segmentation accessible to a broad audience by requiring neither expert knowledge nor computing resources beyond standard network training. nnU-Net is a deep learning-based image segmentation method that automatically configures itself for diverse biological and medical image segmentation tasks. nnU-Net offers state-of-the-art performance as an out-of-the-box tool.

DOI: 10.1038/s41592-020-01008-z

Source: https://www.nature.com/articles/s41592-020-01008-z

相關焦點

  • 基於深度學習方法的圖像分割
    語義分割在普通分割的基礎上，分類出每一塊區域的語義（即這塊區域是什麼物體）。 如把畫面中的所有物體都指出它們各自的類別。實例分割在語義分割的基礎上，給每個物體編號。 如這個是該畫面中的狗A，那個是畫面中的狗B。論文推薦圖像的語義分割（Semantic Segmentation）是計算機視覺中非常重要的任務。它的目標是為圖像中的每個像素分類。
  • 基於深度學習的語義分割綜述
    近年來，由於深度學習模型在視覺應用中的成功，已有大量的工作致力於利用深度學習模型開發圖像分割方法。本文全面回顧了撰寫本文時的文獻，涵蓋了語義和實例級分割的大量開創性工作，包括完全卷積像素標記網絡、編碼器-解碼器架構、多尺度和基於金字塔的方法、遞歸網絡，視覺attention模型，以及生成對抗模型。
  • 深度學習中的圖像分割:方法和應用
    ，包括傳統方法和深度學習方法，以及應用場景。基於人工智慧和深度學習方法的現代計算機視覺技術在過去10年裡取得了顯著進展。如今，它被用於圖像分類、人臉識別、圖像中物體的識別、視頻分析和分類以及機器人和自動駕駛車輛的圖像處理等應用上。許多計算機視覺任務需要對圖像進行智能分割，以理解圖像中的內容，並使每個部分的分析更加容易。
  • 圖像分割中的深度學習:U-Net 體系結構
    user=vZA2pjwAAAAJ&hl=en）U-Net是一種卷積神經網絡（CNN）方法，由Olaf Ronneberger、Phillip Fischer和Thomas Brox於2015年首次提出，它可以更好的分割生物醫學圖像。
  • 基於注意力機制改進U-Net的醫學圖像分割算法
    近年來，由於深度學習方法的迅速發展，基於深度學習的圖像分割算法在醫學圖像分割領域取得了顯著的成就。其中依賴於編碼器-解碼器體系結構的U-Net被研究人員廣泛使用。但是U-Net網絡在下採樣的過程中卷積、池化都是局部算子，要獲取全局信息就需要深度編碼器，這樣會引入大量的訓練參數，並且丟失更多圖像的空間信息。而在上採樣過程中使用反卷積、反池化很難進行空間信息的恢復。
  • 基於深度學習的語義分割技術講解
    由於所有的像素都要考慮到，因此語義圖像分割任務也被視為是稠密預測的一種。在此，要區別一下實例分割（具體可參考著名的MaskRCNN模型），實例分割常常與目標檢測系統相互結合，用於檢測和分割場景中同一對象的多個實例。基於深度學習的語義分割方法：用卷積神經網絡分類（全卷積網絡），與普通網絡不同的是，分類層是卷積層，普通網絡為全連接層。
  • 從0到1必看 | 基於深度學習方法的圖像分割
    語義分割是一個非常困難的問題，尤其是在深度學習之前。深度學習使得圖像分割的準確率提高了很多，下面我們就總結一下近年來最具有代表性的方法和論文。這篇論文是第一篇成功使用深度學習做圖像語義分割的論文。論文的主要貢獻有兩點：提出了全卷積網絡。將全連接網絡替換成了卷積網絡，使得網絡可以接受任意大小的圖片，並輸出和原圖一樣大小的分割圖。只有這樣，才能為每個像素做分類。使用了反卷積層（Deconvolution）。分類神經網絡的特徵圖一般只有原圖的幾分之一大小。
  • 100個深度圖像分割算法,紐約大學UCLA等最新綜述論文
    研究者們提出了各種圖像分割算法。最近，由於深度學習模型在廣泛的視覺應用中取得了成功，已經有大量的工作致力於開發使用深度學習模型的圖像分割方法。我們的調研涵蓋了圖像分割的最新文獻，並討論了到2019年提出的一百多種基於深度學習的分割方法。我們對這些方法的不同方面提供了全面的回顧和見解，包括培訓數據、網絡架構的選擇、損失功能、培訓策略以及它們的關鍵貢獻。我們對所述方法的性能進行了比較總結，並討論了基於深度學習的圖像分割模型的幾個挑戰和未來可能的方向。
  • U-Net 和 ResNet:長短跳躍連接的重要性(生物醫學圖像分割)
    原文連結：https://medium.com/datadriveninvestor/review-u-net-resnet-the-importance-of-long-short-skip-connections-biomedical-image-ccbf8061ff43這次，我們來聊一聊用於生物醫學圖像分割的的一種全卷積神經網絡
  • 【推薦】基於MATLAB編程、機器學習、深度學習在圖像處理中的實踐技術應用
    >Matlab科研經驗分享與科研工具推薦深度學習在遙感地物分類、目標識別和圖像分割技巧總結因此，為了幫助廣大科研人員更加系統地學習圖像處理、機器學習和深度學習的基礎理論知識及對應的代碼實現方法，Ai尚研修特舉辦「MATLAB圖像處理與機器學習技術應用培訓班」 培訓班，旨在幫助學員掌握圖像處理的基礎知識，以及經典機器學習算法和最新的深度神經網絡、遷移學習、對抗生成網絡等算法的基本原理及其MATLAB編程實現方法。
  • 語義分割的經典學習方法和深度學習方法綜述
    語義分割和實例分割之間的比較本文將探討一些使用經典和基於深度學習的方法來執行語義分割的方法。此外，還將討論常用的損失函數的選擇和應用。經典方法在深度學習時代到來之前，大量的圖像處理技術被用來將圖像分割成感興趣的區域。下面列出了一些常用的方法。灰度分割最簡單的語義分段形式涉及分配區域必須滿足的硬編碼規則或屬性，以便為其分配特定標籤。規則可以根據像素的屬性（例如灰度級強度）來構建。使用此技術的一種方法是拆分（Split）和合併（Merge）算法。
  • CVPR最新醫學影像AI論文:利用學習圖像變換進行數據增強
    該團隊為了解決醫學圖像標註數據缺乏的問題，提出了通過學習圖像的變換（transforms）進行數據增強的半監督分割方法。以下為論文詳細內容，由AI掘金志學術組編譯。生物醫學圖像分割是許多醫學應用中的重要任務。基於卷積神經網絡的分割方法雖然精確度達到了state-of-the-art，但是通常需要依賴於帶有大型標註數據集的監督訓練。
  • 基於深度學習的圖像超解析度技術
    SR是指通過軟體或硬體的方法，從觀測到的低解析度圖像重建出相應的高解析度圖像（說白了就是提高解析度），在監控設備、衛星圖像遙感、數字高清、顯微成像、視頻編碼通信、視頻復原和醫學影像等領域都有重要的應用價值。近年來，目睹了使用深度學習技術的圖像超解析度的顯著進步。
  • 基於深度學習的圖像識別進展
    【視覺機器人：個人認為先驗知識對於做產品很重要，所以要做好某方面的產品，必須成為這個領域的專家】2 基於深度學習的圖像分類和物體檢測算法在物體檢測方面，如圖2 所示，目前主流的算法大都採用掃描窗或是候選窗方法。
  • 一文詳解圖像分割的主流方法及新思路
    圖像分割是計算機視覺領域的重要任務之一，在醫學圖像分析、視頻監控、遙感圖像處理、工業質檢、場景理解等領域有著廣泛的應用。而隨著深度學習模型在視覺應用中的成功，已有大量的工作致力於利用深度學習模型進行圖像分割，為了幫助大家更好的了解圖像分割，智東西公開課精選了「圖像分割」系列文章。作為本系列的開篇，本文對圖像分割的主流方法及新思路展開介紹。
  • 深度重建:基於深度學習的圖像重建
    本文主要介紹了我們課題組的深度重建工作。從結果可以看出，基於深度學習的CT圖像重建方法在圖像質量上要優於傳統的重建算法。因此，在未來，深度學習和醫學圖像重建的聯繫將會越來越緊密。在今後的工作中，我們也會致力於推進深度學習和CT圖像領域的結合，引入深度學習發展的最新技術，將基於深度學習的方法引入臨床應用上，並且嘗試解決其他的醫學圖像問題，加快醫學圖像領域的發展進程。
  • 基於深度學習的超解析度圖像技術一覽
    局部殘差學習類似於ResNet的殘差學習，用於緩解不斷增加的網絡深度引起的退化問題並提高學習能力。實踐中，上述方法都是通過快捷連接（通常有小常數因子的縮放）和逐元素加法操作實現的。區別在於，前者直接連接輸入圖像和輸出圖像，而後者通常在不同深度的網絡中層之間添加多個快捷方式。
  • 圖像語義分割
    上圖為語義分割的一個實例，其目標是預測出圖像中每一個像素的類標籤。圖像語義分割應用1、自動駕駛汽車： 我們需要為汽車增加必要的感知，以了解他們所處的環境，以便自動駕駛的汽車可以安全行駛；2、醫學圖像診斷：
  • 圖像配準:從SIFT到深度學習
    目錄 圖像配準：從SIFT到深度學習什麼是圖像配準傳統的基於特徵的方法關鍵點檢測和特徵描述特徵匹配圖像變換深度學習方法在過去的幾年中，深度學習使計算機視覺任務具有先進的性能，如圖像分類，物體檢測和分割。特徵提取深度學習用於圖像配準的第一種方式是用於特徵提取。卷積神經網絡設法獲得越來越複雜的圖像特徵並進行學習。2014年以來，研究人員將這些網絡應用於特徵提取的步驟，而不是使用SIFT或類似算法。
  • 基於多特徵地圖和深度學習的實時交通場景分割
    摘要：基於視覺的交通場景語義分割在智能車輛中起著重要作用。在這篇論文中，我們提出了一種新的實時深度完全卷積神經網絡( FCNN )，用於具有六個通道輸入的像素分割。語義分割，也稱為圖像分析或圖像理解[1]，旨在將圖像劃分為預定義的非重疊區域並將其轉換為抽象語義信息。近年來，隨著計算機硬體特別是圖形處理單元（GPU）的快速發展，大規模標記數據的出現，深度卷積神經網絡（CNNs）在圖像分類和目標檢測中的應用迅速發展，並已成為當前主流的圖像分割方法。最近，大多數研究都致力於通過使網絡更深更廣來提高語義分割的準確性。