深度學習下的醫學圖像分析(一)

2021-01-11 雷鋒網

雷鋒網按:本文由圖普科技編譯自《Medical Image Analysis with Deep Learning 》,雷鋒網(公眾號:雷鋒網)獨家首發。

近年來,深度學習技術一直都處於科研界的前沿。憑藉深度學習,我們開始對圖像和視頻進行分析,並將其應用於各種各樣的設備,比如自動駕駛汽車、無人駕駛飛機,等等。

A Neural Algorithm of  Artistic  Style是一篇最新發表的研究性論文,論文向我們介紹了如何將一種風格和氣質從藝術家身上轉移至一張圖像,並由此創建出另一張新圖像。其他的一些論文,比如Generative Adversarial  Networks和Wasserstein GAN,也已經為開發模型鋪平了道路,這個模型能夠創建出與輸入數據相似的新數據。由此,「半監督學習」世界的大門被打開了,未來「無監督學習」的發展也將更加順利。

儘管這些調查研究的對象現在僅限於一般的圖像,但我們的目標是將這些研究運用到醫學圖像中,幫助醫療保健的發展。在本文中,我將從圖像處理和醫學圖像格式數據入手,並對一些醫學數據進行可視化處理。在下一篇文章中,我將進深入剖析一些卷積神經網絡,並將其與Keras聯合,預測肺癌。

使用Python進行基本的圖像處理

OpenCV(開源計算機視覺庫)憑藉其大量社區支持,以及對C++,Java和Python的可兼容性,在琳琅滿目的圖像處理庫中脫穎而出,成為了圖像處理庫的主流。

現在,打開你的Jupyter筆記本,並且確定cv2是能夠導入至筆記本的。你還需要numpy和matplotlib來查看筆記本內的細節內容。

現在,我們來看一下你能不能打開圖片,能不能用下面的代碼在你的筆記本上查看圖片。

基本的人臉檢測

接下來,我們要玩些有趣的——檢測人臉。我們將使用一個開源的正臉檢測器來進行人臉檢測,這個檢測器最初是由Rainer Lienhart創建的。下圖這個帖子詳細地介紹了級聯檢測的細節:

在下面的文檔中還有很多使用OpenCV進行圖像處理的例子(點擊連結查看文檔http://docs.opencv.org/trunk/d6/d00/tutorial_py_root.html),讀者們可以任意查看。了解了基本的圖像處理以後,接下來我們將開始了解「醫學圖像格式」。

醫學圖像數據格式

醫學圖像與「數字影像和通訊」(DICOM)一樣,是一個儲存和交換醫學圖像數據的標準解決方案。該標準自1985年第一版發布以來,已經被修改了好幾次。該標準使用的是一個文件格式和一個通訊協議。

文件格式——所有病人的醫學圖像都被保存在DICOM文件格式裡。這個格式中保存著病人的受保護健康信息,比如:病人姓名、性別、年齡,還有一些醫療圖像的數據。「醫學成像設備」創建了DICOM文件。醫生們使用DICOM閱讀器和能夠顯示DICOM圖像的電腦軟體應用程式來查看醫學圖像,並且根據圖像的信息作出診斷。

通訊協議——DICOM通訊協議是用來在檔案中搜索影像研究,並將影像研究還原顯示的。所有連接了醫院網絡的醫學成像應用程式都會使用DICOM協議交換信息,這些信息中的大部分是DICOM圖像,不過還包括了一些患者信息和治療方案。還有一些網絡要求是用於控制和跟蹤手術、安排手術日程、報告狀態,以及分擔醫生和成像設備之間的工作量的。

下面的博客詳細地介紹了DICOM標準:

分析DICOM圖像

Pydicom是一個相當不錯的、用於分析DICOM圖像的Python工具包。在這個部分,我們將會看到DICOM圖像是如何在Jupyter筆記本上呈現的。

使用pip安裝pydicom下載安裝OpenCV

Pydicom工具包安裝完畢以後,回到Jupyter筆記本。將dicom工具包和下圖中的其他工具包導入筆記本中。

在處理和分析數據時,我們還會用到其他的工具包,比如pandas,scipy,skimage和mpl_toolkit,等等。

網上有很多免費的DICOM資料庫,下面的這些資料庫可能對你有所幫助:

Kaggle競賽和資料庫:這是我個人最喜歡的資料庫。這裡面有關於肺癌和糖尿病視網膜病變的數據。

Dicom資料庫:DICOM資料庫是一個免費的線上醫學DICOM圖像或視頻分享的伺服器,它主要是以教學和科研為目的的。

Osirix資料庫:這個資料庫向我們提供了大量通過各種成像方式獲得的人類數據。

可視化人體數據集:「可視人計劃」的某些部分是分布於這個數據集的,但是這個數據集中的數據是需要收費的。

Zubal幻影:這個網站提供了關於兩名男性CT和MRI圖像的多個資料庫。

下載dicom文件,並將其上傳至你的jupyter筆記本。

現在,將DICOM圖像加載到一個列表中。

第一步:在Jupyter筆記本上查看DICOM圖像

在第一行,我們加載第一個DICOM文件,然後提取文件名在列表中排第一的元數據。

接下來,我們要計算3DNumpy數組的總維數,它等於片中像素的行數x、片中像素的列數x,還有x,y,z軸。最後,我們要用「像素空間」和「SliceThickness」來計算三個軸上像素間的空間距離。我們需要將數組維度保存在ConstPixelDims中,並將空間保存在ConstPixelSpacing中。

第二步:進一步研究DICOM格式的細節

CT掃描測量的單元是「胡斯菲爾德單元」(HU),這個單元測量的是放射性密度。為了得到精確的測量結果,CT掃描儀經過了嚴格的校準。下面是關於CT掃描測量的細節內容:

每個像素都會被分配一個數值(CT數),這個數值是相應的voxel內所有衰減值的平均值。這個數字是與水的衰減值相比較得出的,而且是以任意單元的規模顯示的,這個任意單元叫做「胡斯菲爾德單元」(HU),是以Godfrey Hounsfield先生的名字命名的。

這個任意單元的規模將水的衰減值定為零。CT數字的範圍是2000HU,儘管有一些現代掃描儀的HU範圍達到了4000。每個數值都代表了一種灰色陰影,在光譜兩端有+1000白色和-1000黑色。

胡斯菲爾德規模(圖片來自《CT的介紹》)

有些掃描儀是有柱狀掃描邊界的,但是其輸出的圖像確實方形的。在掃描邊界之外的像素將被賦予-2000的定值。

CT掃描儀圖像(圖片來自《CT的介紹》)

第一步通常是將這些值設置為零。接著,我們把得到的數值與重新調節的斜率相乘,再加上截距(通常是記錄在掃描的元數據中的),然後回到HU單元。

在接下來的部分,我們將會使用Kaggle的肺癌資料庫和Keras的卷積神經網絡。我們將根據本文提供的信息,構建下一部分的內容。

雷鋒網特約稿件,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 深度學習下的醫學圖像分析(四)
    《深度學習下的醫學圖像分析(三)》的後續文章。對與深度學習相關的醫療保障工作而言,2017年的「Nvidia GTC大會」絕對是一個絕佳的信息來源。在大會上,有諸如Ian GoodFellow和Jeremy Howard的深度學習專家分享了他們對深度學習的見解;還有一些頂級醫學院(例如西奈山醫學院、紐約大學醫學院、麻省綜合醫院等)和Kaggle在大會上介紹他們的建模戰略。
  • 深度學習下的醫學圖像分析(二)
    《深度學習下的醫學圖像分析(一)》的後續文章。 在《深度學習下的醫學圖像分析》系列的第一篇文章中,我們介紹了一些使用OpenCV和DICOM圖像基礎知識進行圖像處理的過程。本文,我們將從「卷積神經網絡」的角度討論深度學習。
  • 前沿研究丨深度學習在醫學超聲圖像分析中的應用
    中國工程院院刊《Engineering》刊發《深度學習在醫學超聲圖像分析中的應用綜述》一文,旨在全面而系統地總結深度學習在醫學超聲圖像分析中的應用,主要是在典型的任務及其在不同解剖結構中的應用。文章指出,在醫學超聲圖像分析中,深度學習展示了巨大的應用潛力,簡要介紹了一些流行的深度學習結構,討論了深度學習方法在超聲圖像分析的各種特定任務(如圖像分類、物體檢測與目標分割)中的應用。文章指出了深度學習在醫學超聲圖像分析應用中所面臨的挑戰以及潛在的發展趨勢。
  • 深度學習在醫學影像中的研究進展及發展趨勢
    隨著深度學習的出現,利用深度神經網絡分析醫學影像已成為目前研究的主流。根據醫學影像分析的流程,從醫學影像數據的產生、醫學影像的預處理,到醫學影像的分類預測,充分闡述了深度學習在每一環節的應用研究現狀,並根據其面臨的問題,對未來的發展趨勢進行了展望。關鍵詞:深度學習 ; 醫學影像 ; 圖像處理 ; 人工智慧 ; 卷積神經網絡論文引用格式:王麗會,秦永彬.
  • 一文探討可解釋深度學習技術在醫療圖像診斷中的應用
    然後,結合三篇文章具體分析了可解釋深度學習模型在醫療圖像分析中的應用。作為一種領先的人工智慧方法,深度學習應用於各種醫學診斷任務都是非常有效的,在某些方面甚至超過了人類專家。其中,一些計算機視覺方面的最新技術已經應用於醫學成像任務中,如阿爾茨海默病的分類、肺癌檢測、視網膜疾病檢測等。
  • 超全深度學習細粒度圖像分析:項目、綜述、教程一網打盡
    選自arXiv作者:Xiu-Shen Wei、Jianxin Wu、Quan Cui機器之心編譯參與:李詩萌、張倩在本文中,來自曠視科技、南京大學和早稻田大學的研究者對基於深度學習的細粒度圖像分析進行了綜述,從細粒度圖像識別、檢索和生成三個方向展開論述。此外,他們還對該領域未來的發展方向進行了討論。
  • 深度學習與圖像識別 圖像檢測
    CNN等為什麼對圖像領域更加有效,因為其不但關注了全局特徵,更是利用了圖像識別領域非常重要的局部特徵,應該是將局部特徵抽取的算法融入到了神經網絡中。圖像本身的局部數據存在關聯性,而這種局部關聯性的特徵是其他算法無法提取的。深度學習很重要的是對全局和局部特徵的綜合把握(2)深度學習不是一個黑箱系統。
  • 深度學習可超快分析三維醫學影像
    英國《自然·醫學》雜誌13日在線發表的兩項獨立研究顯示,最新的人工智慧(AI)已可以基於三維醫學影像,對神經系統疾病和視網膜疾病給出快速、準確的自動診斷。這意味著深度學習算法已成功應用於三維醫學影像的超快分析。
  • 深度學習使人工智慧可超快分析三維醫學影像
    在醫學影像方面更是具有其獨特的價值。本文引用地址:http://www.eepw.com.cn/article/201808/390565.htm  據了解,前沿的人工智慧已可以用於三維醫學影像,對神經系統疾病和視網膜疾病做出快速、準確的醫療診斷。  人工智慧可以識別二維的醫學影像,但是對於三維的醫學影像分析效果不是很理想。
  • 關於MATLAB 圖像處理與深度學習的作用分析和介紹
    接下來我們將介紹如何創建該算法,並說明為何深度學習和圖像處理對於對象檢測和圖像分類同樣十分有用。 圖像處理與深度學習 我們重點介紹兩種技術: 圖像處理 按像素級別變換或者修改圖像。比如,過濾、模糊、去模糊和邊緣檢測等; 深度學習 通過學習樣本圖像自動識別圖像特點。近幾年,深度學習已經徹底改變了圖像處理領域。
  • 透過ISICDM,看醫學圖像分析的未來趨勢與挑戰
    在此大環境下,電子科技大學李純明教授作為ISICDM會議的發起人和程序主席,匯聚了理、工、醫三方知名專家,力促人工智慧+醫學圖像的進一步研究與應用落地。羅切斯特大學羅傑波教授ISICDM期間,Baba Vemuri、羅傑波等嘉賓公開指出,利用大量標註醫學圖像數據做訓練,這並不是一種長久的研究方式。
  • 上海交大發布 MedMNIST 醫學圖像分析數據集 & 新基準
    ,近日上海交通大學發布了 MedMNIST 數據集,有望促進醫學圖像分析的發展。令人頭禿的醫學圖像分析醫學圖像分析是一個公認的「老大難」課題。樂觀估計,經過多年的學習和研究,你終於掌握了計算機視覺和臨床醫學的雙向技能,那接下來的操作也能讓你愁到頭禿,因為這些數據來源五花八門,有 X 射線、CT、超聲……分析處理這麼多個不同模式的非標準數據集,也太難了!
  • 深度學習之圖像超分辨重建技術
    圖9 RAISR在2x上採樣率時與SRCNN, A+等超分辨算法的技術指標對比左圖為PSNR-runtime指標,右圖為SSIM-runtime指標【4】 結語超分辨重建在醫學影像處理、壓縮圖像增強等方面具有廣闊的應用前景,近年來一直是深度學習研究的熱門領域
  • 一場深度學習引發的圖像壓縮革命
    ;2015 年,Microsoft ResNet 在 ILSVRC 達到 3.6% 的失誤率;……除了在圖像識別上的一系列突破,深度學習也為圖像壓縮帶來革命性改變。而 TNG 一改傳統的這些編碼技術,轉而乘上深度學習這艘大船。據圖鴨科技 CEO 武俊敏介紹,他們從 16 年 8 月開始對 TNG 技術進行研發,歷經傳統算法和深度學習算法兩個階段。
  • 圖像識別中的深度學習【香港中文大學王曉剛】
    深度學習是近十年來人工智慧領域取得的重要突破。它在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領域的應用取得了巨大成功。現有的深度學習模型屬於神經網絡。神經網絡的起源可追溯到20世紀40年代,曾經在八九十年代流行。神經網絡試圖通過模擬大腦認知的機理解決各種機器學習問題。
  • 吳博:目標檢測集成框架在醫學圖像 AI 輔助分析中的應用 | AI 研習...
    用於醫學圖像分析時的範疇,設置相關的任務及採用合理的模型方法?而醫學圖像的分類也非常具有現實意義,比如可以判斷人是有病還是無病、以及是哪類病,像 Nature、Science 雜誌就發表過皮膚癌、胸片、眼底照等醫學場景的圖像分類模型。但在實操過程中,我們發現將醫學影像當成一個分類問題來處理,任務設置未免過於宏大和粗放。
  • 復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫療數據增強方面...
    在8月24日上午的數字醫學與智能診療分會上,復旦大學的宋志堅發表了題為《深度學習用於計算機輔助診斷與治療:面臨的問題、機遇與挑戰》的演講。其中就包含了對人工智慧所寄予的希望,深度學習是人工智慧的核心技術之一。但是,目前深度學習還存在四個方面的問題(尤其是在醫學上的應用):個別輿論宣傳偏離了科學本身、監管政策、黑箱問題、隱私與黑客攻擊以及數據的數量與質量。
  • 詳解:智能醫學影像分析的前沿與挑戰 | 雷鋒網公開課
    本次公開課主要分為四部分:一是醫學成像的概念及其類型與方式,以及人工智慧及深度學習等技術的介紹;二是深度學習如何應用於醫學影像處理等醫療領域;三是深度學習目前遇到的困難與需要突破的方向透過這些方式可以讓深度學習去達到我們的目的。深度學習主要有非監督與半監督特徵學習,它會分層進行特徵提取。
  • 如何將深度學習應用於無人機圖像的目標檢測
    本文全面概述了基於深度學習的對無人機航拍圖像進行物體檢測的方法。隨著基於深度學習的計算機視覺為這些無人機「提供動力」,行業專家們預測無人機將在以前難以想像的應用場景中被前所未有地廣泛使用。我們將探索一些應用以及伴隨著它們的挑戰,這些應用基於深度學習完成了基於無人機的自動化監測。在最後,我們將展示一個使用Nanonets機器學習框架對非洲住房項目進行遠程監測的案例。
  • 深度| 變革的開始,深度學習將如何改變醫療成像領域?
    深度卷積神經網絡(Deep CNN)可以自動學習從原始數據(例如,圖像)獲得的中級和高級的抽象概念。最近的結果表明,從 CNN 提取的通用描述符(generic descriptor)在自然圖像的對象識別和定位中非常有效。世界各地的醫學圖像分析組正在迅速進入該領域,並將 CNN 和其他的深度學習方法應用於廣泛的應用當中。許多不錯的成果正在湧現。