深度學習下的醫學圖像分析(四)

雷鋒網按：本文由圖普科技編譯自《Medical Image Analysis with Deep Learning Part4》，是最近發表的《深度學習下的醫學圖像分析（三）》的後續文章。雷鋒網(公眾號：雷鋒網)獨家首發。

對與深度學習相關的醫療保障工作而言，2017年的「Nvidia GTC大會」絕對是一個絕佳的信息來源。在大會上，有諸如Ian GoodFellow和Jeremy Howard的深度學習專家分享了他們對深度學習的見解；還有一些頂級醫學院（例如西奈山醫學院、紐約大學醫學院、麻省綜合醫院等）和Kaggle在大會上介紹他們的建模戰略。

 在上一篇文章中，我們談論了深度學習相關的基本內容。本文，我們將關注於醫學圖像及其格式。

 本文分為三個部分——醫學圖像及其組成、醫學圖像格式和醫學圖像的格式轉換。本文希望通過對深度學習的相關知識的介紹，最終達到醫學圖像分析的目的。

醫學圖像及其組成 

由Michele Larobina和Loredana Murino發表的論文，對本文即將展開的討論來說是一個很好的信息參考。Michele Larobina和Loredana Murino二人是義大利「生物架構和生物成像協會」（IBB）的成員。IBB是義大利「國家研究委員會」的組成部分，同時也是義大利最大的公共研究機構。我們的另一個參考信息資源是一篇題為《Working with the DICOM and NIfTI data standards in R》的論文。

醫學圖像是反映解剖區域內部結構或內部功能的圖像，它是由一組圖像元素——像素（2D）或立體像素（3D）——組成的。醫學圖像是由採樣或重建產生的離散性圖像表徵，它能將數值映射到不同的空間位置上。像素的數量是用來描述某一成像設備下的醫學成像的，同時也是描述解剖及其功能細節的一種表達方式。像素所表達的具體數值是由成像設備、成像協議、影像重建以及後期加工所決定的。

 

醫學圖像組成醫學圖像有四個關鍵成分——像素深度、光度表示、元數據和像素數據。這些成分與圖像大小和圖像解析度有關。

 圖像深度（又稱比特深度或顏色深度）是用來編碼每個像素信息的比特數。比如說，一個8比特的光柵可以有256個從0到255數值不等的圖像深度。 

來源： desktop.arcgis.com/en/arcmap/10.3/manage-data/raster-and-images/bit-depth-capacity-for-raster-dataset-cells.htm 

「光度表示」解釋了像素數據如何以正確的圖像格式（單色或彩色圖片）顯示。為了說明像素數值中是否存在色彩信息，我們將引入「每像素採樣數」的概念。單色圖像只有一個「每像素採樣」，而且圖像中沒有色彩信息。圖像是依靠由黑到白的灰階來顯示的，灰階的數目很明顯取決於用來儲存樣本的比特數。在這裡，灰階數與像素深度是一致的。醫療放射圖像，比如CT圖像和磁共振（MR）圖像，是一個灰階的「光度表示」。而核醫學圖像，比如正電子發射斷層圖像（PET）和單光子發射斷層圖像（SPECT），通常都是以彩色映射或調色板來顯示的。

 「元數據」是用於描述圖形象的信息。它可能看起來會比較奇怪，但是在任何一個文件格式中，除了像素數據之外，圖像還有一些其他的相關信息。這樣的圖像信息被稱為「元數據」，它通常以「數據頭」的格式被儲存在文件的開頭，涵蓋了圖像矩陣維度、空間解析度、像素深度和光度表示等信息。

 「像素數據」是儲存像素數值的位置。根據數據類型的不同，像素數據使用數值顯示所需的最小字節數，以整點或浮點數的格式儲存。  圖像大小=數據頭大小（包括元數據）+行數  欄數*像素深度*（圖像幀數）

 醫學圖像格式  

放射圖像有6種主要的格式，分別為DICOM（醫學數字成像和通訊）、NIFTI（神經影像信息技術）、PAR/REC（Philips磁共振掃描格式）、ANALYZE（Mayo醫學成像）、NRRD（近原始柵格數據）和MNIC。

2017年5月的醫學圖像格式 

在上圖的五個格式中，DICOM和NIFTI是接受度最高的。

 DICOM表示「醫學數字成像和通訊」。DICOM是由「美國國家電氣製造商協會」（NEMA）發布的標準，這一標準規範了醫學成像的管理、儲存、列印和信息傳輸，這些都是掃描儀或醫院「醫療影像儲傳系統」（PACS）中的文件格式。DICOM包括了一個文件格式和一個網絡通訊協議，其中的網絡通訊協議是醫療實體間使用TCP/IP進行溝通的一個規範和準則。一個DICOM文件由一個數據頭和圖像數據組成的。數據頭的大小取決於數據信息的多少。數據頭中的內容包括病人編號、病人姓名等等。同時，它還決定了圖像幀數以及解析度。這是圖片查看器用於顯示圖像的。即使是一個單一的圖像獲取，都會有很多DICOM文件。

 

來源: https://www.leadtools.com/sdk/medical/dicom-spec1 

Pydicom是用於讀取DICOM文件的Python庫，詳情請參閱文本第一部分的代碼示例。「oro.dicom」是用於讀取DICOM數據的 R-package。 

使用oro.dicom工具包來讀取未壓縮的DICOM文件 

 「神經成像信息技術創新」將NIFTI格式視為ANALYZE7.5格式的替代品。NIFTI最初是用於神經成像的，但它也適用於一些其他的領域。NIFTI中一個主要的特點在於它包含了兩個仿射坐標定義，這兩個仿射坐標定義能夠將每個立體元素指標（i,j,k）和空間位置（x,y,z）聯繫起來。Nibabel是用於讀取nifti文件的一個朋友Python庫，「oro.nifti」是用於讀取nifti數據的一個R工具包。

DICOM和NIFTI之間最主要的區別在於NIFTI中的原始圖像數據是以3D圖像的格式儲存的，而DICOM是以3D圖像片段的格式儲存的。這就是為什麼在一些機器學習應用程式中NIFTI比DICOM更受歡迎，因為它是3D圖像模型。處理一個單個的NIFTI文件，與處理上百個DICOM文件相比要輕鬆得多。NIFTI的每一張3D圖像中只需儲存兩個文件，而在DICOM中則要儲存更多文件。  

靈活的NRRD格式中包含了一個單個的數據頭文件和既能分開又能合併的圖像文件。一個NRRD數據頭能夠為科學可視化和醫學圖像處理準確地表示N維度的柵格信息。「國家醫學圖像計算聯盟」（NA-MIC）開發了一種用NRRD格式來表示「擴散加權圖像」（DWI）和「擴散張量圖像」（DTI）的方法。NRRD的「擴散加權圖像」和「擴散張量圖像」數據可以被解讀為一個「3D切片機」，能夠直觀地確定張量圖像的方向與神經解剖的預期是一致的。一個NRRD文件的大致格式（帶有數據頭）如下圖所示：

來源 http://teem.sourceforge.net/nrrd/format.html#general.1 

 MINC代表的是「醫學成像NetCDF工具包」。MINC文件格式的開發始於1992年「蒙特利神經研究所」（MNI）。目前，McGill的「腦成像中心」（BCI）正積極地對MINC進行進一步開發。MINC格式的第一個版本（Minc1）是建立在標準的「網絡常見格式」（NetCDF）之上的；而第二個版本的MINC格式，即Minc2，則是以「分級數據格式第五版」（HDF5）為基礎建立的。HDF5支持無限制的多種數據類型，它適用於靈活高效的I/O和高容量、複雜的數據。正是有了這些新的特性和功能，Minc2才能處理大量的、複雜的資料庫。以下是一些研究性論文針對這些格式數據頭所作的比較：

來源：出版於2014年的《醫學圖像格式》

 格式轉換

 dicom2nii是將DICOM格式轉換為NIFTI格式的常見工具。一個讀取和編寫NIFTI文件的Python庫是nibabel。如果想要將DICOM格式轉換為NIFTI格式，有很多自動轉換的工具，比如dcm2nii。Python2的「dcmstack」能讓一系列DICOM圖像堆疊成多維度的數組，這些數組能夠被編寫為帶有「數據頭擴展」（DcmMeta擴展）的NIFTI文件，其中的「數據頭擴展」其實就是一份DICOM文件元數據的摘要。 

 BIC的MINC團隊開發了一種將DICOM轉換為MINC圖像的工具，這個程序是用C語言編寫的，點擊此連結查看github報告。由NIFTI或ANALYZE轉換為MINC格式在BIC的MINC團隊開發了另外一種能夠將NIFTI或ANALYZE圖像轉換為MINC圖像的工具，這個程序叫做nii2mnc。點擊此連結查看包括nii2mnc在內的一系列轉換工具。 

總結 

我們在本文介紹了好幾種可以用於儲存成像和深度學習的格式。我們的目標就是利用最佳的格式，讓我們的卷積神經網絡作出準確的預測。

 在下一篇文章中，我們將討論如何利用其中一種格式從CT掃描圖像中進行肺部切割。

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。