雷鋒網按：本文整理自雅森科技高級算法研究員楊士霆，在雷鋒網(公眾號：雷鋒網)硬創公開課上的演講，主題為「智能醫學影像分析的前沿與挑戰」。
楊士霆，畢業於臺灣長庚大學電機工程研究所博士班，主攻醫學影像處理與應用。研究領域涉及醫學影像處理，生物醫學資訊，醫用光學，類神經與模糊理論，功能性磁振造影，醫學物理與生醫統計。曾在臺灣林口長庚醫院，寧波杜比醫療負責影像算法開發工作，現任職於北京雅森科技發展公司，擔任高級算法研究員。
公開課視頻如下：
以下為雷鋒網整理的演講主要文字內容（關注雷鋒網醫療科技微信公眾號「AIHealth」，回復「117」下載完整PPT）：
本次公開課主要分為四部分：
一是醫學成像的概念及其類型與方式，以及人工智慧及深度學習等技術的介紹；
二是深度學習如何應用於醫學影像處理等醫療領域；
三是深度學習目前遇到的困難與需要突破的方向；
最後是總結。
醫學影像與人工智慧近三十年的醫學成像，是一種實用性及創新概念的革命，主要包括兩個部分：
一是硬體發展的突飛猛進，包括MR、CT等硬體的發展，這些成像技術讓我們得到了很好的影像；
二是複雜數學工具的利用，通過這些方式可以對醫學影像進行重建、分析與處理，從而得到清晰可見的醫學圖像。
這兩個部分造就了成像上的進展。
醫學成像主要分為兩個形態：
一是結構性圖像，它主要可以得到組織的結構性特徵，但無法看到生物有機代謝的情況；
二是功能性圖像，它可以提示代謝的衰變與下降，或功能性的疾病。
相比結構性圖像，功能性圖像的空間解析度較差。
我們可以透過不一樣的介質來形成圖像，結構性成像包括：
X-ray，如血管攝影和電腦斷層，它可以看到組織結構；
聲音的方法，如超聲成像；
螢光，它可以用來探討組織和細胞的形狀與結構；
磁場，如核磁共振，它可以看到腦組織和身體器官的結構；
光學，比如眼底圖像，光學相干斷層掃描，它可以偵探到身體的結構，幫助診斷。
功能性圖像有：
光子，如用單光子電腦斷層掃描，可以看到代謝狀況，不過沒法看到組織結構；
正子，如正子斷層掃描，它加上一些醫學藥物的應用，可以看到代謝情況，看到腫瘤和病灶；
血氧水平，如fMRI功能性磁共振；
電流活動，下中圖是腦波圖的方法，透過腦波圖，拓撲到腦部對應位置，可以看到活動狀態下腦部電流改變的狀況；
磁場，與腦波圖類似，通過腦磁圖的方法，用磁場偵探微弱電流，可以感應出大腦中的功能性差異。
關於人工智慧，我們一直聽到它將對日常生活產生重要的影響。而如今，計算機已經可以像人類一樣準確地處理圖像與視頻，甚至比人類表現還要好。這些突破主要來自深度學習。
關於深度學習，可以理解為它是機器學習的一個分支，其主要目的是模擬更高層次抽象思維。
深度學習主要是建構大量的抽象層，幫助將一些輸入的訊號映射到更高層的表現方式。例如，處理圖像中，輸入的特徵可以是每個像素，可以計算像素的強度，它可能是一組邊緣，也可能是特定的輪廓與區域。透過這些方式可以讓深度學習去達到我們的目的。
深度學習主要有非監督與半監督特徵學習，它會分層進行特徵提取。
在醫學成像中，要做到精準診斷，對疾病進行評估，需要：
一藉助影像設備獲取圖像，由於近幾年影像設備的進步，它在診斷上取得了比較好的效果。
二是解讀醫學圖像。現在主要依靠醫師完成，但有一些問題需要克服，比如主觀性，醫師的經驗和訓練不同，在看醫學圖像時有不同方式的解讀與定義；另外醫師的經驗不同，對同一組資料的解讀有較大的差異；而且醫師會疲勞，從而導致解讀的錯誤。
三是檢測出異常。
四是將想量測的位置進行量化，比如術前術後，讓醫師評估手術前後的差異時，要針對圖像做量化，透過前後數據的差別，協助醫師判斷手術是否成功。
上面提到的四個主要問題，都可以通過深度學習的方式來促進診斷，即將需要治療的地方做明確的辨識，輔助醫師做更有效地診斷，找到病灶。
深度學習在醫學影像上的應用接下來要講解深度學習技術在醫學影像上的應用。目前醫學影像領域的主要處理內容有：
CAD，即計算機輔助診斷，醫師可以據此評估病人的治療情況，以及術前術後的差別等。輔助診斷也可以通過圖像分析的方法，找到腫瘤和癌症病灶。
圖像分割，主要是對身體的組織做明確的分割。
圖像配準與圖像融合，這兩者可以一起講。我們知道，圖像有結構性與功能性之分，後者圖像空間解析度差，可以看到組織的代謝情況，但不知道位於組織中的位置。所以需要影像配準與融合，將不同類型的圖像結合在一起，一個提供清晰的結構，一個提供代謝情況，這樣可以了解到組織與器官的病變。
影像導引治療。它可以分成兩類，一是影像導引手術，比如做開腦手術時，癲癇病人會不自主地出現放電異常抽動，用藥物抵制可能沒效果，這就要在大腦中植入電極，而這樣就需要引導的方法，將電極放到正確位置上。二是放射手術治療，即放療，它需要對腫瘤的位置做評估，因為放射線可以殺死癌細胞，也可能殺死正常細胞，所以要引導將放療固定在正確的位置，這也就需要醫學圖像的應用。
最後是醫學資料庫的搜尋與獲取，即如何從資料庫中檢索出想要的數據，這些可以通過深度學習的方法處理。
我們為什麼要在醫學圖像上使用深度學習的方法呢？因為圖像有不同形態，來自不同的組織，而如前所述，深度學習可以進行分析與處理，讓一些人為誤差得到調整。通過深度學習提取最主要的特徵，它也可以對疾病分類，做圖像分類與分割。
接下來講講深度學習的臨床應用。
上圖中的案例是全自動淋巴結檢測。左邊是縱隔的淋巴結，右邊是腹部淋巴結。可以看到，圖像標定出來的位置中，其實淋巴結有很大的差異，比如形狀與位置不一定，它與周圍的組織也非常類似。
過去傳統的圖像處理，是透過電腦斷層圖像，取得3D的立體影像，然後做影像上的處理分析與應用。比較新的方法是増強式3D Haar特徵，建立整體完整的檢測器，透過scanning window檢測淋巴結。
但傳統方法表現不佳，主要是維度上的限制。
在前兩年的一篇論文中，有人透過深度學習的方式自動檢測淋巴結。做法是，首先通過隨機森林分類器RF，檢測出大概位置並做標定；然後將標定出來的淋巴結，根據矢狀面、橫切面、冠狀面、三維角度，互相正交結合，創建出2.5維的空間投影立體特徵。接下來，透過HOG特徵提取方法，對空間投影圖像進行向量特徵截取。然後通過SVM訓練方法，將取得的特徵做加強和訓練，然後自動檢測出淋巴結位置。
用深度學習的方法做分割，在2015年的一篇文章也有展現。它主要利用卷積神經網絡CNN，自動將大腦灰質、白質、腦脊髓翼自動分割，從而分析大腦的病變。
這篇論文中利用深度學習將不同的病人的資料做分割，精確度都不錯。
具體來說，作者用CNN將不同類型的MRI圖像，做有效分割，精確分割灰質、白質、腦脊髓翼。
他們通過CNN，將圖像分成一塊塊patch，然後對完整圖像做學習，訓練與分類。
上面這個研究是海馬回的分割。研究表明，海馬回主要與記憶有關。上圖是用手標定的海馬回的位置，可以看出與淋巴結一樣，它與臨近組織很相近，分割有一定難度。
在2015年的一篇論文中，就有作者通過CNN，用2D patches、三平面patches，以及改良式3D patches的方法，將海馬回進行深度學習，從而分割。左邊是還沒處理的情況，右是明確定位了海馬回的位置。
在光學圖像上，這裡的例子是糖尿病視網膜病變的檢測。一般來說，糖尿病患者容易發生眼部疾病，視網膜血管也會有所改變。上面中間的圖是正常情況，右邊是患者圖像。
所以，在一些研究中用CNN的方法，針對眼底圖像進行糖尿病視網膜病變的辨識。已經可以判斷嚴重的情況。
另外還有深度學習在細胞檢測中的應用。比如2013年的一篇論文，主要是胸部癌症細胞的檢測，標定的是細胞癌症，通過max-pooling CNN，針對胸部組織圖像做有絲分裂的分析。結果顯示，精確度達到了將近9成。
上圖就是針對組織圖像的分析，得到的有線分裂的情況。
另外，還有個很好玩的例子。CNN除了做圖像識別，還可以將3T MRI圖像透過CNN網絡，重建出類7T MRI的圖像。所謂T是指特斯拉，即磁場感應強度。我們醫學中常見的核磁機器是1T和1.5T，而7T是磁場強達7特斯拉，這種設備昂貴，需要很多的費用，但7T圖像的性噪比強。所以，研究中想通過深度學習將3T變7T圖像。
上圖可以看出，左邊3T圖像中，腦部邊緣有些模糊，但處理過後的右圖變得清晰了。這是用低成本的方法做重建。
智能醫學影像分析的挑戰以上就是深度學習在醫學影像上的應用案例。那深度學習在應用當中，還有哪方面的挑戰呢？
目前論文的實驗，主要是探討結構效度的評估，一般是在實驗架構的基礎上，評估CNN配合哪一個patch，哪些在實驗中是好是壞。但沒有思考，在實際使用深度學習的過程當中，表現是否如預期想的那麼好。
使用模型當中，也常常選擇很多不一樣類型的特徵去訓練，這個過程中怎麼樣找出好的有效特徵？另外，在建構深度學習模型中，如何透過那麼多參數做調整。這些都是深度學習的挑戰。
另外，想要發展一個有效的深度理論學習模型，要基於經驗資料，去調試與評估網絡的效果，這也是主要挑戰的目標。在這個過程中，要評估與測量模型複雜的程度，比如：
一是深度學習過程中有神經元的概念，那到底要多少數量？到底要多少patch？
二是還要考慮計算單元的形態，要放置多少的隱藏層、卷積層？這部分是深度學習要思考的。
三是考慮到模型的架構和拓撲的結構，怎麼樣將CNN與不同類型的機器學習模型，做互相的結合與比較？
四是是怎麼樣有效地將模型產生與建立起來？
最後是學習中效率問題。深度學習早在80年代就有所發展，但由於計算機的限制，其發展也並不如意。最近計算力的進步才將機器學習的機制建立起來。回過頭來看，到了如今的情況，硬體越來越好，那怎麼樣讓學習效率做更有效的分配或調整呢？怎麼樣將學習效率調整到比較好的階段，達到很好的結果？這都是深度學習的挑戰。
另外，也需要採集數據的量到底需要有多大？聽到了很多大數據的概念，但MR圖像可能是128*128維度，也有很多的訓練。大的數據量的分析與統計都會影響到大數據分析與學習。怎麼樣做權衡和評估的一個挑戰。
我們需要融合經驗資料，建構深度的理論學習模型，以取得好的評估效果。要做到這些，我們就需要定義一個理論策略，通過這個策略，去評估、調試模型。
在這個過程中，有一個常規化的機制。即最簡單的輸入-隱藏-處理-輸出訓練模型。但我們如何調整順序，使得對模型的調試更加明確、更加常規化，也是值得探討的地方。
我們在做深度學習的過程中，有個很一致的概念：我們都希望多放些層，或者減少內容。有時候，可能需要多一些特殊的加成層。但如何明確定義這個概念，使其常規化，也是我們要挑戰的目標。
另一個挑戰是：我們在做深度學習的過程中，最常使用的是非深度學習的架構。那我們要怎樣評估這個架構，找出一個好方法呢？
最後，是關於計算效率。我們先前也有提到，機器效能和數據都會直接或間接影響計算效率。如何取得平衡點，是之後的深度學習研究中很好的一個研究方向。
我們做一個最簡單的總結：深度學習主要用來做什麼？
深度學習有很大的潛力，能分析大量資料，通過學習給出分析結論和答案。所以其應用廣泛，不僅是在醫學影像領域，在其他領域也有很大的貢獻。並且在我們分析大數據時，深度學習可以為我們提供精簡信息。深度學習的可發展性還是非常大的，還有很多東西值得去挑戰，值得大家一起去探討。
在2016年RANA會議上，深度學習、智能學習非常熱門，醫生們意識到深度學習可以輔助診斷，甚至能幫他們找出更有效的治療方法，並且最近的一些會議中，我們都可以發現深度學習、智能分析的龐大市場和發展潛力
我相信，深度學習在智能醫學影像分析中一定有很大的價值。
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。