復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫療數據增強方面...

2021-01-08 雷鋒網

2019年8月24-26日,第三屆圖像計算與數字醫學國際研討會(ISICDM 2019),在西安索菲特酒店召開。研討會由國際數字醫學會與國家天元數學西北中心聯合主辦,西安電子科技大學數學與統計學院與空軍軍醫大學(第四軍醫大學)生物醫學工程學院聯合承辦。

雷鋒網&AI掘金志第三次作為大會首席合作媒體,全程參與ISICDM的報導。

在8月24日上午的數字醫學與智能診療分會上,復旦大學的宋志堅發表了題為《深度學習用於計算機輔助診斷與治療:面臨的問題、機遇與挑戰》的演講。

宋志堅教授是復旦大學特聘教授、數字醫學研究中心主任、上海市MICCAI(Medical Image Computing and Computer Assisted Intervention )重點實驗室主任。

在演講中,宋教授分享了團隊在前列腺mpMRI(多參數磁共振)診斷、臨床數據增強以及頭頸部放療危險部位分割的成果。

以mpMRI診斷為例,因為數據量和特異性的問題,判斷前列腺癌是否具有臨床顯著性風險,這是一個非常大的臨床需求。宋教授的團隊建立了一個專門用於前列腺癌診斷的網絡架構,成績連續八個月在ProstateX Grand Challenge排在第一。

此外,宋教授還就AI在醫療領域的前景發表了自己的看法:「從經濟角度來看,自第三次工業革命以來,新的創造財富的科技動力還沒有真正到來,大家均在期盼第四次工業革命為人們帶來新的機遇和發展動力。」

其中就包含了對人工智慧所寄予的希望,深度學習是人工智慧的核心技術之一。但是,目前深度學習還存在四個方面的問題(尤其是在醫學上的應用):個別輿論宣傳偏離了科學本身、監管政策、黑箱問題、隱私與黑客攻擊以及數據的數量與質量。

以下是宋志堅教授的演講內容,雷鋒網(公眾號:雷鋒網)作了不改變原意的編輯

宋志堅:我本人是從事手術導航、手術機器人領域研究的人員。這幾年,人工智慧尤其是深度學習得到了廣泛應用,我們也開展了一些這方面的研究工作,今天想結合我們實驗室工作的具體工作,和大家交流一下深度學習給醫學診斷和治療帶來的機遇及其存在問題。

大家都知道,要讓計算機為我們人類工作,幫助我們解決問題,大致可以分為兩個思路。

第一個是人工建模的思路,這種思路的步驟是首先提出問題,然後對問題進行深入的分析和探討,在這個基礎上提出算法,然後再根據算法來進行編程。

另外一種思路就是機器學習方法,它也是人工建模,最典型的就是神經網絡,但是人工僅建一半的模型,剩下的一半模型,例如神經網絡的參數不是人工確定的,而是通過對數據進行訓練而獲得,亦即,根據我們希望輸出的結果和實際結果的差異,經過反覆迭代而最終將網絡參數確定下來。

如果網絡的隱層很多,一般稱之為深度學習網絡。這幾年深度學習的發展很快,它能解決許多非線性的問題。

以往我們靠人工建模較難以解決的問題,現在通過深度學習很可能可以取得很大的進展。也就是說,深度學習給我們帶來了許多機遇。

牛津大學的科研人員進行了一個評估,今後幾年哪些工作有可能會被人工智慧所替代。其中與我們醫務人員最相關的就是外科醫生,從2016年算起,35年左右就有可能會被人工智慧所替代(文章並未詳細說明替代到什麼程度)。

近年來,深度學習在醫學診斷和治療方面的研究有很多,我們可以快速回顧一下這方面的進展。

首先我們看一下人工智慧在肺結節診斷方面的相關實驗,18名放射學專家有17個被人工智慧超過;肺炎、心臟肥大的AUC指標分別是0.63和0.87;3D CT 診斷在中風方面的研究AUC達到了0.73。

而且,深度學習的診斷速度很快,是人工的150倍。

此外,還有利用深度學習對基因組學進行研究的案例。

在皮膚病方面,皮膚癌的診斷準確度達到0.96,黑素瘤方面達到了0.94。這方面的研究很普遍,進展也很快。上面這個是很典型的基因組學的網絡結構,由於時間關係就不展開描述了。

這個是電子病歷,它將影像學、基因組學還有電子病歷作為輸入和訓練對象,所建立的網絡可用於對疾病進行自動診斷。

人們對某一事物的認識往往是通過科學實驗或臨床實踐而來。針對深度學習在疾病診斷和治療領域的應用,我們實驗室開展了一些工作,我藉助這個機會把我們的工作簡單介紹一下,具體介紹三個實例。

第一個介紹的是前列腺癌診斷的問題,判斷前列腺癌是否具有臨床顯著性風險,這是一個非常大的臨床需求。

我們用的是多參數磁共振的數據,因為圖像量非常大,所以醫生診斷工作量就很大;另外一個重要原因是,醫生通過MRI對前列腺癌的診斷,和CT對肺臟、肝臟疾病的診斷不一樣,前列腺癌的特異性不是很好,診斷的難度要大一些。

所以,通過多參數磁共振圖像實現對前列腺癌的診斷診斷,是大家都在研究的前沿問題。

我們的整體思路是這樣:

首先,我們對前列腺癌進行一個大致的位置確定,即預處理。

其次,我們建立一個專門用於前列腺癌診斷的網絡。在這個基礎上,我們對它進行訓練測試,看看它的準確性,這是總體的框架。

具體而言,對每一種參數的前列腺的數據,我們有一個連續卷積的過程。我們看每一個小方塊,放大以後是這樣的。我們對某一個圖像,比方說256*256的圖像,首先是3*3*64的卷積,卷積以後就形成了256×256*64個卷積。

卷積結束以後,我們再進行一個1*1*64的卷積的操作。這樣就把256*256*64變成了256*256*1,這是3*3的卷積,然後緊接著是一個5*5的卷積。

最後,我們把這兩個卷積連起來,再進行一個pooling的操作。那麼2*2的pooling之後,256*256就變成了128*128。

回過頭來看,假設是256*256的圖像,再是128*128*64,一直下來是一個8*8的圖像,我們把8*8圖像的每一個像素、每一個參數的卷積,結合前列腺癌的位置,把它連起來進入全連接進行判斷,最後可以得出一個結果。

我們用的數據集是SPIE所提供的Prostate X挑戰賽數據集,訓練集利包含204名患者的330個病變,測試集包含了142名患者的208個病變。

現在測試下來,我們的成績連續八個月排在第一。

我認為,最關鍵的是建立了一個專門用於前列腺癌診斷的網絡架構。

我們做的第二個工作是臨床數據增強。

在前列腺穿刺導航研究當中,首先要對前列腺進行分割。這裡面會遇到一個問題,就是臨床數據包括前列腺數據的獲取很難。此外,醫生在這方面的工作量很大。

因此我們做了一個圖像增強的工作,也就是怎樣由小數據形成大數據。

這個工作的基本思路是這樣:

首先我們對圖像進行預處理。在此基礎上,我們針對每一個訓練集的圖像,用統計模型對數據進行增強。也就是說,從概率統計上看,前列腺的輪廓最大概率的形狀有哪些?

所以,根據一組輪廓能生成多個新的輪廓,然後對某一個生成的輪廓,找到最接近的那個輪廓所對應的圖像,然後用輪廓之間所對應的最接近的關係,把對應圖像的紋理進行插值。

這樣,就由小數據生成了大數據。它的基本思路是這樣的,然後把原來提供的數據和我們生成的數據進行訓練,得出結果。

這個是由小數據生成大數據的一個圖示化結果。

我們可以看到,上面是原來提供的數據,下面是我們模擬生成的。可以看到,我們生成的圖像很漂亮,像真的一樣,那麼它有沒有用呢?

我們做了試驗,使用CNN和Unet進行驗證。可以看到,隨著生成數據的增加,圖像分割精度也在迅速提升。

所以,我們生成的數據在網絡訓練中是起作用的,能夠在數據不足的時候,用數據增強的方法,部分地解決問題。

這是我們以圖像分割為例對數據增強做的試驗,對增強的數據進行驗證,上圖分別是2D和3D上的前列腺分割結果。

第三個工作是頭頸部放療危及器官的分割。

頭頸部放療,通常要對一些危及器官進行規避,即放療中不能損害到到這些危及器官。這麼多的危及器官,一般有9到10個,要靠人工勾畫,醫生的工作量很大,有沒有可能用人工智慧的方法把危及器官自動分割出來。

我們工作的基本思路是這樣:首先,因為訓練集的圖像已經是分割好了,我們把分割好的圖像把它提取出來,其他的都不要了,這樣就形成了兩個系列的圖像。對這兩個系列的圖像因為它訓練速度的問題我們進行了下採樣。

對這個圖像,我們經過傳統的計算方法,把已經分割好的地方用一個小的立方體框住。

首先,訓練找到頭頸部某一個器官的大致位置,把這個圖像輸入第一個名為LocNet的網絡(基本結構和Unet相似),對它進行訓練。

訓練是以我們關注的器官的位置作為標準,看看我們訓練的和它有什麼區別?如果有區別的話,再進行迭代把這個參數確定下來。

最後結果是,把整個器官的位置定位下來,然後根據這個位置來找到對應圖像的位置,然後僅對這幅圖像我們所確定的與器官相關的位置進行第二次訓練,我們叫SegNet,通過它進行訓練分割。

測試數據時,當兩個網絡結構定下來以後,把這個數據先定位,然後在定位的基礎上進行分割。

這個是我們分割的具體可視化的結果。

可以看到,九個位置的分割都比較準確。當然這裡面也有不準確的,我們的測試數據有部分不是很準確。

從整體平均數據比較,我們用了兩個參數。

一個是Dice係數。與國際上其他方法比較,九個部位裡有五個排名第一,兩個排第二;第二個,95% HDs距離,九個部位裡有七個排第一,兩個排第二。可以看出,我們的工作還是比較成功的。

最後是我們的一些思考,對今後的機遇問題簡單介紹一下。

我們可以回顧一下工業革命的歷史。

第一次工業革命以蒸汽機為標誌,這個和醫學沒有太大關係,最起碼沒有直接關係。

第二次工業革命的標誌是電力的發明,這個應該說和醫學有間接關係。

以計算機及信息技術為標誌的第三次工業革命和醫學的關係就密切多了,比方說CT、核磁共振、PET等均得力利於計算機技術。亦即,信息技術推動了醫學的發展,尤其是推動了診斷和治療的進步。

現在,第四次工業革命尚未到來(有人說即將到來),而第三次工業革命的紅利已基本耗盡,這意味著什麼呢?

意味著,新的增長點沒有形成,財富增量正在逐漸縮小,國際上部分利益集團,尤其是老牌發達國家的利益集團,要維持原來的生活水平,就不得不從別人口中搶蛋糕。所以大家就可以看到國際上會出現一些怪現象。例如,你不能生產電視機,而我可以,那麼我獲得了很多財富;以後你能夠生產了,但是我的質量比你高,我還是能夠盈利。但如果技術長期沒有突破,後來居上,那麼原來生產電視機的廠家利潤便會迅速下降。

在第四次工業革命的浪潮中,誰搶佔了先機,誰就將獲得更大的發展的空間。因此,這幾年對國家間的競爭非常重要。

目前,新的增長點有可能集中在如下幾個方面:一個是人工智慧,其核心應該是deep learning(深度學習),此外還有可控核聚變、石墨烯、量子信息、新能源等等。其中和醫學關係最密切的就是deep learning,但是,現在要在這方面實現突破的話,還有許多問題需要解決。

一、輿論偏離了科學

我們現在輿論上宣傳的內容和實際上有一些差異。首先我們應該認清,深度學習和傳統方法最大的不同是,它並非完全依靠人工建模,而是相當程度上依靠大數據訓練形成參數並確定模型。因此,過去許多人工建模解決不了或解決不好的問題,通過深度學習能夠為我們提高新的機遇。但同時,我們也要看到,深度學習也存在一些自身的問題。例如,傳統建模的方法如果推理很嚴謹,那麼一百個數據進去,一百個都是準確的。而人工智慧這種方法,一百個數據進去可能有幾個是不準確的,但是在臨床上,這一百個數據是不允許出現問題的。

二、監管政策

監管政策法規會限制深度學習在臨床上的應用。舉個例子,比方說國際工程師協會將自動駕駛分為五級,第五級就是完全的自動駕駛,人已經完全不幹預。但是,現實政策上限制在Level 4上,也就是說,不能完全是自主駕駛,最起碼人要在旁邊看著。

在臨床層面應用人工智慧的話,大家普遍應該是Level 3。就是說,不能把對疾病的診斷的重要事情全部交給人工智慧,最起碼現階段很長一段時間內不行。

三、黑箱問題

歐洲通用數據保護條例規定,如果要把AI用在醫學上,尤其是用在臨床上,必須要對所建立網絡的基本原理作出解釋,這個恰恰是人工智慧、深度學習的弱點。

四、隱私和黑客攻擊,數據如何避免遭到黑客的攻擊

五、數據的數量和質量

如果我們在臨床上獲得數據的時候,臨床上標記錯誤,這些都是深度學習在醫學上尤其是臨床上應用需要解決的問題。

舉一個很典型的例子,這是今年4月發表在美國婦產科雜誌上的一篇文章,它是用兩種模型,對白蛋白水平與宮頸癌預後結果的關係進行判斷、推測。

深度學習得出來的結果和臨床共識,以及我們傳統模型得到的結果不一樣。

人工智慧認為該蛋白的水平和宮頸癌的預後沒有直接關係。那麼,按照傳統的思路,這應該是一個比較重要的發現。

但是要讓大家接受這個研究結果,需要解釋為什麼。人工智慧是如何得出這個結果的。

所以這篇文章在討論的部分說到:我們研究遺憾的地方在於,深度學習不能解釋為什麼出現這個結果。我們只能說,所訓練的網絡測試下來是這樣一個結果,大家要接受這個結果,需要深度學習有更深入的解釋。雷鋒網

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 醫療圖像處理研究生培養基地成立,中南大學與愛爾眼科達成合作
    (醫療圖像處理研究生聯合培養基地校外碩士生導師聘任儀式)  長沙市科技局社會發展處蔣泰文處長,中南大學計算機學院副院長鄧曉衡教授,  (中南大學計算機學院副院長鄧曉衡教授講話)  中南大學和愛爾眼科將以此次合作為契機,充分發揮產教融合、校企合作的體制機制優勢,在算法研究、眼底圖像數據採集與標註、眼底疾病智能診斷系統研發三個方面開展人才培養及教學科研深化合作
  • 復旦大學黃萱菁:自然語言處理中的表示學習
    復旦大學黃萱菁帶來報告《自然語言處理中的表示學習》。黃萱菁,復旦大學計算機科學技術學院教授、博士生導師。1998年於復旦大學獲計算機理學博士學位,研究領域為人工智慧、自然語言處理、信息檢索和社會媒體分析。兼任中國中文信息學會常務理事,社會媒體專委會副主任,中國計算機學會中文信息技術專委會副主任。
  • 基於PyTorch圖像特徵工程的深度學習圖像增強
    介紹在深度學習黑客競賽中表現出色的技巧(或者坦率地說,是任何數據科學黑客競賽) 通常歸結為特徵工程。 當您獲得的數據不足以建立一個成功的深度學習模型時,你能發揮多少創造力?我是根據自己參加多次深度學習黑客競賽的經驗而談的,在這次深度黑客競賽中,我們獲得了包含數百張圖像的數據集——根本不足以贏得甚至完成排行榜的頂級排名。那我們怎麼處理這個問題呢?
  • 掌握深度學習,數據不足也能進行圖像分類!
    ——吳恩達圖像分類即根據固定類別對輸入的圖像設置標籤。儘管計算機視覺過於簡單,但是它在實際中仍有廣泛的應用,而圖像分類就是其中的核心問題之一。在本文中,小芯將示範如何在數據不足的情況下應用深度學習。現已創建特製汽車和巴士分類器兩個數據集,每個數據集包含100個圖像。其中,訓練集有70個圖像,驗證集有30個。挑戰1.
  • 斯坦福教授深度分析:醫療+AI的殺手級應用會是什麼?
    Greg Zaharchuk教授與之相對,基於AI技術的圖像加速重建和後期增強處理很可能會率先走向應用。在圖像重建中使用深度學習仍需要解決一些問題/問題,包括:· 使用k空間與圖像域空間的權衡· 確定最佳損失函數和評估方法· 逐像素均方誤差損失更易於優化,但會導致圖像模糊· 對抗性攻擊的相關性· 臨床相關信息的潛在損失他說,然而,包括學術研究人員和公司在內的許多團體都顯示了通過深度學習減少掃描時間的能力,
  • 一文探討可解釋深度學習技術在醫療圖像診斷中的應用
    然後,結合三篇文章具體分析了可解釋深度學習模型在醫療圖像分析中的應用。作為一種領先的人工智慧方法,深度學習應用於各種醫學診斷任務都是非常有效的,在某些方面甚至超過了人類專家。其中,一些計算機視覺方面的最新技術已經應用於醫學成像任務中,如阿爾茨海默病的分類、肺癌檢測、視網膜疾病檢測等。
  • 深度| 變革的開始,深度學習將如何改變醫療成像領域?
    選自IEEE Xplore機器之心編譯不久之前,IEEE Xplore 出了一期 Guest Editorial 探討深度學習在醫療圖像中的應用。點擊閱讀原文可查看英文原文。導語深度學習在數據分析方面正在呈現持續增長的趨勢,並被稱為 2013 年的 10 項突破性技術之一 [1]。
  • 復旦大學陳俊坤:自然語言處理中的多任務學習 | AI 研習社職播間第...
    其中一個重要的原因是數據規模問題。多任務學習是將多個任務一起學習,充分挖掘多個任務之間的相關性,來提高每個任務的模型準確率,從而可以減少每個任務對訓練數據量的需求。近日,在雷鋒網 AI 研習社公開課上,復旦大學計算機系在讀碩士陳俊坤分享了其所在研究組關於多任務學習在自然語言處理領域的最新工作。
  • NIH開源迄今最大臨床醫療圖像數據集,用深度學習構建通用疾病檢測...
    ,也是迄今全球規模最大的多類別、病灶級別標註的開放獲取臨床醫療圖像數據集。因此,這件事情只有靠計算機設計深度學習算法來完成。  而要設計深度學習算法,關鍵就是帶有準確標記的醫療圖像大數據。去除隱私後的公共醫療大數據本就不多,而且不同於其他類型的數據標註,醫療圖像標註需要豐富的臨床經驗,即使是資深醫生,有時候也會在某個標註上產生意見分歧。
  • 深度學習與圖像識別 圖像檢測
    來源:http://blog.csdn.net/omenglishuixiang1234/article/details/53305842  點擊閱讀原文直接進入主要做了基於深度學習的圖像識別與檢測的研究,下面是一些整理內容1、深度學習的優勢(1)從統計,計算的角度看,DL
  • 「深度學習」打造「中國腦計劃」
    其實當你長按微信語音並選擇把朋友的語音信息「轉化為文字」時,就是兩者結合的一次完美應用,是「深度學習」的產物。這一方面基於腦科學的發展為模擬、實現和應用神經系統的原理提供了堅實的生物理論基礎,另一方面基於智能算法、大數據和應用模式的成熟為人工智慧突破產業大規模應用提供了良好的環境。
  • 深度學習下的醫學圖像分析(四)
    對與深度學習相關的醫療保障工作而言,2017年的「Nvidia GTC大會」絕對是一個絕佳的信息來源。在大會上,有諸如Ian GoodFellow和Jeremy Howard的深度學習專家分享了他們對深度學習的見解;還有一些頂級醫學院(例如西奈山醫學院、紐約大學醫學院、麻省綜合醫院等)和Kaggle在大會上介紹他們的建模戰略。
  • 關於MATLAB 圖像處理與深度學習的作用分析和介紹
    接下來我們將介紹如何創建該算法,並說明為何深度學習和圖像處理對於對象檢測和圖像分類同樣十分有用。 圖像處理與深度學習 我們重點介紹兩種技術: 圖像處理 按像素級別變換或者修改圖像。比如,過濾、模糊、去模糊和邊緣檢測等; 深度學習 通過學習樣本圖像自動識別圖像特點。近幾年,深度學習已經徹底改變了圖像處理領域。
  • 圖像識別中的深度學習【香港中文大學王曉剛】
    深度學習是近十年來人工智慧領域取得的重要突破。它在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領域的應用取得了巨大成功。現有的深度學習模型屬於神經網絡。神經網絡的起源可追溯到20世紀40年代,曾經在八九十年代流行。神經網絡試圖通過模擬大腦認知的機理解決各種機器學習問題。
  • ...大學沈定剛:深度學習不是萬能鑰匙,要與醫生合作尋找需求 | CCF...
    在6月30日下午的計算機視覺專場中,北卡羅萊納大學的沈定剛教授發展了主題為《深度學習在醫學影像分析中的應用(Deep Learning in Medical Image Analysis)》的主題演講。
  • 點內科技:基於3D深度學習自動預測肺腺癌EGFR突變狀態,預測精準度...
    2019年7月,國際期刊CancerMedicine以封面文章的形式,刊登了點內科技、復旦大學附屬華東醫院、上海交通大學等多單位的最新聯合研究成果,《基於3D深度學習自動預測肺腺癌EGFR突變狀態》,研究顯示預測精準度超過傳統影像組學。
  • 西北工業大學夏勇教授課題組博士生在醫學圖像計算頂級會議MICCAI...
    該會議是醫學影像人工智慧領域的國際頂級會議,除了展示領域內最新研究成果外,還因舉辦面向各種醫學圖像智能分析場景的國際挑戰賽而受到全球研究者和業界的廣泛關注。西北工業大學計算機學院的空天地海一體化大數據應用技術國家工程實驗室夏勇教授課題組博士生賈灝哲在大腦膠質瘤分割挑戰賽(BraTS 2020)獲得國際亞軍,博士生張建鵬在基於多序列CMR的心肌病理分割挑戰賽(MyoPS 2020)獲得國際季軍。
  • 遙感圖像處理中的深度學習專題 《中國科學:信息科學》英文版
    SCIENCE CHINA InformationSciences Vol. 63 Number 4 專題簡介 深度學習是一種非常適用於大數據應用的新興技術
  • 100個深度圖像分割算法,紐約大學UCLA等最新綜述論文
    、滑鐵盧大學、UCLA等學者深度學習圖像分割最新綜述論文,對現有的深度學習圖像分割研究進行梳理使其系統化,並提出6方面挑戰,幫助讀者更好地了解當前的研究現狀和思路。對近幾年深度學習圖像分割進行了全面綜述,對現有的深度學習圖像分割研究進行梳理使其系統化,並提出6方面挑戰,幫助讀者更好地了解當前的研究現狀和思路。可作為相關領域從業者的必備參考文獻。
  • 019 中德名牌大學本科學習比較——暨對復旦大學物理系樂永康教授...
    摘要:本文以中德兩國幾所著名大學物理專業的本科課程為例,結合對德國海歸博士、國內高校教學科研一線教師的採訪,對比展現兩國大學學習的不同之處。   採訪嘉賓介紹   樂永康教授,本科畢業於復旦大學物理系。