通過使用新的學習技術,將腦部掃描和其他三維圖像的配準速度提高...

2020-12-02 電子發燒友

通過使用新的學習技術，將腦部掃描和其他三維圖像的配準速度提高1000倍以上

李倩 發表於 2018-07-09 09:56:09

醫學圖像配準是一種常見的技術，將不同時期病人的磁共振( MRI )或CT等醫學影像的結果進行匹配，來更詳細地比較和分析解大腦解剖結構方面的差異。如果病人有腦瘤，醫生可以將幾個月前的腦部掃描結果重疊到最近的掃描圖像上，以分析腫瘤微小的病程發展。

然而，這一過程通常需要兩個小時或更長時間，因為傳統系統會在待比對的圖像中一絲不苟的對齊一百萬個像素點中的每一個。為了解決這一問題，MIT的研究人員描述了一種機器學習算法，通過使用新的學習技術，將腦部掃描和其他三維圖像的配準速度提高1000倍以上。

該算法在配準成千上萬對圖像的過程中，通過「學習」來工作。在此過程中，獲取有關如何對齊圖像的信息，並估計一些最佳對齊參數。訓練後，運用這些參數一次性將一幅圖像的所有像素映射到另一幅圖像上。該算法使利用普通計算機進行配準的時間減少到一兩分鐘，或者使利用卓越性能的GPU進行配準的時間減少到不到一秒鐘。

「當可以對齊其中一對或另一對MRI掃描圖像時，配準MRI圖像的任務就不應該困難了 。」 這兩篇論文的共同作者，麻省理工學院計算機科學與人工智慧實驗室( CSAIL )和工程與計算機科學系( EECS )研究生 Guha Balakrishnan說:「在進行對齊配準時，是可以學到一些信息並繼承下來的。如果能從以前的圖像配準中學到一些東西，就能以同樣的精度更快地完成新的任務。"

這些論文在剛剛過去的計算機視覺和模式識別會議(Conference on Computer Vision and Pattern Recognition,CVPR )以及9月舉行的醫學圖像計算和計算機輔助幹預會議(Medical Image Computing and Computer Assisted Interventions Conference, MICCAI )上發表，共同作者有: 麻薩諸塞州總醫院和CSAIL的博士後Adrian Dalca，CSAIL研究生Amy Zhao，在CSAIL做過博士後，現任康奈爾大學教授的Mert R. Sabuncu以及麻省理工學院電氣工程教授John Guttag。

留住知識

MRI掃描結果基本上是數百個堆疊的二維圖像，形成龐大的三維圖像，稱為「體積」（volume），它包含了一百萬個或更多的三維像素，稱為「體素」(voxel)。因此，將第一個3D圖像的所有體素與第二個圖像的所有體素對齊非常耗時。此外，掃描結果可以來自不同的機器，並且具有不同的空間方向，這意味著匹配體素的計算更加複雜。「你有兩個不同大腦的不同圖像，把它們疊放在一起，然後你開始轉動其中一個，直到兩個可以匹配上。數學上，這個優化過程需要很長時間，」CVPR論文的資深作者、MICCAI論文的主要作者Dalca說。

當分析來自大量人群的掃描時，這個過程變得特別緩慢。例如，神經科學家分析數百名患有特定疾病或症狀的患者的大腦結構的變化時，可能需要數百小時。「那是因為這些算法有一個主要缺陷:它們從不會從已有的經驗中學習。在每次配準之後，它們清楚了與體素位置有關的所有數據。:「從本質上說，給一對新的圖像，算法要從零開始。」Balakrishnan說，「經過100次配準後，算法應該從校準中學到了一些東西。我們的研究就是基於這樣的想法開始的。」

研究人員的算法被稱為「VoxelMorph」，基於卷積神經網絡( CNN )，CNN是一種常用於圖像處理的機器學習方法。這些網絡由許多節點組成，這些節點跨幾個計算層來處理圖像和其他信息。

在CVPR論文中，研究人員在7000張公開的MRI腦部掃描圖像上訓練了他們的算法，然後在另外250張掃描圖像上進行了測試。訓練中，大腦掃描圖像被成對輸入算法中。使用CNN和稱為空間轉換器的修改計算層，來捕獲一張MRI掃描圖與另一張MRI掃描圖的相似體素。在此過程中，該算法學習關於體素組的信息，例如兩次掃描共有的解剖形狀，用於計算可應用於任何圖像配準的優化參數。當輸入兩次新掃描時，一個簡單的數學「函數」使用這些優化參數快速計算兩次掃描中每個體素的精確對齊。

簡而言之，算法的CNN組件在訓練期間獲得所有必要的信息，使得在每次新配準時，可以使用一個易於計算的函數評估來執行整個配準。

研究人員發現，他們的算法可以在兩分鐘內用傳統的中央處理器精確地配準所有的250次大腦掃描測試圖像（在訓練之後進行的圖像配準測試），並在不到一秒鐘內用圖形處理單元完成配準。

重要的是，該算法是「無監督的」算法，意味著不需要圖像數據之外的附加信息。一些配準算法雖然嵌入了CNN模型，但是需要一個「基準線」，這意味著要首先運行另一種傳統算法來計算精確配準。而這種算法在沒有這些數據的情況下仍保持了準確性。

MICCAI論文開發了一種改進的VoxelMorph算法，Balakrishnan說，「我們對每個配準都非常有自信」。這個算法保證了配準的「平滑性」，這意味著它不會在合成圖像中產生褶皺、孔洞或通常的變形。本文提出了一個數學模型，該模型用一種稱為骰子分數的的指標來驗證算法的準確性，骰子分數是評價重疊圖像準確性的一種標準度量。在17個腦區中，改進的VoxelMorph算法的精確度與常用的最先進的配準算法相同，同時在方法和用時方面有了很大的提升。

大腦掃描圖像配準以外的應用

研究人員說，除了分析腦部掃描圖像之外，快速算法還有更廣泛的潛在應用。例如，麻省理工學院的同事目前正在肺部圖像上運行該算法。

該算法還為手術過程中的圖像配準奠定了基礎。在一些手術進行之前或實施中會使用不同質量和速度的掃描儀器進行圖像採集。但這些圖像直到手術後才會進行配準。例如，在切除腦腫瘤時，外科醫生有時會在手術前後掃描病人的大腦，對比是否切除了所有腫瘤。如果還有沒有切除乾淨的部分，就重回手術室再進行切除。

Dalca說，有了新的算法，外科醫生幾乎可以實時地配準掃描圖像，從而更清楚地了解手術進展。「但目前在手術過程中無法真正重疊影像，因為這個過程需要兩個小時，而且手術仍在進行中。」他說「如果這個過程只要一秒鐘，那它就可以在實際中應用了。」

「現在有非常多的工作使用的的深度學習框架缺乏創造力或想像力。而這項工作不需要依賴大量的研究，它非常巧妙地將非線性映射當做一個學習任務。學習需要幾個小時，但是使用網絡的時候只需要幾秒鐘。「 哈佛醫學院放射學教授、麻薩諸塞州總醫院神經科學家Bruce Fischl說，「這種方法將大量繁雜的工作（圖像配準）變成了只要進行一次的學習過程，並將耗時數小時的工作在數秒內完成，這為醫學影像和臨床實踐開闢了新的可能！譬如，當患者還躺在掃描儀器裡時，算法就可以運行算法完成計算，當時就能夠決定需要獲取什麼類型的數據以及應該聚焦到大腦的哪個部位，而無需要求患者在幾天或幾周之後再返回進行檢查。」Fischl補充說，他的實驗室開發了用於神經影像分析的開源軟體工具，希望能很快使用這種算法。他說：「我們最大的缺點是分析資料庫所花的時間太長，而且到目前為止，分析中計算密集程度較高的部分是非線性映射，所以這些工具對我來說非常有意義。」

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 圖像配準的前世今生:從人工設計特徵到深度學習
    本文將回顧圖像配準技術的前世今生，為讀者提供一個該領域的宏觀視野。圖像配準是計算機視覺領域的一個基礎步驟。在本文深入探討深度學習之前，我們先展示一下 OpenCV 中基於特徵的方法。什麼是圖像配準？圖像配準就是將同一個場景的不同圖像轉換到同樣的坐標系統中的過程。
  • 在醫學圖像分析中使用ICP算法進行點雲配準
    我們提出的方法首先進行圖像分割，然後對人類的頭骨進行三維重建。此外，點雲的3D 模型也被創建。最後，3D模型點雲之間的差異也是可視化的。我們對比了3中不同的算法，包括它們的精度以及魯棒性。和傳統醫學圖像領域中的重建和配準算法相比，文中提出的方法更快、精度更高。我們將算法應用於研究顱骨畸形，骷髏模型的實驗證明了這種方法的有效性和魯棒性。
  • 三維雷射掃描技術在地質災害調查監測中的應用
    這一技術包括使用雷射脈衝定向照射目標並測量脈衝的往返時間，通過處理每個發射的脈衝經過目標反射後返回到傳感器的時間，可以計算出傳感器到地面或者其他目標之間的距離。，其過程是：從傳感器上發射的雷射信號被目標反射後，被雷射掃描系統上的接收單元接收，根據發射和接收之間的時間差，可以計算出傳感器與目標之間的距離，依次掃描被測區域，快速獲得地面或者其他景觀的三維坐標和反射光強。
  • 牙種植動態導航配準方式對配準精度的影響
    有標記點配準主要是利用骨標記物、咬合夾板、解剖標誌作為特殊標記，並固定在術區周圍以實現術區實際空間位置與虛擬術區空間位置的配準重合。有標記點配準的配準過程如下：1）術前獲取患者術區帶有放射阻射標記的三維影像；2）將數據導入計算機內進行術前規劃；3）術區標記點與虛擬三維圖像上標記點配準重合。無標記點配準是利用面融合原理進行輪廓匹配來完成配準重合的。
  • 巧解圖像處理經典難題之圖像配準
    一、定義圖像配準是使用某種算法，基於某種評估標準，將一副或多副圖片（局部）最優映射到目標圖片上的方法。根據不同配準方法，不同評判標準和不同圖片類型，有不同類型的圖像配準方法。（詳見「問題分類」部分）二、問題背景和應用圖像配準在計算機視覺、醫學圖像處理、材料力學、遙感等領域有廣泛應用。
  • 傾斜攝影和雷射掃描技術在城市三維建模中的融合應用研究
    摘 要: 基於提高傾斜攝影技術在城市三維建模效果目的，採用了地面雷射掃描技術在傾斜攝影建模基礎上進行匹配融合的方法，通過對某個小區建築物進行無人機傾斜攝影和地面擺站雷射掃描相結合的數據處理實驗，得出了通過兩者技術融合在城市建築三維模型建設中紋理效果有效提升的可行性結論，並在實驗結論中提出了改進意見。
  • 三維雷射掃描測量技術及在測繪領域的應用
    LIDAR系統通過掃描裝置，沿航線採集地面點三維數據，通過特定方程解算處理成適當的影像值，生成LIDAR數據影像和地面高程模型DEM。系統可自動調節航帶寬度，使其與航攝寬度精確匹配。在不同的實地條件下，平面精度可以達到0.15 至1米，高程精度可達到10釐米，間隔可達到2-12米。
  • 深度學習在醫學影像中的研究進展及發展趨勢
    如何藉助大數據和人工智慧技術，深入挖掘海量的醫學圖像信息，實現基於影像數據的智能診斷、智能臨床決策以及治療預後，已成為目前的研究熱點。深度學習屬於機器學習的分支，是目前實現人工智慧技術的重要手段。隨著深度學習技術在圖像處理和計算機視覺領域的廣泛應用，利用深度學習技術輔助臨床診斷和決策已成為醫學圖像分析領域的研究重點。
  • 三維雷射掃描測量技術探究及應用
    雷射測量技術出現於上世紀80年代，由於雷射具有單色性、方向性、相干性和高亮度等特性，將其引入測量裝置中，在精度、速度、易操作性等方面均表現出巨大的優勢，它的出現引發了現代測量技術的一場革命，引起相關行業學者的廣泛關注，許多高技術公司、研究機構將研究方向和重點放在雷射測量裝置的研究中。
  • 圖像噪聲處理系統設計開題報告_圖像噪聲處理實驗報告 - CSDN
    2、CT成像 計算機體層攝影(computed tomography, CT)是利用X線對人體某一範圍進行逐層的掃描，取得信息，經計算機處理後獲得重建的圖像(橫斷解剖圖)，通過計算機處理得到三維的重建圖像。由CT生成的橫切面、斷層、數字圖像解決了傳統影像中三維結構重疊、軟組織解析度差及信息效率低等主要缺陷，取得了劃時代的革新。但是在多層CT開發成功之前,CT一度曾處於相對停滯的階段。
  • 未來的精神疾病可能通過腦部掃描和計算機算法進行診斷「研究速遞」
    計算機將大腦圖像轉化成數字世界 一個由醫療和機器學習專家組成的跨學科團隊，對206名日本成年人的MRI(磁共振成像)腦部掃描進行了計算機算法訓練，這些患者包括已經被診斷為自閉症譜系障礙或精神分裂症的人，精神分裂症高危人群，首發性精神病患者，以及沒有精神健康問題的神經型患者。
  • FARO 推出新一代業界較佳三維雷射掃描儀和軟體
    丹佛2009年3月31日電 /美通社亞洲/ -- 全球領先的可攜式測量和成像系統供應商 FARO 宣布，該公司將從2009年第二季度開始交付新一代三維雷射掃描儀。與先前一代的 FARO 產品相比，最新的創新產品速度提高了8倍，最小可分辨間距則提高了一倍。 該公司還宣布即將發布其最新版本掃描處理軟體 FARO Scene V4.6，該軟體可使掃描配準的速度較人工快90%。 FARO 正在3月29日至4月1日於丹佛舉行的 SPAR 2009 大會上展示市場上較快的三維雷射掃描儀及其新型處理軟體。
  • 深度學習實現螢光圖像三維虛擬重聚焦
    深度學習實現螢光圖像三維虛擬重聚焦 作者：小柯機器人 發布時間：2019/11/5 14:17:22 美國加州大學洛杉磯分校的Aydogan Ozcan及其研究組使用深度學習實現對螢光顯微鏡圖像進行三維虛擬重聚焦
  • 新技術!BIM+三維雷射掃描,建築建模也能又快又精準
    近年來，BIM技術的應用已深入工程設計、施工、管理等各個方面，通過BIM技術能將具體數據轉化為立體的建築模型並進行建房各項環節的預演。關於三維雷射掃描技術三維雷射掃描技術，是通過高速雷射掃描測量的方法，大面積、高解析度地快速獲取物體表面各個點的坐標、反射率、顏色等信息，將實物的立體信息轉換為計算機可處理的數位訊號，由這些大量、密集的點信息可快速復建出1:1 的真彩色三維模型，為復建出被測目標的三維模型提供了方便快捷的手段。
  • 三維雷射掃描變形監測研究
    關鍵詞：三維雷射掃描；變形監測；異地監控法；TSP監控法1、三維雷射掃描技術原理概述三維雷射掃描技術借用三維雷射掃描系統這一三維坐標測量儀器，測量工作形式為非接觸式，通過電子掃描快速形成物體（環境）表面的點雲數據。
  • 可實時三維成像的雷射掃描立體顯微鏡
    當一隻實驗小鼠看到貓的圖像，它的大腦將如何運作？這條新信息在包含數千萬個神經元的神經網絡中又如何傳輸？怎樣利用光學顯微鏡窺探其中的奧秘？這是當代生命科學研究對光學顯微成像技術提出的新挑戰。日前，中國科學院西安光機所瞬態光學與光子技術國家重點實驗室超分辨成像團隊研製成功雙光子激發雷射掃描實時立體顯微鏡。
  • 顧險峰教授:解讀醫學影像配準的基本算法
    數十年來，核磁共振技術和CT斷層掃描技術徹底地革命了醫學，醫學影像技術使得醫生可以直接看到病人體內，從而精準地進行診斷，制定治療方案，檢驗治療效果。很多病變都會誘發器官組織的變形，或者由器官變形所誘發，例如大腦皮層的萎縮退化誘導老年失智，各種腫瘤會在器官表面形成凸起，骨質流失會引起骨骼的變形。
  • 掃描電鏡即用彩色成像技術可提高分析速度和數據精度
    俄勒岡HILLSBORO2019年5月22日 /美通社/ -- 科學家、工程師和研究人員現在可以通過顏色直接從掃描電子顯微鏡（SEM）中區分出來有意義的元素含量並立即對其進行查看和分析。
  • 3d掃描儀大空間掃描三維掃描技術用於老舊建築室內外改造三維掃描
    打開APP 3d掃描儀大空間掃描三維掃描技術用於老舊建築室內外改造三維掃描 發表於 2020-04-13 17:19:34
  • 精確放射治療中的影像引導技術成像原理和應用
    精確放療的最大優勢體現在精確打擊腫瘤，正常組織損傷輕微，但實現這一目標需具備準確發現腫瘤、精準定位腫瘤和精細控制腫瘤動度等條件，這些前提條件都需要通過影像引導技術來實現。因此，影像引導技術是精確放療發展的必要條件和質量保證，它的成像質量、速度和模式很大程度上影響了放療的結果。