醫生都對VR臨床說不?他想把3D影像重建技術用於手術診斷 | 專訪

2020-12-22 青亭網

「我們是基於醫療的AR/VR產品,而不是基於AR/VR的醫療產品。」說起VR和AR與醫療行業的結合,這幾年已誕生了很多案例,但在愛姆智能創始人趙金虎看來,這些距離著真正臨床落地還有不少距離。

事情還要從他所做的項目開始說起。原來,趙金虎打算進行首次公開路演,在路演之前與青亭網進行了溝通交流。

01,他在做一件什麼事情?

展示環節,趙金虎拿出了一臺宏碁3D投影器和配套3D眼鏡,一臺高性能遊戲本,就這樣簡單最直接的告訴他們在做的事情:把2D的醫療數據,經過3D重建,以3D形式展現出來。

工作原理是:把CT和核磁原始DICOM數據導入,然後分割提取,進行立體成像,並加以交互,讓枯燥的2D醫療影像以立體感的方式展現出來,同時也可把不同模塊進行分割處理。

現場通過3D眼鏡看到帶有立體感的3D醫療畫面,例如,圖中演示可分別對不同血管進行渲染顏色和透明度,對病變位置進行顏色區分。戴著3D眼鏡左右走動可看清血管的層次和空間信息,對不同部位也有更清晰的對比,而不像之前看到只是單純的2D畫面。

有了這些數據,醫生就可以對影像內各個組織進行渲染,透明、縮放、移動等操作。從更容易看清病變部位和其它組織結構的關聯,從而加速完成術前規劃。

這套方案的關鍵就是醫療數據的3D重建過程。和目前常見的VR/AR醫療項目比,它的優勢在於採用患者真實的CT、核磁數據,然後進行分析,而目前見到的其它醫療項目幾乎都是被設定好的案例,僅能用於演示或輔助教學。

通過3D投影/3D眼鏡、筆記本硬體,而且前兩者都是其它公司現成產品,再加上自己的軟體服務,連交互都是通過滑鼠來完成。相比人們印象中複雜艱深的醫療軟體,這套方案顯得很簡單。

02,3D影像的展現形式

實際上,他門使用的是自研軟體平臺,研發過程僅通過3-4名工程師,歷經短短2個月時間,利用工作以外的時間來完成軟體基本框架結構。

當然,其演示版本還是一個項目文件,因為還要依賴MFC主體去運行,並且演示過程中出現了一次導入數據未響應的情況。

至於為何選擇3D投影儀+3D眼鏡的組合,趙金虎表示,這隻一種展現形式,今後也會嘗試VR、AR等多種形式,前提是臨床醫生能夠接受和認可。經過反覆探索和研究,他認為3D投影類的可擴展式成像系統可看作是目前臨床可適用性較高的一種成像方案。

由於3D重將工作需要較高的運算需求,展示時使用的是一臺消費級的遊戲本,這與醫院經常的工作站還是有很大區別。也就是說,它的這套系統核心在於軟體,硬體部分終歸還是採納其它設備商的產品。

交互層面,演示過程基於滑鼠來實現旋轉、縮放等操作,根本就沒有看到任何和AR/VR相關的交互。不過他還透露,目前正在研發基於Kinect的手勢交互,以及雷射筆的遠程交互設備,目的就是提升臨床使用的便捷性。

03為什麼選擇做3D重建?

只要對病人治療和健康有幫助,對醫生診斷有幫助的事情自然都有意義,而且從青亭網向多位醫療行業人士了解來看,基本都認可醫療影像3D重建,多數人也認為是今後的發展趨勢。

體現在手術中,術前規劃階段就可以幫助醫生。趙金虎舉例說,常規手術醫生需約30分鐘術前診斷,而參考3D重建模型,可以縮短醫生自己大腦中對影像的重建,時間甚至可減半。不過據筆者向醫療行業人士了解,參考3D影像資料節省不了多少時間,不過確實有利於醫生更清楚的了解病灶區域,更好的定位分析。

圖片來源於網絡

而以骨科手術為例,整個手術過程可能需定位鑽孔多次,每一次動作都要保證精準,一旦失誤,將留下不可挽回的影響。這也能直接體現出,了解病灶區域和定位分析帶來的好處。從這個角度來看,他對於自己的產品落地並沒有太多擔心。

據了解,目前國內做同樣事情的機構幾乎並不少,粗略估計也有數十家,並且有不少和趙金虎一樣尚未公開的項目。爾國際市場,則已有進行商業化嘗試的公司。在趙金虎看來,很多VR和AR團隊看重的是醫療市場的紅利而加入進來,雖然這些項目看上去很有趣,但它們很多是醫療行業門外漢,其產品距離臨床落地還有很一段距離。

趙金虎從事醫療行業超過15年,其中有3年時間從事藥品行業,12年時間從事醫療器械相關行業,自稱對醫療行業有著深入的了解,這也是他認為自己最大優勢所在。他說,「我們做的是基於醫療的AR/VR產品,而不是基於AR/VR的醫療產品。」

他的團隊中只有一名放射科醫生跟醫療行業相關,同時為了這個項目,他本人也以輔助醫生的身份,參與了多項手術跟臺,進一步了解醫生在臨床手術整個過程以及發現痛點。

04應用場景和領域

目前,VR頭顯設備應用在醫療領域更多的還是集中在培訓和熟悉過程的階段,距離真正的臨床使用還差很遠。而AR眼鏡則是一種很好的展現形式,長遠來看可應用在術前和術中的臨床全過程,只不過目前AR產品形態還未成熟,也受到了一定局限性。

毫無疑問,對精細度要求越高的手術,術前診斷過程也會越繁瑣。因此,趙金虎認為自己開發的系統最適用的是對精細度角球高的神經外科,當然技術是相通的,依然可被應用在骨科或其它科室。

另外,由於3D重建過程需要準備工作,因此他開發的這套系統並不適用於急診需求,更偏向於住院期間的手術診斷。

根據他本人的調研,幾乎所有醫生都對VR在臨床的適用性給出否定答案。因此3D投影成像系統顯得相對接地氣一些,這套系統計劃應用場景包含了3D重建、術前規劃、術中導航。他認為能夠做到術中定位導航模擬,才能代表未來醫療VR、AR的最高水平。

05如何獲得醫生認可

然而就現在的情況來看,趙金虎這套系統依然停留在第一階段:3D影像重建。

醫療器械對於精準度有著極高的要求,如果在3D重建工作中出現誤差,將會對整個手術環節帶來極大影響。因此,如果做到更精準的3D影像重建才是他目前最根本的工作。

所有3D影像重建工作都是基於CT、核磁中的DICOM原始數據進行修改,對於把這種2D圖像轉換成3D圖像後的精準度和誤差問題,甚至把血管和其它器官染成什麼顏色,業界目前並沒有統一標準。

因此,整個過程還需要不斷的摸索和實驗,這也是一個檢驗產品可行性的必經過程。只有獲得醫生的認可,才能走出下一步。

隨後,筆者又向醫療行業人士諮詢其對AR和VR或者是3D投影成像哪個更靠譜,得到的回覆是「哪個不暈哪個就靠譜,因此很多醫生最容易給出的否定意見就是,戴上暈。」因此,對於實際的展現形式,最終還是要看醫生的反饋。

對於未來的銷售計劃,趙金虎表示一整套產品售價為200萬元左右,並包含一定數量3D數據重建數量,其服務模式則是以3D數據重建的數量進行收費。而體現在患者身上的,趙金虎認為3D數據影像重建的收費價格肯定會超過拍攝一次核磁影像的價格。

06缺點和不足

除了上面提到的精準度問題,3D重建的時間也是一個關鍵因素。此外,還存在被複製的風險。

目前的3D重建工作需要操作人員對傳統CT和核磁數據有非常清晰的了解,根據其對不同科室的專業程度操作時間也會有不同。他在進行小型、熟悉科室的3D影像重建大約2分鐘,而複雜的則超過1-2小時。

關於這些方面,青亭網向醫療業人士諮詢得知,如果是常規對血管分顏色難度不算太大,但是肝膽胰脾輪廓就比較難,效率就相對低下一些。甚至若操作者對該影像資料不夠熟悉,還可會帶來重建過程中關鍵信息點丟失等問題。

此外,現在醫院的三維重建軟體普遍體積龐大,常規電腦的運行不會太特別流暢,不方便給到臨床醫生,多數情況下醫生看到的三維重建仍是幾張靜態的三維重建圖像。也就是說,醫院的影像科和醫生之間都沒有很好的數據傳遞和交流,這也是傳統醫院體系中很難打通的一點。而對於愛姆智能科技這樣的創業公司來說,無疑面臨一個更難攻克的難關。

談及被複製,趙金虎毫不避諱地稱,單論每一具體細節都存在被複製的可能,也間接印證了軟體平臺的研發難度可能並不高。

丁香園論壇截圖

實際上,早在5、6年前國內就進行過將CT、核磁數據進行3D重建的相關工作,這些技術如今已經非常成熟。只不過,難點在於3D影像重建後的精準度。而趙金虎透露,CT、核磁的原始DICOM數據本身就包含深度信息,他做的其實就是在加工、整合的一個過程,一個軟硬體整合的過程。

筆者看來,趙金虎之所以想做這件事,不是因為這件事情本身難度有多高,而是因為他對醫療行業的了解程度。

國外,已有一家名為zSpace的美國公司為教育提供整體的VR屏幕解決方案。他們在超過300個學區和130家大學安裝了產品,擁有幾十萬用戶。自從2013年以來年增長超過300%,融資額超過5000萬美元,今年他們也和深圳國泰安教育合作進軍中國。

更大的挑戰在於,包括通用公司、西門子等國際醫療行業巨頭,已經向核磁或CT的購買方附送了類似的軟體解決方案,對於這些巨頭來講,他們已有成熟的CT、核磁設備,很容易通過硬體擴展至軟硬體全系統來打通醫療影像的各個環節,這是筆者向一名放射科主治醫師諮詢的觀點。

談及未來計劃,趙金虎希望年底前能夠順利完成初始融資,這些錢除了用於擴充團隊外,還有一個更重要的用途:申請醫療器械註冊證。醫療器械註冊證才是進入醫院的必備條件,而他表示該證件最快也得在融資後1年時間才能拿到。而在這段時間,產品的確存在被複製的可能性,那麼又將面臨新的挑戰。

更多精彩內容,關注青亭網微信號(ID:qingtinwang),或者來微博@青亭網與我們互動!轉載請註明版權和原文連結!

相關焦點

  • AI+醫學影像應用全景掃描:自動識別病灶,還支持放射治療、手術路徑...
    CT影像是新冠肺炎診斷的重要依據,大量疑似病例的CT影像診斷和確診患者的CT影像評估給影像醫生帶來了沉重的工作負擔。醫學影像AI公司紛紛在此次疫情中貢獻力量,推出新冠肺炎CT診斷產品,輔助影像醫生在有限的時間內對海量CT影像進行快速診斷。
  • 36氪首發|基於三維重建和混合現實技術指導手術穿刺,「華寧全視...
    36氪獲悉,醫療影像混合現實企業「華寧全視」於 2019 年年初獲得了來自中信雙創的百萬元種子輪融資。據「華寧全視」總經理任臻介紹,公司的核心業務主要是基於醫學影像三維重建技術和混合現實技術生成三維模型的全息投影,呈現虛擬手術場景,提高醫生空間感知能力,為其臨床操作提供參考。
  • 眾陽健康「雲」三維重建系統來啦!
    原始CT圖像通過計算機圖形圖像技術將CT、磁共振等原始影像數據轉化為三維模型,可為醫生提供更直觀、精確的病變位置、空間解剖結構及形態、容積等信息,解決了二維斷層圖像難以理解、單一層面評估等問題,為臨床診斷、制定手術方案提高手術的準確率和安全性、術後個體化重建及術後效果評估、放射治療、解剖教學、模擬仿真等醫學應用提供重要支撐。
  • 中山大學附屬第一醫院李子平教授:醫學影像是臨床診斷最可靠的結果
    在新冠肺炎疫情防控中,作為診斷及病情預後評估的關鍵一環,醫院的放射診斷科無論是在新冠肺炎疫情防控和日常醫療診斷中都發揮極其重要的作用。對於此次新冠病毒的檢測問題,中華醫學會放射學分會委員、中山大學附屬第一醫院放射診斷專科主任李子平教授表示,「在疫區,CT掃描與核酸檢測同等重要!新冠篩查要麼是檢測核酸,這個準確率可達50%至60%。也就是說50%左右病人核酸檢測是陰性,但是他還是新冠病人。
  • 女生學醫,選醫學影像技術還是臨床醫學?前者是技師後者是醫生
    女生學醫目前人數也是比較多的,在大學可以說男女基本能佔到一半,雖說學醫很辛苦,但是真正成為一名醫生後,前途很好,薪酬不錯,作為女生學醫,硬核的臨床醫學當然會更好,但是還是要看女生的性格,如果性格不太潑辣,比較文靜的話,最好還是選擇醫學影像技術更好一些,為何這麼說呢?
  • VR+3D列印技術結合,實現骨盆巨大腫瘤精準切除與重建
    近年來偶爾出現排尿、排便困難的情況,但也都可以通過口服藥物改善,加上自己有痔瘡病史,劉先生就以為「便秘而已,忍一忍,熬過去就好了」。直至今年1月份,劉先生排便困難加重,不依靠通便手段根本無法正常排淨,嚴重影響日常的生活,只好到醫院體檢。結果發現竟是骨盆上長了腫瘤,而且體積巨大,已經佔據了大半個盆腔的空間,嚴重壓迫周圍軟組織和器官,引起腸道及尿道的狹窄。
  • 醫療AI 提高診斷效率,「數字醫生」為醫生減負又賦能
    智能成像 手術聯網提高診斷效率,打破空間局限,為醫生減負又賦能浙江麗水市人民醫院近日上線數坤科技研發的冠狀動脈CTA(CT血管造影)AI(人工智慧)輔助診斷系統。該系統利用計算機視覺和深度學習技術,可一鍵生成冠狀動脈的三維重建圖像,還可輔助醫生更快發現血管內斑塊,判斷斑塊性質,明確血管是否狹窄及狹窄程度,等等。
  • 西南醫院利用醫學「3D列印」技術為患者重建胸壁
    2016年2月23日,60多歲的手術患者殷道榮回到第三軍醫大學西南醫院複查,結果顯示身體恢復良好。這正是第三軍醫大學生物工程學院數字醫學研究所與西南醫院心胸外科合作,藉助3D數位化導航、3D列印技術和3D輔助設計,完成的一例胸腔巨大腫瘤切除加胸壁重建手術。
  • 醫學影像高級可視化技術讓影像診斷更輕鬆
    當一名腫瘤科患者的CT影像中發現可疑病狀時,怎樣才能迅速獲取患者以前的MR檢查,比較掃描結果,做出更有把握的診斷?當一名面癱、言語不清、有中風病史的老年患者到達急診科時,能否在其出現永久性腦損傷前檢查出問題?當平片瀏覽讓醫師缺少診斷信心,每天大量的三維影像數據後處理又使工作堆積如山時,如何在資源與效率之間做出兩難選擇?
  • 裸眼3D,讓醫學影像更立體(科技大觀)
    直到上世紀90年代,得益於計算機及相關技術的發展,科研人員將這一技術拓寬到立體影像的採集、重建和顯示中,實現了立體影像的裸眼觀察,並應用到不同的領域。  在醫療領域,從任何一個角度都可以看到像實物一樣的信息尤為重要。目前的醫學影像大多為斷層圖像或三維重建圖像,仍通過普通的2D平面顯示器呈現,無法直接呈現複雜而精細的完整「三維人體地圖」。同時,手術中還存在著手眼協調問題。
  • 將AI三維重建、MR等應用於外科手術,「縉鋮醫療」要實現「零距離...
    手術期間,音視頻傳輸高清流暢、無卡頓和時延,兩地醫生幾乎實現了「零距離」面對面交流。藉助5G網絡通信傳輸高清手術影像、AI三維重建與交互技術,醫生能為身處異地的病人實施「遠程精準手術」。它替代了以往專家往返現場指導的模式,真正實現了遠程診療。
  • TCAI內科醫生參加關於被用於複雜心臟手術的4D成像技術的臨床試驗
    David's Medical Center)德克薩斯心律失常研究所(TCAI)的內科醫生,成為全球首批參加評估新型心內超聲心動圖導管的臨床試驗的研究人員之一。心臟電生理學家和TCAI執行醫務主任安德裡亞-納塔萊(Andrea Natale)醫學博士(美國心律學會委員(F.H.R.S)、美國心臟病學院專家會員(F.A.C.C.)
  • Heartflow:研發無創FFR技術估值15億美元,革新心血管診斷方式
    作為醫生,他在美國排名前10的醫學院芝加哥大學醫學中心做了17年的心血管外科主任。1993年,他在史丹福大學發表了主題為血流速度與心臟健康的演講,當時臺下的聽眾不是醫學生,而是史丹福大學的一批年輕的工程師。這些工程師經常把所學應用於研究航天、天文學、交通等領域,而這次演講則是為工程學和心血管疾病的診斷的結合創造了契機。
  • 為你診斷醫療影像的,也許是一個機器人
    AI+醫療,"科幻"感滿滿虛擬助理承擔著管理電子語音病歷、智能導診、智能問診的職責;AI醫學影像能夠實現病灶識別與標註、三維重建、靶區自動勾畫與自適應放療;醫療機器人功能日益多元,從簡單的分發物資逐步拓展到複雜的輔助診療;AI技術則在新藥研發、老藥新用、藥物篩選上起著舉足輕重的作用;醫療大數據則有望為醫院管理、分級診療等醫療系統的完善提供借鑑
  • ...影像診斷科CT室主任吳寧:推進肺癌篩查早診 提高腫瘤影像診斷水平
    曾經有一名駱姓淋巴瘤患者在化療前做影像時,吳寧發現他的淋巴瘤比之前縮小了,這是怎麼回事?吳寧找到這位患者詢問,患者表示沒有化療,他也不知道怎麼還沒開始治療病灶就縮小了,也是一頭霧水,問臨床大夫也沒能解開迷團。直到吳寧追問病人這段時間有沒有不適症狀時,找到了原因。
  • 顛覆傳統醫療:泌尿外科全息影像系統 給醫生一雙「透視眼」
    那彥群認為,對泌尿外科全息影像系統技術的研發靈感並非來自「偶然」,而是他在臨床經驗、教學體會、科研手段、管理方法等的積累中產生的一種順理成章——對市場需要的敏感性與前瞻性。眾所周知,泌尿外科領域的醫療影像是以各種「平面片」,如X線片、計算機斷層成像、核磁共振成像及超聲設備等圖像為主。
  • 他是有「影像」力的放射科醫生
    16年間,他甘做臨床醫生背後的「眼睛」,從一張張黑白膠片、一幀幀無聲圖像中讀出了「味道」,努力在放射醫學中尋找自身價值,守護兒童健康。   放射科「閱片」可不是個輕鬆活   作為一名放射科醫生,張曉軍平時的工作主要就是「閱片」,X光平片、CT影像、核磁共振影像等,同時兼具空氣灌腸、上下消化道造影等實操工作。
  • 我院3D列印技術 助「狹顱症」寶寶重建顱骨
    「感覺兒子的頭型越長越不對勁,只前後長長,不左右長寬,像個橄欖球,明顯和別的孩子不一樣……」 日前,益陽沅江1歲7月小男孩豆豆(化名)因頭型異常、發育滯後就醫,並診斷為狹顱症,須立即手術。9月14日,小豆豆從我院神經外科康復出院,醫院專家通過3D列印技術,一比一立體重建了豆豆的顱骨模型,準確實施顱骨重建手術,成功治癒了豆豆的狹顱症,這也意味著,豆豆今後有了全新的面貌,不僅頭型恢復正常,大腦發育也不再受阻礙。
  • 放射科主任醫師唐立鈞:人工智慧將取代影像科醫生?AI研究者們都不...
    以下是唐立鈞博士的報告內容,雷鋒網對其做了不改變原意的編輯:最近很多人都在說,隨著AI技術的發展,十年後影像科醫生將不復存在。但事實上,他們並不知道影像科醫生是幹什麼的。不僅醫院外面的人不知道,很多醫院裡面的人也不清楚,他們連影像科有哪些組成部分、具體做哪些事情都不太了解。下面我就來簡單介紹一下。
  • 手術機器人帶來「超能力」工程師和臨床醫生攜手攻關成科研默契搭檔
    機器人手術被稱為第三代外科手術革命。受限於技術創新能力不強,產學研用結合不緊密,我國手術機器人的研發尚未追趕上發達國家的腳步。日前,上海第九人民醫院與上海交通大學醫療機器人研究院深度「擁抱」,成立手術機器人臨床研究中心,目前已入駐4個專科團隊,部分產品已見雛形,很快就要投入臨床試驗。