編者按:2020 年 8 月 7 日,全球人工智慧和機器人峰會(CCF-GAIR 2020)正式開幕。CCF-GAIR 2020 峰會由中國計算機學會(CCF)主辦,雷鋒網、香港中文大學(深圳)聯合承辦,鵬城實驗室、深圳市人工智慧與機器人研究院協辦。從 2016 年的學產結合,2017 年的產業落地,2018 年的垂直細分,2019 年的人工智慧 40 周年,峰會一直致力於打造國內人工智慧和機器人領域規模最大、規格最高、跨界最廣的學術、工業和投資平臺。
在8月9日的醫療科技專場上,來自商湯科技研究院副院長、集團副總裁張少霆以《新基建,新醫療,新機遇——SenseCare:賦能臨床醫療的視覺中樞》為題,分享了商湯科技在醫療新基建的背景下,所取得的一些成績和挑戰,以及工作中的心得與實踐。
張少霆表示,商湯科技的戰略核心是圍繞計算機視覺技術賦能百業,而智慧醫療的具體產物則是SenseCare 智慧診療平臺。
作為一款臨床一體化的產品, SenseCare 智慧診療平臺可以落地在醫院放射科或者區域IDC數據中心,在數據不出醫院或數據中心的情況下,讓不同臨床方向的醫生只需要一臺筆記本電腦、甚至平板,僅通過網絡瀏覽器訪問的情況下,使用所有醫療AI功能,以及醫學影像三維後處理功能,並且讓不同科室醫生讀取不同數據,就可以啟動不同的工作流,實現賦能全院臨床。
然而,這種場景的實現存在兩個問題:首先,如何利用AI對多模態多病種進行精準的檢測、分類、分割;其次,如何在不傳遞原始數據的情況下,支持全院醫生高並發的二維、三維分析需求。
在自研AI算法引擎的基礎上,商湯SenseCare 智慧診療平臺相繼推出了胸部CT智能分析及手術規劃方案、胸部X線智能分析、心臟冠脈智能分析、骨腫瘤智能手術規劃、消化道病理和TCT宮頸癌精準分析等臨床輔助工具。
張少霆表示,針對區域級、城市級的智慧新基建建設,部署更偏向於SaaS平臺的形式,底層可以支持安全可靠的數據存儲、備份機制,向上則加載數據和人工智慧管理功能,同時賦能區域內多家醫院,實現區域內醫療智慧化升級。
以下為張少霆的現場演講內容,雷鋒網作了不改變原意的編輯及整理
張少霆:很高興有機會跟各位匯報商湯科技在醫療方面的工作。商湯是一家很年輕的公司,到現在也只有五年多的歷史,但是在這段時間裡,商湯已經成長為人工智慧領域估值最高的獨角獸企業,無論是在營收還是落地方面,都處於業內領先的位置。
很多人都問我們一個問題,「商湯」的名字是怎麼來的?在商朝成湯的年代,中國在全球處於領先的地位,有自己的文字。而在人工智慧的紀元裡面,我們能否也成為世界科技的領頭羊。抱著這樣的願景,「商湯」的名字由此誕生。
商湯有底層深度學習平臺Parrots、算法技術平臺以及上層涉及各個行業的應用,從智慧城市、無人駕駛再到醫療,一系列的沉澱都是由技術驅動。之所以可以做到這樣,是因為在過去二十年時間裡,「商湯科技」的前身,也就是湯曉鷗教授帶領的香港中文大學團隊進行了長時間的技術積累。
比如,世界十大人工智慧先鋒實驗室,湯教授的實驗室是亞洲唯一入選的,其他都是一些在歐美業內非常知名的實驗室。
2018年,商湯科技被科技部授予我國首個「智能視覺新一代人工智慧開放創新平臺」,也是國家第五大人工智慧開放創新平臺。同年11月,湯曉鷗教授應邀出席「習總書記民營企業座談會」,湯老師給總書記匯報的時候說到,過去我們都是談論的基建出海,現在有沒有可能「科技+基建」一起出海?
因此,我們集團業務覆蓋的國家很多,以中國為核心,向日本、東南亞、中東的一系列國家都有技術輸出。
在醫療方面,我們可以做的事情很多。從服務提供方(醫院、體檢機構等),到供應方(藥廠、醫療器械)再到支付方(保險類企業)再到病患端,都有很多方向可做。
人工智慧可以做什麼呢?我們可以看到,有很多內容可以被人工智慧賦能,比如新藥研發、藥品推薦等等。
給大家推薦一本書——由人民出版社出版的《新基建:數字時代的新結構性力量》。我有幸參與了這本書裡關於智慧醫療內容的編寫,可以從不同的角度思考新基建背景下智慧醫療的作用、覆蓋到哪些方面。
布局智慧醫療的時候,商湯科技在不同的板塊都有切入,但是核心還是圍繞計算機視覺技術,搭建一個與影像相關的智慧診療平臺,也就是SenseCare智慧診療平臺。
這個智慧診療平臺跟大家平時看到的有什麼區別?
第一、在賦能放射科單科室的基礎上,有沒有可能再賦能到醫院的其他臨床科室?比如骨科、呼吸科、胸外科,這些醫生平時不會坐在影像科、不會坐在工作站前,他們有沒有可能也用到人工智慧的算法呢?
第二、除了輔助診斷工作以外,有沒有可能在治療、康復、隨訪等環節給臨床醫生足夠的幫助?因為臨床醫生面對的是病患,放射科醫生更多地是支持臨床醫生,直接跟病人打交道的臨床醫生不僅要做診斷,還要給出治療方案,能不能對他們提供支持呢?
基於這樣一個理念,我們研發了SenseCare智慧診療平臺。
簡單來說,可以落地在醫院信息科、放射科,在數據絕對不出科室的情況下,讓終端用戶也就是臨床醫生,只需要一個筆記本電腦、甚至iPad,僅通過訪問網絡瀏覽器的情況下,不需要插件就可以應用我們提供的所有醫療AI功能,以及醫學影像三維後處理功能,並且讓不同臨床醫生讀取不同數據,從而啟動不同的工作流,實現賦能全院臨床。
這裡有兩大技術壁壘,首先,如何實現精準的檢測、分類、分割;其次,終端用戶希望有一個三維的閱片環境,很多臨床醫生跟病人交流,或者給出手術規劃時,基於二維的片子上會非常困難,但在三維的結果上會更加便捷。這就要求我們在不傳遞原始數據的情況下,能夠支持一個醫院裡上百位醫生同時做三維分析的需求。
打個比方,以前大家看電影的時候,都是把影片下載到本地,由媒體播放器播放,現在是流媒體在線看。這也是類似流媒體的技術,只不過是三維數據的渲染,而且帶實時的交互。
基於這樣的技術和人工智慧算法的引擎,我們開發了一系列的應用模塊賦能到臨床醫生。
首先來看跟肺相關的視頻,除了可以看到的肺結節的檢測和分類外,我們還提供了三維的重建以及漫遊導航的效果,幫助臨床醫生非常直觀、便捷和深層次的分析,為病人提供更精準的治療方案。
今年疫情期間,我們在SenseCare智慧診療平臺上,一周之內完成從數據標註、深度學習算法,再到工作流的開發,上線了新冠肺炎檢測的功能。
當時一系列醫療AI的企業都做了類似的功能,馳援了不同的醫院,因為需要幫助的地方很多,多一份力量總是更好的。我們幫助了十幾個省市的醫院完成了很多輔助診斷和復工復產期間的體檢工作,因為確實在前線出現了核酸檢測是陰性,但是CT判斷是疑似病例,及時進行隔離後二次核酸檢測復陽的情況。
所以,影像AI技術在抗疫期間給前線醫生提供了很大的幫助。
這是心臟冠脈分析功能 ,同樣也是在SenseCare智慧診療平臺上。以前這個工作非常耗時,需要在後處理工作站上做複雜的手動三維重建和分析,但是隨著人工智慧的引入,可以快速完成自動三維重建並檢測到可能的狹窄區域。
這是客戶端,上百個醫生可以同時去使用這個AI應用,這就有別於傳統單機版工作站,因為醫院不可能給每個醫生配一個工作站,但是配一臺電腦是很容易的事情。同時系統也提供了自動完成膠片排版和生成結構化報告的功能,這樣可以節省醫生的時間去做分析。
在胸部影像方向,我們還開發了DR胸片應用。國內的CT檢查比較多,但是海外使用DR更加普遍,因為輻射劑量小一些,而且速度更快。
所以,海外用戶的需求是,有沒有可能在DR的數據上進行肺病多病(肺炎、結節等)的診斷。為此,我們開發了針對DR的輔助診斷系統,同樣加載在SenseCare智慧診療平臺上面。
這是骨腫瘤手術規劃,跟上海市第九人民醫院合作。左下是CT數據,上邊是核磁共振,CT抓取骨頭的信息比較清晰,核磁共振抓取腫瘤的信息比較擅長。多模態的數據融合到一起生成三維模型,導出後做3D列印,可以幫助醫生進行骨腫瘤的手術規劃和導板的設計。
這樣做有什麼好處呢?比如,在以前的工作模式中,需要九院的骨科醫生、放射科醫生、3D列印工程師一起在工作站前合作,整個過程持續一到兩周以上。但是,這麼長的時間周期裡,腫瘤很可能會發生病變,手術計劃也會滯後。
現在在網頁上,醫生和3D列印工程師運用SenseCare智慧診療平臺就可以遠程進行直觀交流,在人工智慧分鐘級別的計算效率之上,整個方案制定流程大約數小時就可以完成。
從產品角度來講,這項工作是比較複雜的,因為涉及到多模態數據,中間有多個算法,包括兩種數據之間的配準融合、不同的分割算法和3D重建。但是SenseCare良好的平臺化設計,在很短的時間裡面就實現了整個工作流的打通,當然前期投入的工程力量是巨大的。
這個例子也驗證了類似SaaS平臺的遠程方式,可以給臨床醫生提供很便捷的幫助。
接下來是病理,不同的病理圖像可能是幾十萬乘幾十萬像素級的大小,這是消化道、胃腸道癌症篩查。數據從頭到尾都在伺服器上,但是通過網頁瀏覽器的方式,我們會有更為流暢的體驗:幾個G大小的圖片能夠遠程實時閱片,在不傳輸原始數據的基礎上,還可以進行疑似癌症區域的檢出。
我們在上海市第一人民醫院落地以後,在兩萬多個病人數據上進行測試,並且以醫生的報告為標準做比對。在84%篩陰率的情況下,到目前為止一例漏檢都沒有發生,這些工作的背後都有一系列論文的支持。
同樣,我們把算法進一步延伸到TCT上,在合作醫院也進行了落地。
剛才上面提到的例子,更多的是偏向單個醫院的部署和合作環境,因為SenseCare智慧診療平臺是一個SaaS平臺的部署形式。我們還為它特地開發了雲化的方案,底層支持安全可靠的數據存儲、備份恢復機制,向上則加載數據和人工智慧的管理功能,幫助區域級多家醫院得到人工智慧的賦能。
回到剛才這張圖,區域級SenseCare智慧診療平臺需要5G的支持,原因是數據的傳輸、特別是影像數據的傳輸很耗帶寬,做SaaS服務的時候,需要三維的渲染,而且平臺還要同時支持幾百個醫生,在我們看來這是已知的瓶頸。
算法層面的問題可以想辦法進行解決,但是帶寬層面沒有特別好的辦法,最終還是要跟5G進行結合。
今天簡單給大家介紹了一下商湯智慧醫療在醫學影像方面的工作,影像跟很多板塊有關聯性,比如手術導航、高值耗材和手術機器人等。同時,醫療板塊非常大,一家公司不可能做完。
所以,我們希望與不同企業的力量、不同醫院的力量一起合作,共同探索這個領域,實現共贏,真正的普惠大眾。雷鋒網