商湯科技副總裁張少霆:AI 賦能臨床醫療的實踐心得|CCF-GAIR 2020

2021-01-15 雷鋒網

編者按:2020 年 8 月 7 日,全球人工智慧和機器人峰會(CCF-GAIR 2020)正式開幕。CCF-GAIR 2020 峰會由中國計算機學會(CCF)主辦,雷鋒網、香港中文大學(深圳)聯合承辦,鵬城實驗室、深圳市人工智慧與機器人研究院協辦。從 2016 年的學產結合,2017 年的產業落地,2018 年的垂直細分,2019 年的人工智慧 40 周年,峰會一直致力於打造國內人工智慧和機器人領域規模最大、規格最高、跨界最廣的學術、工業和投資平臺。

在8月9日的醫療科技專場上,來自商湯科技研究院副院長、集團副總裁張少霆以《新基建,新醫療,新機遇——SenseCare:賦能臨床醫療的視覺中樞》為題,分享了商湯科技在醫療新基建的背景下,所取得的一些成績和挑戰,以及工作中的心得與實踐。

張少霆表示,商湯科技的戰略核心是圍繞計算機視覺技術賦能百業,而智慧醫療的具體產物則是SenseCare 智慧診療平臺。

作為一款臨床一體化的產品, SenseCare 智慧診療平臺可以落地在醫院放射科或者區域IDC數據中心,在數據不出醫院或數據中心的情況下,讓不同臨床方向的醫生只需要一臺筆記本電腦、甚至平板,僅通過網絡瀏覽器訪問的情況下,使用所有醫療AI功能,以及醫學影像三維後處理功能,並且讓不同科室醫生讀取不同數據,就可以啟動不同的工作流,實現賦能全院臨床。

然而,這種場景的實現存在兩個問題:首先,如何利用AI對多模態多病種進行精準的檢測、分類、分割;其次,如何在不傳遞原始數據的情況下,支持全院醫生高並發的二維、三維分析需求。

在自研AI算法引擎的基礎上,商湯SenseCare 智慧診療平臺相繼推出了胸部CT智能分析及手術規劃方案、胸部X線智能分析、心臟冠脈智能分析、骨腫瘤智能手術規劃、消化道病理和TCT宮頸癌精準分析等臨床輔助工具。

張少霆表示,針對區域級、城市級的智慧新基建建設,部署更偏向於SaaS平臺的形式,底層可以支持安全可靠的數據存儲、備份機制,向上則加載數據和人工智慧管理功能,同時賦能區域內多家醫院,實現區域內醫療智慧化升級。

以下為張少霆的現場演講內容,雷鋒網作了不改變原意的編輯及整理

張少霆:很高興有機會跟各位匯報商湯科技在醫療方面的工作。商湯是一家很年輕的公司,到現在也只有五年多的歷史,但是在這段時間裡,商湯已經成長為人工智慧領域估值最高的獨角獸企業,無論是在營收還是落地方面,都處於業內領先的位置。

很多人都問我們一個問題,「商湯」的名字是怎麼來的?在商朝成湯的年代,中國在全球處於領先的地位,有自己的文字。而在人工智慧的紀元裡面,我們能否也成為世界科技的領頭羊。抱著這樣的願景,「商湯」的名字由此誕生。

商湯有底層深度學習平臺Parrots、算法技術平臺以及上層涉及各個行業的應用,從智慧城市、無人駕駛再到醫療,一系列的沉澱都是由技術驅動。之所以可以做到這樣,是因為在過去二十年時間裡,「商湯科技」的前身,也就是湯曉鷗教授帶領的香港中文大學團隊進行了長時間的技術積累。

比如,世界十大人工智慧先鋒實驗室,湯教授的實驗室是亞洲唯一入選的,其他都是一些在歐美業內非常知名的實驗室。

2018年,商湯科技被科技部授予我國首個「智能視覺新一代人工智慧開放創新平臺」,也是國家第五大人工智慧開放創新平臺。同年11月,湯曉鷗教授應邀出席「習總書記民營企業座談會」,湯老師給總書記匯報的時候說到,過去我們都是談論的基建出海,現在有沒有可能「科技+基建」一起出海?

因此,我們集團業務覆蓋的國家很多,以中國為核心,向日本、東南亞、中東的一系列國家都有技術輸出。

在醫療方面,我們可以做的事情很多。從服務提供方(醫院、體檢機構等),到供應方(藥廠、醫療器械)再到支付方(保險類企業)再到病患端,都有很多方向可做。

人工智慧可以做什麼呢?我們可以看到,有很多內容可以被人工智慧賦能,比如新藥研發、藥品推薦等等。

給大家推薦一本書——由人民出版社出版的《新基建:數字時代的新結構性力量》。我有幸參與了這本書裡關於智慧醫療內容的編寫,可以從不同的角度思考新基建背景下智慧醫療的作用、覆蓋到哪些方面。

布局智慧醫療的時候,商湯科技在不同的板塊都有切入,但是核心還是圍繞計算機視覺技術,搭建一個與影像相關的智慧診療平臺,也就是SenseCare智慧診療平臺。

這個智慧診療平臺跟大家平時看到的有什麼區別?

第一、在賦能放射科單科室的基礎上,有沒有可能再賦能到醫院的其他臨床科室?比如骨科、呼吸科、胸外科,這些醫生平時不會坐在影像科、不會坐在工作站前,他們有沒有可能也用到人工智慧的算法呢?

第二、除了輔助診斷工作以外,有沒有可能在治療、康復、隨訪等環節給臨床醫生足夠的幫助?因為臨床醫生面對的是病患,放射科醫生更多地是支持臨床醫生,直接跟病人打交道的臨床醫生不僅要做診斷,還要給出治療方案,能不能對他們提供支持呢?

基於這樣一個理念,我們研發了SenseCare智慧診療平臺。

簡單來說,可以落地在醫院信息科、放射科,在數據絕對不出科室的情況下,讓終端用戶也就是臨床醫生,只需要一個筆記本電腦、甚至iPad,僅通過訪問網絡瀏覽器的情況下,不需要插件就可以應用我們提供的所有醫療AI功能,以及醫學影像三維後處理功能,並且讓不同臨床醫生讀取不同數據,從而啟動不同的工作流,實現賦能全院臨床。

這裡有兩大技術壁壘,首先,如何實現精準的檢測、分類、分割;其次,終端用戶希望有一個三維的閱片環境,很多臨床醫生跟病人交流,或者給出手術規劃時,基於二維的片子上會非常困難,但在三維的結果上會更加便捷。這就要求我們在不傳遞原始數據的情況下,能夠支持一個醫院裡上百位醫生同時做三維分析的需求。

打個比方,以前大家看電影的時候,都是把影片下載到本地,由媒體播放器播放,現在是流媒體在線看。這也是類似流媒體的技術,只不過是三維數據的渲染,而且帶實時的交互。

基於這樣的技術和人工智慧算法的引擎,我們開發了一系列的應用模塊賦能到臨床醫生。

首先來看跟肺相關的視頻,除了可以看到的肺結節的檢測和分類外,我們還提供了三維的重建以及漫遊導航的效果,幫助臨床醫生非常直觀、便捷和深層次的分析,為病人提供更精準的治療方案。

今年疫情期間,我們在SenseCare智慧診療平臺上,一周之內完成從數據標註、深度學習算法,再到工作流的開發,上線了新冠肺炎檢測的功能。

當時一系列醫療AI的企業都做了類似的功能,馳援了不同的醫院,因為需要幫助的地方很多,多一份力量總是更好的。我們幫助了十幾個省市的醫院完成了很多輔助診斷和復工復產期間的體檢工作,因為確實在前線出現了核酸檢測是陰性,但是CT判斷是疑似病例,及時進行隔離後二次核酸檢測復陽的情況。

所以,影像AI技術在抗疫期間給前線醫生提供了很大的幫助。

這是心臟冠脈分析功能 ,同樣也是在SenseCare智慧診療平臺上。以前這個工作非常耗時,需要在後處理工作站上做複雜的手動三維重建和分析,但是隨著人工智慧的引入,可以快速完成自動三維重建並檢測到可能的狹窄區域。

這是客戶端,上百個醫生可以同時去使用這個AI應用,這就有別於傳統單機版工作站,因為醫院不可能給每個醫生配一個工作站,但是配一臺電腦是很容易的事情。同時系統也提供了自動完成膠片排版和生成結構化報告的功能,這樣可以節省醫生的時間去做分析。

在胸部影像方向,我們還開發了DR胸片應用。國內的CT檢查比較多,但是海外使用DR更加普遍,因為輻射劑量小一些,而且速度更快。

所以,海外用戶的需求是,有沒有可能在DR的數據上進行肺病多病(肺炎、結節等)的診斷。為此,我們開發了針對DR的輔助診斷系統,同樣加載在SenseCare智慧診療平臺上面。

這是骨腫瘤手術規劃,跟上海市第九人民醫院合作。左下是CT數據,上邊是核磁共振,CT抓取骨頭的信息比較清晰,核磁共振抓取腫瘤的信息比較擅長。多模態的數據融合到一起生成三維模型,導出後做3D列印,可以幫助醫生進行骨腫瘤的手術規劃和導板的設計。

這樣做有什麼好處呢?比如,在以前的工作模式中,需要九院的骨科醫生、放射科醫生、3D列印工程師一起在工作站前合作,整個過程持續一到兩周以上。但是,這麼長的時間周期裡,腫瘤很可能會發生病變,手術計劃也會滯後。

現在在網頁上,醫生和3D列印工程師運用SenseCare智慧診療平臺就可以遠程進行直觀交流,在人工智慧分鐘級別的計算效率之上,整個方案制定流程大約數小時就可以完成。

從產品角度來講,這項工作是比較複雜的,因為涉及到多模態數據,中間有多個算法,包括兩種數據之間的配準融合、不同的分割算法和3D重建。但是SenseCare良好的平臺化設計,在很短的時間裡面就實現了整個工作流的打通,當然前期投入的工程力量是巨大的。

這個例子也驗證了類似SaaS平臺的遠程方式,可以給臨床醫生提供很便捷的幫助。

接下來是病理,不同的病理圖像可能是幾十萬乘幾十萬像素級的大小,這是消化道、胃腸道癌症篩查。數據從頭到尾都在伺服器上,但是通過網頁瀏覽器的方式,我們會有更為流暢的體驗:幾個G大小的圖片能夠遠程實時閱片,在不傳輸原始數據的基礎上,還可以進行疑似癌症區域的檢出。

我們在上海市第一人民醫院落地以後,在兩萬多個病人數據上進行測試,並且以醫生的報告為標準做比對。在84%篩陰率的情況下,到目前為止一例漏檢都沒有發生,這些工作的背後都有一系列論文的支持。

同樣,我們把算法進一步延伸到TCT上,在合作醫院也進行了落地。

剛才上面提到的例子,更多的是偏向單個醫院的部署和合作環境,因為SenseCare智慧診療平臺是一個SaaS平臺的部署形式。我們還為它特地開發了雲化的方案,底層支持安全可靠的數據存儲、備份恢復機制,向上則加載數據和人工智慧的管理功能,幫助區域級多家醫院得到人工智慧的賦能。

回到剛才這張圖,區域級SenseCare智慧診療平臺需要5G的支持,原因是數據的傳輸、特別是影像數據的傳輸很耗帶寬,做SaaS服務的時候,需要三維的渲染,而且平臺還要同時支持幾百個醫生,在我們看來這是已知的瓶頸。

算法層面的問題可以想辦法進行解決,但是帶寬層面沒有特別好的辦法,最終還是要跟5G進行結合。

今天簡單給大家介紹了一下商湯智慧醫療在醫學影像方面的工作,影像跟很多板塊有關聯性,比如手術導航、高值耗材和手術機器人等。同時,醫療板塊非常大,一家公司不可能做完。

所以,我們希望與不同企業的力量、不同醫院的力量一起合作,共同探索這個領域,實現共贏,真正的普惠大眾。雷鋒網

相關焦點

  • 商湯科技副總裁張少霆:AI 賦能臨床醫療的實踐心得 | CCF-GAIR 2020
    在8月9日的醫療科技專場上,來自商湯科技研究院副院長、集團副總裁張少霆以《新基建,新醫療,新機遇——SenseCare:賦能臨床醫療的視覺中樞》為題,分享了商湯科技在醫療新基建的背景下,所取得的一些成績和挑戰,以及工作中的心得與實踐。
  • 醫療科技的六位「最強大腦」,帶你看清技術與商業未來|CCF-GAIR 2020
    其中聯影智能聯席CEO沈定剛、華西醫院副院長龔啟勇、騰訊天衍實驗室主任鄭冶楓、平安醫療科技首席科學家謝國彤、商湯科技副總裁張少霆、西門子醫療中國數字醫療負責人陳黎峰,詳談了後疫情時代醫療科技的新常態,以及技術落地和產品方法論。
  • 做醫療AI,你能不認識這六位大佬?| CCF-GAIR 2020
    醫療科技正在迎來一個全新的時代。如果說,2020年之前的醫療科技行業,是一場政策和企業的漫長「試水」;那麼,在疫情的「催化劑」下,國內的醫療科技迅速升溫,諸多閘口順勢打開,速成浩蕩之勢席捲而來。今年,醫療科技將續寫新章。
  • 醫療科技的六位「最強大腦」,帶你看清技術與商業未來 | CCF-GAIR...
    CCF-GAIR 2020 峰會由中國計算機學會(CCF)主辦,香港中文大學(深圳)、雷鋒網聯合承辦,鵬城實驗室、深圳市人工智慧與機器人研究院協辦。8月9日,作為本次大會的收官之戰,「醫療科技」專場正式拉開帷幕,圍繞「後疫情時代的醫療新基建機遇」這一主題展開。
  • 商湯科技舉辦病理、放療兩大MICCAI國際挑戰賽 推動AI醫療落地
    通過對AI技術與臨床醫療的深入探索,商湯科技在向醫療領域持續輸出原創技術、學術成果以及數據資源的同時,將以此次挑戰賽為平臺,進一步激發產學研協同效應,促進產業與學術研究的交流,幫助建立行業規範和標準,助力AI醫療在臨床中的落地。
  • CCF-GAIR AI醫療論壇:翻越醫療行業的三座大山丨CCF-GAIR 2019
    隨著健康產業的發展,醫療的數據量呈現「井噴」的態勢。根據IDC Digital的預測,截至2020年醫療數據量將達40萬億GB。在這樣的背景下,國家層面非常重醫療大數據的發展,國家衛生計生委副主任金小桃曾表示:我國將以保障全體人民健康為出發點,通過「網際網路+健康醫療」探索服務新模式、培育發展新業態,到2020年建立國家醫療衛生信息分級開放應用平臺、健康醫療大數據產業體系初步形成。
  • 這四家公司告訴你,如何才能拿下AI+醫療「最佳成長獎」丨CCF-GAIR...
    其中,在「AI+醫療」領域,飛利浦、商湯科技、上工醫信、深睿醫療四家公司(排名不分先後)憑藉各自優勢在眾多優秀競爭者中脫穎而出,分獲「最佳壁壘成長獎」「最佳產品成長獎」「最佳商用成長獎」「最佳未來成長獎」獎項。
  • 沈定剛、龔啟勇、謝國彤、鄭冶楓、王東媛,CCF-GAIR「醫療科技專場...
    其中,醫療科技專場向來是CCF-GAIR峰會上學科交叉、產學融合特徵非常鮮明的專場之一。從五年前開始,我們就知道,醫療科技需要艱深的醫學知識,又需要人工智慧、大數據技術的「因地制宜」。周志華教授曾說到,人工智慧產業發展最核心的要素是人才。
  • 商湯科技攜手迅達中國 AI技術打造智能扶梯安全新標杆
    2020年12月2日,全球領先的人工智慧平臺公司商湯科技SenseTime與來自瑞士、擁有超過百年品牌歷史的迅達Schindler就迅達自動扶梯安全智能響應系統開發籤署戰略合作協議。
  • CCF 會員,這是屬於您的 CCF-GAIR 2019 優惠門票
    【購票連結:https://gair.leiphone.com/gair/gair2019】CCF-GAIR 2019 有何精彩之處?(附邀請嘉賓或企業,其中 80% 已確認;另此名單排名不分先後)楊強 IJCAI 理事會主席,微眾銀行首席 AI 官,AAAI、ACM、IEEE Fellow陳家強 財經事務及庫務局前局長、香港科技大學工商管理學院原院長許冬亮 度小滿金融副總裁楊永智 阿博茨科技創始人…… ……智能商業•《零售科技的復古運動
  • 計算機視覺領域的王者與榮耀丨CCF-GAIR 2018
    , IEEE Fellow邢磊:史丹福大學醫學物理系主任,美國科學院院士候選人  獨角獸企業創始人與首席科學家孫劍:曠視科技首席科學家,前微軟亞洲研究院首席研究員姚志強:雲從科技聯合創始人林達華:商湯科技聯合創始人
  • 上海交通大學籤約商湯科技共建清源研究院
    12月20日,上海交通大學與商湯科技共建清源研究院的籤約儀式在商湯科技大廈舉行。上海交通大學校長林忠欽,副校長毛軍發,商湯科技聯合創始人、執行長徐立,聯合創始人、研究院院長王曉剛,雙方有關科研人員參加籤約儀式。籤約儀式由上海交通大學電子信息與電氣工程學院黨委書記蘇躍增主持。
  • CCF-GAIR 2020 重磅來襲,這 15 場主題專場絕...
    2020 年的人工智慧圈註定帶著一些不平凡的色彩。  今年,在新基建機遇下,CCF-GAIR 設立了 15 個主題專場,分別是 AI 前沿專場、機器人前沿專場、AI 晶片專場、智能駕駛專場、AIoT 專場、服務機器人專場、智慧城市新基建「專場」、企業服務專場、工業網際網路專場、AI 金融專場、視覺智能、視覺智能·城市物聯專場、醫療科技專場、AI +藝術專場、AI 源創專場。
  • 依圖醫療以AI技術賦能醫學數據
    依圖醫療作為AI醫療領域的唯一企業,獲得2017優秀創新案例獎。依圖醫療副總裁方驄博士與會發表了《AI賦能醫學數據》的主題演講,詳述AI技術和醫學數據在依圖碰撞出了怎樣火花,如何為醫生、患者和整個社會帶來顛覆性的創新。
  • AI醫療專場議程重磅公布,倒計時四天 | CCF-GAIR 2019
    英國皇家科學院、加拿大科學院院士,體素科技首席科學家,ACM、IEEE Fellow。被ISI、谷歌學術等學術排名索引列為世界被引次數最多的工程類學者之一(總引用超過5萬次)。14:20 - 14:50田捷:《基於人工智慧和臨床大數據的臨床研究和應用》中國科學院分子影像重點實驗室主任。
  • 為什麼說 CCF-GAIR 智能駕駛專場不容錯過?我們梳理了這些亮點 |...
    7 月 1 日,深圳前海華僑城 JW 萬豪酒店——一場大會報告、兩個圓桌討論、九大主題演講,共計 22 位來自產學研的嘉賓將分享他們的實踐與心得。這衍生出來一個問題:誰可以快速做出變通——提供高靈活性設計,既能滿足複雜系統、高需求市場,並最終實現可落地項目?DriveCore 便是針對自動駕駛複雜性和多元性帶來的挑戰而設計的。為此,強調科技屬性的偉世通提出了一個「自動駕駛的樂高理念」。這種「樂高理念」能給整個自動駕駛行業帶來什麼樣的啟發?供應商在面對當前車聯網和自動駕駛轉型革命大潮中,將扮演怎樣的角色?
  • 美國兩院院士、超級計算機專家陳世卿將出席 CCF-GAIR 2019...
    基於陳院士這些輝煌成績,科技記者約翰·馬可夫(John Markoff)於《紐約時報》曾宣稱陳世卿是「1980 年代替科技先驅者西摩·克雷工作時,美國最耀眼的超級電腦設計師之一」。2006 -2012 年,陳院士轉移到北京,獨立融資組隊,繼續發展第 5、6、 7 代的刀片式超級計算機,並開發醫院醫療軟體,建立中國最早期的健康雲計算/大數據服務平臺和可複製模式,同時在農村/邊遠/少數民族地區,實際建設 4 個臨床試點,實現互聯互通的三層(縣鄉村)基礎醫療,並與北京 301 醫院、北京軍事醫學科學院和生物醫學研究院、張家口市立醫院、蘭州民族大學醫學院等進行遠程會診、
  • AI 賦能的十字路口,臻識科技眼中的「新疆界」丨CCF-GAIR 2018
    在AI、IoT(Internet of Things – 物聯網 )等技術日趨成熟的今天,智慧城市這一前期「遐想」被逐步實現,如今包括公共運輸、公共安全、城市服務、工商業活動、民生、醫療、環保等在內的各種需求都能做出智能響應。以智慧停車領域為例,在臻識科技等企業的努力下,現在大部分停車場都已經實現汽車號牌信息的智能化檢測、識別以及存儲,這僅僅只是邁出了一小步。
  • 商湯科技擔任IEEE行動裝置增強現實標準工作組主席單位
    近日,擁有近300家成員單位、匯聚中國AR半壁江山的中國增強現實核心技術產業聯盟(China Augmented Reality Core Technology Industry Alliance,簡稱CARA)在江西南昌召開2020產業峰會。
  • 循證AI賦能基層醫療,盤點百度在數字健康領域的布局大事件
    8)百度智慧醫療劉軍偉:循證AI,賦能基層醫療2019-12-2212月22日,在北京舉行的2019年未來醫療100強大會·未來醫療領袖論壇上,百度智慧醫療業務總監劉軍偉提到,百度圍繞「循證AI賦能基層醫療」的願景,依託醫療數據結構化與知識圖譜兩個核心技術底座能力,已經形成了集篩查、診斷、管理於一體的基層智慧醫療解決方案,包含眼底影像分析