體素王子龍:醫療AI從單病種到全場景的三重門

近期，雷鋒網醫健AI掘金志邀請體素科技首席醫療官兼產品負責人王子龍，做客雷鋒網公開課，以「醫療場景下的影像人工智慧產品實踐」為題，對體素科技從單一肺結節產品邁向全病種的諸多挑戰進行了解讀。

後續將有更多課程上線，添加微信公眾號 醫健AI掘金志 回復聽課，或收看本節課程視頻回放

體素科技王子龍表示：「體素AI產品的特點就在於，以全病種為核心目標進行研發。相比於單病種，全場景產品在研發中除了要應對病種的增多，還存在數據小樣本、異常檢出、臨床驗證複雜等諸多挑戰。」

以病種數據小樣本為例，一方面因為存在大量孤立、新發的特殊病種，另一方面醫療數據中優質標記資源相對較少，導致病種數據無法滿足訓練要求。

為此，體素選擇通過Model Genesis的方式進行自監督、遷移學習，按照數據內部表徵特點，遷移到其他部分數據，使病種在小樣本情況下同樣滿足訓練要求。

以下為王子龍分享的全文內容，雷鋒網做了不改變原意的編輯。

我是體素科技王子龍，今天分享的題目是「醫療場景的影像人工智慧產品實踐——全場景的全病種醫學影像閱讀者」。

體素科技的特點就在於，致力於全病種的醫學影像相關人工智慧產品。大家對於單病種醫療影像人工智慧已經不陌生，而且很多企業在單病種產品上都做了比較充分的探索。

揚棄單病種，擁抱全場景

但是像肺結節這樣的單病種產品，僅做結節輔助檢出，雖然針對單一病種達到了比較好的效果，有一定使用價值，但遠不能臨床滿足的需求。

臨床檢查中肺結節僅僅是需要處理的諸多場景狀況中的一種，現實中也不可能有任何一個醫生表示」我只看肺結節，如果想看別的毛病，先充一個VIP會員再說。」

醫療場景層面上，影像包含各種各樣的來源。其中有專業人員，專業設備採集的比如CT。也有專業人員，通過一般設備採集的情況。

像皮膚科醫生就可能會在伍德燈下，直接用手機或相機，觀察和記錄皮膚的變化。也存在一般人用普通設備採集的圖像，比如患者自己用手機拍攝的圖像。

在各種場景中，都存在夠跟專業人士分享檢查的圖像，發現異常檢出並解決問題的需求。

基於這些思考，體素科技通過全場景的方法，滿足更廣闊的需求。通過全病種覆蓋的方式，也能滿足更完整的環節，最大效率減少其他工作量。

其中體素科技的胸部CT產品就是以全病種為目標研發，致力成為低劑量CT篩查第一閱讀者，通過識別常見病灶，檢出正常和異常圖像，生成醫療自然語言報告。

為了滿足這個過程，首先就需要儘可能歸納所以常見病灶。但是這談何容易，當初提出這個戰略的時候，有人曾經問我，這個世界上有多少種疾病？

如果按照國際疾病分類第十次修訂本來看，有幾萬個疾病編碼，事無巨細，從床上跌落受傷都有單獨的編碼。但實際應用中這個編碼也依然無法滿足全部使用需要，需要使用一些拓展的編碼，把不標準部分變得更詳細。

面對數量龐大的病灶，顯然也不可能按照逐一方法，對所有疾病進行訓練。 體素按照病灶的特點，利用計算機視覺進行整合。例如按照局部性病灶、透明度變異、密度增高、密度減低、條索、線性、網格狀等形態整合分類。

病灶歸類以後，接下來就需要按照歸類，選擇訓練方法。

一種類型，如肺結節、肺大皰等，這部分病灶往往具有特定的形態，雖然在大小上可能存在一定差異，但是同類病灶的形狀特徵都比較類似，也比較適合檢測的手段實現。

而另一類像磨玻璃滲出影、胸腔積液、肺不張這樣不同成因和特徵的病灶，往往沒有固定的形態，有些邊界 也不清晰，每個病灶之間形態可能千差萬別，就比較適合分割方法，之後從病灶的角度再歸類。

而僅僅通過歸類手段還不夠，體素在病灶標註和學習過程中，採用了多級流水線的方式標註和訓練，結合強監督和弱監督信息。

具體先在序列整體上進行標註，之後再按照每一層層標註，更進一步標註每一層級上的檢測框和分割掩模。整體是逐級遞進的過程，監督強度逐級增強，信息量逐層增加。體素希望通過多級流水線的方式，既滿足層級的標註、還可以結合弱監督的手段，綜合節約成本。

實現醫療圖像領域全病種的目標，還需要整合多個來源的信息內容，因此醫療相比其他人工智慧應用領域，任務工作流相對比較複雜。

以肺結節為例，既需要通過肺葉分割，了解肺部所在位置，還要通過檢測、分割將結節具體位置進行勾勒，最後還要做性質和屬性檢測，整個流程的前後依賴度非常高，就需要設計一套系統的工作流架構。

全場景產品的設計挑戰

僅僅通過這些手段，還不能應對全場景全病種的AI產品研發中的各種挑戰。在不同工作流程，不同用戶群體，不同模態數據下都有新的技術要求。尤其是全病種研發所面臨的主要問題之一是小樣本病種的異常檢出。對於小樣本數據，往往代表這類疾病本身非常少見，從而導致樣本來源相對比較匱乏。

這個圖是對十幾萬份篩查場景下自然分布的報告結論的分析，大家可以看到，這是一個非常經典的長尾曲線的實際案例。常見病種病灶出現在左側區域，但同時還存在大量不同種類的低頻次的病灶、病種和組合，這些低頻次狀況的數量總和又不能忽視。這部分疾病和疾病的組合的存在帶來了小樣本。

例如，圖上是一例子卡特金納症候群的影像，特點就是心臟左右是反的，心長在了右邊，這種案例雖然比較罕見，頻率大約在幾萬分之一。但是大一點的醫院可能每年都會碰到幾個，這種情況純按照數據驅動的方式完成訓練，就變得十分困難。

此外，小樣本的情況還源於標註成本的高昂，醫學圖像標記本身非常困難。許多公司和研究所通過整體歸類一下獲得十萬、百萬的數據，但是後續的標記成本會非常高。被充分標記的樣本經常是數量稀少的。

所以，即使擁有巨量的醫療數據，但實際情況中具有優質標記的數據樣本依然比較小，體素選擇了通過Model Genesis的方式進行自監督，遷移學習的嘗試。

自監督是利用無標註的數據，進行學習。其監督的信號來自於數據本身，通過學習數據內部的表徵特點，學習遷移到其他部分提供幫助。

在原始數據中，通過處理隱藏掉其中一部分，再通過深度神經網絡訓練出可以恢復被隱藏或者破壞的數據網絡。在這個網絡中就掌握一定量原始數據結構特徵。

之後將訓練的神經網絡，遷移到特定任務當中，就可以得到比從頭訓練或者其他模型遷移更好的效果。

這是一個實際案例舉例，通過亮度、局部像素的調整和內外部遮蓋的方式破壞原始圖像，之後訓練得出神經網絡的編碼器和解碼器。

從被破壞的數據恢復原始圖片，之後將恢復後的圖片和原數據圖片進行比較和學習，學到原始數據的表徵特點。

實驗中發現對於肺結節的分類、結節分割、肺栓塞分類等任務，自監督預訓練效果要高於直接訓練的情況，進而改善診斷少標記樣本的學習能力。

異常檢出也是一個亟待更好解決的難題。在現實中，每一名醫生都是先學解剖學、生理學，從正常結構和功能開始學習，再去接觸各種疾病帶來的異常變化。這和柏拉圖的觀點非常一致，「存在一個標準化的形式，個體都是這種形式的摹本。」

醫療數據中，80%病例都是正常數據，但這部分數據同樣會消耗醫生大量精力，異常數據的分布也非常廣泛且分散，包含各種各樣的疾病。

另外還可能會出現未知的數據類型，因為每一年都可能會不斷發現新的疾病，這類疾病無法通過強監督的方式訓練，也無法通過純數據驅動的方式解決遇到的問題。

為了解決這些問題，體素科技進而探索異常檢測的技術方案。一種常見的異常檢測方案是單類學習，僅在正常類別的個體上訓練自編碼器，輸出的結果和原始圖像進行對比，通過差異發現異常。

例如有其他研究團隊發表於ISBI 2019的成果就曾嘗試將這種方法用於胸片異常檢測，在正常圖像上訓練，讓重建圖像更趨向於正常的原圖，縮小重建圖像和輸入圖像之間的差異。

通過這種方式，他們設計了如下實驗，對所有正常圖像進行編碼訓練，分別用編碼器的方式對測試集裡面正常和異常數據進行恢復，因為本身就學過正常圖像，所以最終恢復出來的圖像和原本圖像相似度比較高。

存在異常的圖像，因為很難對異常部分和區域進行結構恢復，圖像和原始圖像重建誤差也相對較大，所以按照正常的圖片作為訓練集，就可以判斷異常的效果。

但是將這種方法在現實場景中使用，會存在很多的困難。例如例如眼底彩照，因為是自於不同光照設備，即使沒有明顯疾病，圖像之間的差異也相對較大。

與此同時，嚴重疾病和正常的圖片的視覺差異也可能很小。像糖尿病視網膜病變中的增殖期表現，新生血管等病變實際的面積並不大。這些都會影響單類學習的效果。

因此，寄希望於同時使用正常和異常數據進行訓練，對輸入的圖像按照以下目標設置損失函數：重建生成的圖片類似真正的圖片，重建的圖片與輸入圖片類似，重建的正常圖片與正常圖片更類似。

按照這種方式，引入了度量學習思路，可以使正常和異常圖像之間構成聯繫。

通過實驗結果可以發現，這種方法可以定位到腦部病灶位置，相比於其他單類學習方法，也能夠得到更高額的準確率，還可以更好的定位異常區域。當然，在正常和異常領域，仍然還有許多挑戰需要克服。

除此以外，為了實現多病種的目標，其他技術挑戰還有很多，例如多任務的合併與知識蒸餾。隨著10、20個病種的增加，怎樣合理的把任務合併，在有限計算資源之內完成多病灶檢測和識別會就比較重要。

單一模態信息量非常有限，還需要多模態信息的進一步融合。融合病灶和疾病之間的相關性，往往還要包含一部分相關和因果關係，把病灶間相關性的圖網絡和圖片信息可以進一步融合提高效果。

體素基於已有的技術性探索，已經實現胸部CT多病種產品的研發，識別胸部和腹部CT中肺、肝、膽、腎等多種器官上的病灶。

像肺內的肺大皰、鈣化灶、磨玻璃等多種病變，像肝膽的脂肪肝、肝囊腫、腎囊腫、膽結石、腎結石等肺外常見病灶，都能做到逐一智能篩查和圈化，並對其中部分病灶進行量化分析。

在10萬份體檢場景報告的驗證中，體素的產品已經能夠覆蓋92.6%的常見病灶和它排列組合。而選擇體檢作為驗證的原因，就是因為其病種種類相對確定。在門診、住院和急診場景中，面對的會是完全不同的疾病譜與疾病分布。

為了讓算法和產品在實際場景中使用起來，不僅僅需要在GPU上神經網絡訓練和驗證，在真實健康診療環境中的證據收集也十分重要。

全場景的臨床驗證

體素對於醫療人工智慧輔助診斷的實驗驗證，也有自己的思考和設計。設計了基於回顧隊列自身對照的盲法診斷實驗，對之前輔助診斷結果進行臨床實驗驗證。

回顧性連續採集一部分患者影像數據，進行脫敏和設盲。將傳統醫生二級閱片結果和算法結果在盲選狀態下混合，之後統一交給第三方專家審核和校驗，將算法輸出結果和醫生二級閱片下的結果比較，這個過程中可以充分考量實際工作中AI和人之間的水平差異。

在臨床實驗設計過程中，也面臨很多的挑戰，因為即使納入非常多的病種，也面臨很多設計外的疾病幹擾。

全病種AI產品面對正常異常檢出實驗的目標設計也存在困難，因為目前多數臨床實驗的目標都指向單一的病種和目標，此外實際數據分析過程中，閱讀者之間差異也十分巨大。

所以即使肺部CT滿足了輔助診療的場景，還依然存在多種需求沒有被滿足。包括檢前、檢中、檢後的個人需求，將自己影像數據分享給其他人，就需要為個人建立影像雲篩查健康檔案，甚至為了更好管理自己的 情況，可能還需要進一步的健康管理。

下一步，體素科技也希望通過人工智慧增強醫療健康管理的質量和可及性，改善診療完整健康狀態。

這是體素科技首席醫學指導Eric Topol教授在 nature medicine發表的文章，裡面就總結和整合了目前人工智慧的應用形式，AI如何在工作中和人做有機的結合。

可以看到，從出生，到成長之後使用的可穿戴智能硬體，後面發生疾病所需要的檢查篩查、診斷鑑別、住院等等過程中，都存在廣闊的應用場景。

全場景下，AI也可以滿足更廣闊的需求，面向醫生、面向醫療系統、面向病人和家用等，都存在多種產品形態，每一種形態都是為了實現和滿足大家的需求。

體素科技希望以全病種的方式，將傳統CAD或者單病種人工智慧輔助產品，擴展向為多個資源打造新的服務模式和需求。

以胸部體檢篩查為例，一旦能夠滿足多病種人工智慧篩查手段，分揀出正常和異常案例，再自動化生成大部分報告，不僅可以提升醫生工作效率，還可以同時使難以實現篩查的方式，成為每個人直接可以享受到的醫療資源，已經有充足的數據證明，對高危人群進行IDCT篩查可以降低20%的肺癌相關死亡率。

但現在CT篩查並沒有達到應有的普及率和覆蓋程度。體素科技研發的全場景產品，期望可以在病人、醫生的各方分別實現產品的價值。

篩查不僅限於胸部CT、還有眼科、皮膚科通過手機影像的篩查、兒童視力障礙的篩查等情況。

體素的全場景，不至於影像

這是眼底彩照的多病種篩查案例，雖然在同一模態，多病種的方式可以歸併和檢出更多病灶目標，目前識別的眼底疾病已經達到40種，除此之外，還可以對裡面的結構進行測量，並對常見和未知病灶進行展示。

在世界人工智慧大會「卓醫」挑戰賽上，體素科技在12種病灶的檢出結果均獲得技術上的領先。

體素的眼科AI產品已經服務接近300家MMC中心，為9萬多名患者提供眼底智能篩查服務，未來將通過助力基層篩查的方式，提高慢病患者篩查的依從性，實現更好的慢病管理和愈後。

此外，體素科技還和眼底相機企業合作研發了人工智慧眼底一體機，簡化篩查流程，實現全自動拍照和上傳，擴展全場景理念。

這是體素「膚知匯」產品，基於手機圖片對皮膚疾病做篩查和分診，在難以取得皮膚科專業醫生結果之前，可以通過自我拍照的方式對皮膚狀況進行了解。疫情期間，小程序服務了數百人次的自我檢查，此外還通過遠程醫療為醫生提供了轉歸參考結果。

兒童視力篩查項目，也是基於視頻的手機篩查小程序，通過採集兒童觀察動畫的面部和眼睛運動狀態。通過對視頻的算法分析對常見兒童視力障礙進行早期的被動篩查，從中發現眯眼、斜視等常見早期視力障礙。這個項目成果，也和合作單位合作發表在了Nature的子刊的封面上。

任天堂前社長巖田聰曾經的演說中有一句話非常觸動我，「On my business card, I am a corporate president. In my mind, I am a game developer. But in my heart, I am a gamer」。

這句話應該非常適合絕大多數跨界到醫療AI的同僚，大家在名片上可能寫的是是研究員、算法工程師、市場經理，但是在自己的心中，仍然保持一個醫生的心。

每個人心中的致力方向，都是希望把醫療提升到更好的一個層面，讓更多人可以更方便的享受醫療服務，儘管已經在多病種、其他疾病上付出諸多努力，但是也同樣深知這條道路的前方，還有這更遠、更深的未知領域，需要大家一齊去努力和探索。