要點綜述
人工智慧等數位化技術正在深度重構醫療行業，從醫學影像輔助診斷、疾病預測/健康管理到藥物研發等諸多環節，數位化技術都發揮著日趨重要的作用，帶來更加智慧、高效、精確的診療方式。其中，三維手術規劃系統通過醫療影像中解剖結構智能分割、三維重建及渲染，能夠幫助醫生更精準定位手術位置，判斷手術可行性，並規劃最優手術路徑，可有效提高腫瘤切除率、修正手術方案、大大減少手術時間及術中出血，提高手術安全性，造福病患。
青島海信醫療設備股份有限公司（以下簡稱：海信醫療）是海信集團全資子公司，公司與青島大學共建了數字醫學與計算機輔助手術省級重點實驗室，專注於與醫學影像相關的人工智慧技術開發，形成了以醫學影像處理、人工智慧、信息交互、醫用顯示等核心技術為基礎，以計算機輔助手術系統、智能影像中心、數位化手術室等醫院信息化解決方案為落地場景的完整研發、生產、營銷服務體系。海信醫療多年致力於醫學影像人工智慧技術研發，成功開發出海信計算機輔助手術規劃系統，覆蓋胸肺、肝膽胰脾和泌尿系統，已應用於全國100多家醫院，服務病患超過9000例（根據2020年2月的數據統計），產生了良好的社會及經濟效益，具有良好的臨床應用前景。
為了進一步提升 CAS 手術胸肺系統針對 CT（電子計算機斷層掃描）人工智慧器官分割的效率，提高部署靈活性並控制大規模部署成本，海信醫療部署了英特爾®至強®可擴展處理器，並使用OpenVINO™工具套件進行了算法深度學習加速，成功達到了預期目標。
背景：CAS 手術在中國與全球市場的發展現狀與預測
隨著近年來低劑量螺旋CT早期篩查普及率的提高，越來越多癌前病變的小結節被檢出。與此同時，肺癌的外科治療也經歷了從一側全肺切除、解剖性肺葉切除到肺楔形段切除的發展演變。
從解剖學上講，肺段是一個完整和獨立的單位，每個肺段都有其獨立的動脈、靜脈及支氣管分支供應，精準切除腫瘤所在的肺段，既能保證腫瘤的完整切除，又能最大限度的保留正常肺組織，還能進行段間及段內淋巴結的採樣或清掃，達到解剖性切除、根治腫瘤的目的。研究表明，針對如臨床I期非小細胞肺癌（NSCLC）治療等，解剖性肺段切除術與傳統肺葉切除相比，可以提供類似的局部和遠端控制1,2。因此，精準肺 段切除非常適合肺小結節或無法耐受肺葉切除病人的治療。
由於肺臟邊緣動靜脈、支氣管分支特別複雜，且缺乏天然可見的解剖邊界，精準肺段切除術具有較大技術和解剖學難度。基於深度神經網絡自動分割的肺部精準三維重建技術可以將肺組織、病灶、肺內血管和支氣管等結構的形態和空間分布等進行識別與分析，實現直觀準確的可視化呈現。使用三維重建技術的3D CT 手術計劃對機器人輔助節段切除術非常有用，有利於減少併發症和提高手術效率。
術前精準三維重建可有效顯示病灶及附近解剖結構，為肺癌患者提供了更多的選擇，能夠最大限度地保留患者的肺功能。針對早期肺癌和癌前病變，通過精準肺段切除能以最小代價提前實施幹預，切除病灶，增加患者的長期生存率，提高患者生活質量。實例驗證顯示，解剖性肺段分析可有效確定腫瘤體積、所在肺段位置並幫助醫生預測切緣。切緣預測陽性準確率對腫瘤切緣高於1cm或者切緣腫瘤直徑比大於1的情況，切緣準確率（TP/（TP+FP））分別達到87%及75%，可有效輔助醫生術前精確判斷周圍型肺癌肺段切除可行性。
為了支持醫療影像的自動分割，研究人員使用了 NiftyNet 等基礎架構來開發深度學習方案，NiftyNet 使研究人員能夠快速開發和分發用於分段、回歸、圖像生成和表示學習應用程式的 深度學習解決方案，或將平臺擴展到新的應用程式6 。
據美國聯合市場研究（Allied Market Research）機構最近公布的一份研究報告預測，全球術前規劃軟體市場規模2018年為8409萬美元，到2026年這個數字將達到1.27億美元，複合年增長率為5.2%。
胸肺 CT 三維重建是 AI 技術在醫療行業的典型應用。事實上，由於AI在診療過程中具備突出的優勢，其已成為眾多醫院推進數位化創新、推動智慧醫院建設的重要方向。《中國醫學影像 AI 白皮書》顯示，在醫學影像方面，AI 技術具有更廣闊的落地場景，通過 AI 技術，可以有效提高醫師診療效率與診斷精 度，使醫學影像的分析技術下沉，縮短患者就診等待時間，降低患者就醫成本。
開展精準肺段切除的最大難點在於個體解剖差異， 如何分辨肺段的靜脈、動脈、支氣管及段間平面是手術是否精準的關鍵。隨著人工智慧技術的發展， 國內少數醫院通過將 CT 數據影像導入計算機工作站，建立起三維立體數字器官模型，真實還原了患者的動脈、靜脈及支氣管的走形形態，手術過程中能夠在電腦中旋轉觀察，準確定位並精準切除病灶，同時也大大提升了手術的安全性。— 彭忠民 山東省立醫院東院胸外科主任
海信醫療基於英特爾架構加速三維神經網絡預測
海信醫療 CAS 計算機輔助手術胸肺系統可以為腹腔精準外科手術提供高效、精準、易用的影像重建及量化模擬分析整體解決方案。該系統能夠針對腹腔組織器官的 CT/MR 影像進行預 處理和分割，精準輸出清晰的肝臟、腫瘤、血管及周邊器官組織的重建結果，並提供多種模擬手術工具進行直接 3D 切割、2D 映射切割和流域分析，為臨床醫生快速精準地進行診斷和制定方案提供了有力的輔助工具。
圖 1. 利用海信醫療 CAS 完成的胸肺 CT 三維重建模型。圖片由海信醫療提供
圖 2. 海信醫療 CAS 計算機輔助手術胸肺系統。圖片由海信醫療提供
面向重大肝臟疾病的計算機輔助手術系統進行的匯總分析顯示，海信計算機輔助手術系統和其它同類產品已向臨床醫護人員提供幫助。
海信醫療 CAS 計算機輔助手術胸肺系統的設計採用功能原型設計、性能優化、準確性比對的步驟進行。系統採用了V-Net 神經網絡架構來進行全卷積神經網絡的三維圖像分割，利用 NiftyNet 進行快速的算法原型設計，在功能驗證的基礎上，進一步利用英特爾工具進行性能優化，並對優化後預測結果與優化前預測結果進行對比，以確保優化後的神經網絡的一致性。
V-Net
大多數醫學影像數據是三維體數據，能夠提取三維特徵對於管道類組織的分割至關重要，這是因為血管、支氣管等管道類組織在單張 CT 影像上往往呈現圓形或橢圓形截面，而其主要的形態特徵存在於 z 軸方向。同時醫學圖像分割經常存在目標組織解剖結構體積佔比小，樣本間不均衡現象，如：肺支氣管、肺小結節相比肺實質，從而帶來預測偏差。 V-Net 神經網絡結構由 Milletari et al. 在 2016 年提出，輸入圖像經過一個圖像壓縮路徑進行特徵提取及降採樣操作，連接一個圖像解壓縮路徑將圖像恢復到輸入圖像大小，形成左右對稱的 V 字神經網絡架構。壓縮及解壓路徑間通過特徵前項短接 保留細顆粒特徵，提升邊緣的預測準確率。通過引入基於Dice係數的目標函數進行參數優化，可有效處理前景/背景體素不平衡現象。
NiftyNet
NiftyNet 是基於TensorFlow 的開源卷積神經網絡（CNN）平臺，通常用於醫學影像分析和影像引導療法的研究。海信醫療使用 NitfyNet 以及其內部開放模型庫（Model Zoo）中的 Dense-Vnet 實現對於腹部 CT 中多個器官影像的分割，該神經網絡平臺可分割腹部 CT 上的八種類型的器官，包括胃腸道（食道、胃、十二指腸），胰腺和附近的器官（肝、膽、脾、 左腎）。
圖 3. V-Net 神經網絡架構圖
NiftyNet 的開放模型庫提供了可在 TensorFlow 之上，使用標準公共數據集訓練模型的步驟，以及用於驗證模型推理和性能評估的權重文件（checkpoint 文件）。在本案例中，英特爾幫助海信醫療修改 NiftyNet 的公共原始碼來序列化 TensorFlow 模型圖，並生成將權重固化到模型圖的pb文件。OpenVINO工具套件需要使用在通用框架（Caffe， Tensorflow，MXNet，ONNX）上訓練好的模型來進行轉換，所以在開始使用OpenVINO之前，需要基於TensorFlow將 NiftyNet 模型源碼生成模型圖並固化權重，以便進行後續的工作。在深度網絡圖形序列化步驟中，需要指定正確的輸入和輸出節點，使得生成的權重固化文件中只包含從正確輸入節點到正確輸出節點之間的模型結構圖。以下流程圖反映了如何將 NiftyNet 公開模型使用 OpenVINO 加速的過程，其中橙色部分表示在 NiftyNet 源文件中編寫代碼完成的流程，藍色部分表示 OpenVINO 優化流程：
圖 4.NiftyNet模型使用OpenVINO優化性能的流程圖。約 14.7x 的性能提高細節請參考圖 9
使用 OpenVINO 工具套件分發來加速模型推斷
OpenVINO 工具套件發行版提供了高度優化的神經網絡計算能力，並基於包括英特爾 CPU、GPU、VPU 和 FPGA 在內的英特爾硬體平臺，加速了深度學習模型推理。英特爾幫助海信醫療使用了英特爾® 深度學習部署工具包（英特爾® DLDT）。 該工具包是 OpenVINO 工具套件中的主要推理優化模塊。
如圖5所示，英特爾 DLDT 包含兩個模塊，模型優化器（MO，Model Optimizer）和推理引擎（IE，Inference Engine）。模型優化器是一個跨平臺的命令行工具，可實現訓練和部署環境之間的轉換，執行靜態模型分析並調整深度學習模型， 致力於在終端目標設備上實現最佳執行能力。它支持從流行的框架（包括 TensorFlow 模型）到中間數據格式（IR，Intermediate Representation）的離線模型轉換。
圖 5. OpenVINO 工具套件的深度學習部署 相關的產品架構
中間數據格式包含用於描述深度學習網絡結構的 XML 和用於存儲權重值和偏差值的二進位文件，可以使用推理引擎在英特爾至強可擴展處理器上加載和執行模型網絡。推理引擎提供統一的跨平臺 C++ 和 Python API，用於推理加速和優化。在英特爾®處理器上，IE將自動在運行時使用集成了英特爾®深度神經網絡庫（英特爾® DNNL）的運行插件，該插件均為動態函數庫，可以在運行時檢測指令集架構（ISA），並使用準時制代碼生成（JIT）來部署，針對最新的 ISA12 進行優化，以加速神經網絡中各層的運算。
圖 6 展示了在 CPU 平臺上，英特爾 DLDT 的加速推理的機制和流程，其中推理引擎使用到的MKL-DNN（又稱英 特爾 DNNL）插件中定義了深度神經網絡核心的原始操作（primitive operation）層的實現，其中包括卷積層（Conv，Convolution），對位操作層（Eltwise，element-wise），全連接層（Concat，Concatenation）等。
OpenVINO 異步模式
為了高度優化整個推理流程並降低數據傳輸成本，海信醫療採用推理引擎的異步應用程式編程接口（Async API）來設置多個推理請求對象的實例，並在多個處理器核上並行進行推理。該模式可將CT影像分割成多個小塊進行處理（每個小塊的尺寸為 64*64*64），並且每兩個小塊之間都不會存在數據相互依賴性，這意味著系統可以在開始時加載成批的塊，並將其注入推理請求池以便並行計算，而無需等待逐個數據的輸入或等待其他推理實例完成。這裡提供了方便快捷的響應機制，一旦異步推理請求完成推理執行時，這組運算的結果將被獲取和記 錄，下一組輸入將直接注入推理請求池進行下一輪推理。
圖 6. 英特爾 DLDT 基於 CPU 平臺上的優化機制
圖 7 顯示了使用英特爾® VTune工具包，通過程序熱點（hotspot）分析選項，分析原始的推理引擎同步（Sync）API程序的運算情況。網絡層在主線程上執行，英特爾DNNL將為在多個內核上進行計算的每一個網絡層創建英特爾® TBB 線程。從OpenVINO工具套件2019R1版本開始，DLDT 將默認的並行化機制從 OpenMP 轉移到英特爾 TBB，旨在為多網 絡場景和異步及吞吐量模式下的推理運算提供更高的性能。
圖 7 中黃色圓圈圈中的一欄代表主線程，橫軸表示時常，橙色 的內容表示主線程處於空轉的狀態下，線程佔據了系統資源，
圖 7. VTune 工具展示的 OpenVINO IE Sync API 計算過程
原因是主線程需要等待，直到下面的TBB子線程逐層地完成，並且每小塊的輸入數據將被逐一計算後，主線程才可以結束運算並釋放資源。
與 Sync API 相比，Async API 可以創建多個推理請求實例來同時執行網絡推理。如圖 8 所示，Async API 將同時創建帶有多個推理請求的線程，每個線程分別使用不同的輸入數據塊執行推理，圖像中的紅色圓圈表示同一個網絡層在不同推理實例上的並行情況。通過使用這種方式，將減少主線程和子線程之間的等待時延。
圖 8. VTune 工具展示的 OpenVINO IE Async API 計算過程（「吞吐量」 模式打開）
同時，海信醫療還使用處理器推理引擎的「吞吐量」（Throughput）模式在 CPU上同時高效地運行多個推理請求，從而大大提高了吞吐量。使用該模式，執行資源會被固定到執行「流」中，而這些「流」的可以綁定在CPU物理核上， 「流」的數量建議設置為 CPU 的物理核數。通過此功能將容易 獲得更高性能，尤其是在多核伺服器上。
基於OpenVINO工具套件的海信醫療CAS性能驗證
要對 CT 等醫療影像進行三維重建，需要採集目標的點雲數據 （Point Cloud Data，PCD），經過深度影像增強、點雲計算與配準、數據融合、表面生成等步驟，完成對目標的三維重建計算，其涉及到影像人工智慧自動分割、重建，需要部署 人工智慧預測網絡，對於計算資源、存儲和網絡連接有著巨大的需求。
在選擇人工智慧預測網絡的基礎設施時，用戶常常會面臨是選擇 CPU 還是 GPU的困擾。GPU的並行架構適合處理圖像算法，也普遍被用於深度學習訓練中，但是由於醫療場景的特殊性，GPU 並非是面向三維重建的人工智慧預測網絡構建 的必然選擇：
• 醫院部署人工智慧功能往往局限於醫院區域網，很難利用公網中的廉價 GPU資源。為了滿足並發需求，部署多塊高性能 GPU 是不小的硬體成本。
• 通常GPU顯存有限，針對三維神經網絡預測的大數據量，需要採用拆分-單獨預測-合併的 Patch-based 方法，這樣容易丟失所預測目標的上下文信息，引入噪聲。如胸肺動靜分割，數據量（512*512*400），使用只有 11GB 顯存的 GPU（海信醫療評估系統設置），最大Patch尺寸為（232*232*232）。部署時該GPU的適配性不高。
• 本案例中的海信醫療 CAS 手術系統的AI算法有較強的批處理屬性，人為交互少，可以允許損失一部分處理時間而不影響用戶體驗。
• GPU 通用性有一定的限制，僅能用於定製的AI運算，平時不能利用。使用 CPU 伺服器可有效利用空置資源，提供其他閱片室或者手術室服務。
因此，選擇恰當的三維神經網絡預測的基礎設施平臺，並通過深度學習加速工具包來加速預測性能，就成為三維重建手術規劃系統部署的重要因素。
基於英特爾至強可擴展處理器以及 OpenVINO 工具套件，海信醫療與英特爾共同優化了胸肺CT人工智慧自動分割、重建算法，在可接受的性能指標範圍內，大大降低了CAS計算機輔助手術胸肺系統部署成本與靈活性。
在發現GPU方案可能存在的弊端之後，海信醫療決定基於英特爾至強可擴展處理器來搭建基礎設施平臺，並對該方案的性能進行評估。英特爾至強可擴展處理器不僅擁有強大的通用計算能力，還集成了增強單指令多數據流（Single Instruction Multiple Data，SIMD）、英特爾® AVX-512 等創新技術，實現了對於通用計算能力和並行計算能力的兼顧，為人工智慧訓練提供了卓越的性能基礎。相比上一代產品，英特爾至強可擴展處理器針對人工智慧訓練和推理可提供大幅領先的性能。
此外，海信醫療還使用OpenVINO工具套件進行了加速，OpenVINO工具套件包括英特爾深度學習部署工具套件。通過輸入來自標準網絡的訓練後模型，模型優化器可將其轉換為統一的中間代碼（IR）文件，然後在推理引擎上運行該文件， 這有助於跨不同加速器進行測試，無需重新編碼。
為了驗證該方案的性能表現，海信醫療進行了對比測試（其中，CPU方案採用了英特爾至強可擴展處理器，搭載了英特爾®SSE4.2、英特爾®AVX、英特爾® AVX2、英特爾AVX-512指令集，並使用OpenVINO工具套件進行了優化，結果如圖 9 所示）。在方案中，CT 影像原圖為尺寸為（284，512，512），即284張 512*512 的 CT 影像切片。海信醫療 CAS 應用 NiftyNet 中的 GridSampler 函數將該 CT 影像原始切片分成了1001個64*64*64 的小塊進行深度學習推理。
測試結果顯示 CPU 方案具備更高的部署與應用靈活性，可以承擔更廣泛的負載，更有效地控制系統的總體擁有成本（TCO）。
圖 9. 預設NiftyNet和OpenVINO工具套件優化前後的推理性能對比。數據由海信醫療於 2020 年 1 月提供
效果實例：8分鐘完成疑難病症手術關鍵核心環節
通過英特爾至強可擴展處理器、OpenVINO工具套件來優化胸肺CT人工智慧自動分割，海信醫療 CAS 計算機輔助手術系統的效率與精度得到了有效保證。通過對於胸肺 CT 進行三維重建，該系統可形成立體360度可量化、可觀察、可互動的影像模型，醫生可以通過旋轉、調整透明度、縮放等方式對於影像模型進行更加細緻的觀察，為術前規劃、術中參考提供重要支撐。
海信醫療副總經理陳永健指出，近日在中國重慶醫科大學附屬第一醫院泌尿外科的一例「腎癌伴下腔靜脈癌栓並浸潤腔靜脈壁」疑難手術中，患者病情的特殊性讓醫生找不到同類手術進行參考，施行手術的風險極高。通過引入海信醫療 CAS 計算機輔助手術系統進行三維重建，醫生進行了充分的術前規劃準備，最終手術關鍵環節僅用時8分鐘就順利完成。
基於海信醫療在醫療行業深厚的積累，以及英特爾架構所帶來的高性能、靈活性與敏捷性，該系統在胸肺類疾病的診斷中可以發揮出巨大潛力，幫助醫生提升臨床手術的質量。對於醫院而言，該解決方案也可以有效利用醫院內部的通用計算資源，節省相應支出。
2020 年1月份，青島大學附屬醫院和海信醫療聯合科研團隊共同開發的，基於海信醫療 CAS 計算機輔助手術系統的「基於小兒肝膽胰計算機輔助手術系統研發、臨床應用及產業化」成果，榮獲 2019 年度國家科技進步獎二等獎。
展望：英特爾與海信醫療推動智慧醫療的落地
「三維重建的技術優勢在疾病診斷中的效率、準確性優勢日漸顯現。通過與英特爾進行合作，我們確保了該系統的運行效率以及敏捷性。而在未來，我們也將與英特爾合作探索 3D 列印、混合現實等技術在醫療行業的應用，為術前精確診斷、術中精準手術、患者快速康復提供更大的支持保障」，海信醫療副總經理陳永健表示。
為推進人工智慧在醫療健康領域的廣泛應用，英特爾推出了CPU、FPGA、Myriad™視覺處理器及一系列的軟體開發工具，具備全面的人工智慧產品組合和端到端的技術實力，可以提供高度靈活和多種優化的解決方案，並充分發揮合作夥伴們在各自領域的專業性，來推動人工智慧醫療技術的落地與進一步發展。