虛擬病人還有多遠？一款基於HoloLens的人體解剖教學系統的設計

今年11月10日，世界經濟論壇和《科學美國人》雜誌共同發布的《2020十大新興技術》中提及了可以代替真人進行臨床試驗的「虛擬病人」技術，使評估藥物和治療的過程更快、更安全、更便宜。虛擬病人技術的實現離不開虛擬實境技術。

VR和AR技術為解剖教學和手術培訓提供了一種逼真、立體、可完全情景再現式反覆操作的學習環境，在降低實踐成本、提升培訓質量和效率、提高手術成功率等方面展現出了極大的優勢。

範麗亞等結合實際項目剖析了一款基於HoloLens的人體解剖教學系統，包括功能需求、軟硬體平臺的選擇、關鍵開發技術及實現效果。分析了虛擬人體解剖及手術培訓領域存在的問題，並展望了其未來的發展方向。

很多醫學院校受師資力量薄弱、實驗場所缺乏、器材及實驗對象匱乏、經費緊張等問題制約，解剖實踐教學的質量和效果非常有限。

而虛擬實境（virtualreality，VR）技術和增強現實（augmented reality，AR）技術的出現，為解剖教學及手術培訓提供了具有巨大潛力的工具。

研究現狀

國內外對人體解剖教學領域的研究可主要分為2個階段：人體解剖教學模型的構建階段（1990-2010年）和人體解剖教學系統的應用階段（2010年至今）。本文以第2個階段為研究對象。

硬體

人體解剖教學及手術培訓中需要藉助一定的VR/AR硬體整機設備，從目前主流的應用來看，主要有通用設備和專用設備兩類。HoloLens屬於通用設備，專用設備如VirtaMed外科手術模擬培訓工具等。

軟體及平臺

人體解剖教學軟體使用的開發平臺可分為系統平臺和開發平臺2類。系統平臺主要指作業系統（operating system，OS）；技術開發平臺主要包括3D建模、內容開發引擎和圖像識別軟體開發工具包（SDK）。

目前VR應用軟體的開發大多為第二代作業系統，針對VR/AR開發的第三代作業系統也正在開發中。

3D建模是人體解剖教學系統的技術核心。

內容開發引擎（主要指3D引擎）是構建虛擬環境非常重要的中間件，一般具備數據管理、圖形渲染、交互編輯、平臺發布等功能，Unity3D是目前熱門的交互圖形化開發引擎。

圖像識別SDK是連接硬體與內容的重要的底層基礎軟體，一個好的SDK佔用內存小、支持機型廣、穩定性高。

教學內容及應用

VR和AR在解剖教學及手術培訓中的應用突出體現在以下5個領域。

解剖教學

VR和AR技術可以幫助學生全方位、立體化地理解人體結構，學生也可以反覆地進行模擬訓練，從而提高解剖教學效果。

術前規劃

為減少手術風險，對患者進行比較複雜的手術前，可通過虛擬實境術前計劃系統進行多重感官體驗及練習，提前了解手術的難易程度，評估手術風險，並制定個體化的手術方案。

手術培訓

通過構建專門的手術訓練中心或教育平臺，可以幫助醫生合理制定手術方案，減少手術損傷，提高手術定位精度和成功率；縮短手術培訓時間，提高醫生的協作能力；強化術前模擬訓練，提升手術熟練度。

手術直播

VR/AR技術通過架設在手術室主刀醫師上方的特殊全景相機，把第一現場的場景360°完全攝錄下來，經過專門拼接融合後傳輸到雲端，醫學生可以通過VR/AR設備身臨其境般地觀摩手術，並通過視覺焦點進行切換，自由地選擇觀看的角度，還能以「主刀」視角觀看手術的細節。

遠程會診

遠程會診能使手術室中的外科醫生與異地遠程的專家根據病人的信息進行實時交互，而不受空間距離的限制。

基於HoloLens的人體解剖教學系統的設計

該系統可用於分布式教學，實現多人觀摩、反覆情景再現式學習和研究，通過HoloLens常用的手勢任意放大、縮小、旋轉、翻轉人體器官和模型，交互效果在川北醫學院、山東省立醫院等單位進行測試時受到好評。

功能需求分析

基於HoloLens的人體解剖教學系統主要用於幫助醫生、實習生及醫學生進行解剖課程的學習、教學互動和模擬會診。

人體解剖教學解析系統功能模塊示意

軟硬體平臺分析

本研究選用HoloLens設備、Unity3D引擎進行開發。使用Unity3D進行虛擬人體解剖系統，既可以保證人體模型的渲染和交互效果，又可以完美地支持HoloLens硬體，還能在不同的平臺發布程序。

關鍵技術分析

該系統主要用到手勢識別、PBR（Physicallly-Based Rendering）、人工智慧（artificial intelligence，AI）、空間錨等關鍵技術。

手勢識別是HoloLens交互的重要輸入方式之一，用戶可以通過手勢完成與混合現實環境的指令交互。

PBR技術是一種基於物理規律模擬的渲染技術，用於手術環境及圖片的渲染。

系統採用百度產業的AI技術，包括語音識別（準確率達90%以上）、文字識別功能。

空間錨技術可以實現場景保持功能和固定現實世界裡的全息對象。人體解剖系統功能需要對人體器官從不同方向進行旋轉、放大、縮小等形式的觀察和學習，甚至需要將各個功能器官打亂重新組合，模擬手術中也需要將手術場景進行記憶，以便進行反覆操作練習，這些功能通過空間錨技術可以完美地呈現。

界面效果

系統主界面

使用HoloLens手勢點擊標識物，可以掃描地形位置生成項目，進入系統主界面。

掃描地形生成項目系統主界面

主界面包括8大系統及器官學習功能，病變解析及手術模擬功能，應用程式編程接口（Application Programming Interface，API）查詢及會診功能。

系統主界面

通過手勢，點擊主界面不同功能模塊按鈕，可進入相應模塊操作界面。

人體8大系統及器官學習界面

用戶在主界面使用手勢點擊選擇「8大系統」按鈕，進入人體8大系統及器官學習界面。

8大系統學習界面

用戶分別通過點擊各個系統按鈕或人體圖片，進入相應系統的組織結構及主要器官的學習界面。

循環系統學習界面

通過這種沉浸式的學習，用戶可以清晰看到不同器官的位置、形狀和所承擔的功能，了解系統的構成以及系統中各個器官如何與其他的系統協同工作。

心臟器官學習界面

在學習模式下，還可以將各個系統單獨拆分出來，通過相應的文字信息進行深入學習，還可進行器官歸位練習。

器官歸位練習界面

通過人體解剖學教學解析系統，學生可以更直觀、更清楚地看到各種人類系統的器官，熟練掌握各個器官的結構和形狀，並幫助學生更好地理解和記憶。

病變及手術模擬界面

用戶使用手勢選擇病變及手術模擬界面的病變展示按鈕，即可看到不同病變形成的部位及原因，為積極預防和及時治療提供參考信息。

病變展示界面

VR模擬手術為醫生手術提供了理想的訓練平臺，受訓醫生在虛擬環境中觀察三維人體結構，通過觸覺、壓力反饋裝置使受訓者在操作時能擁有更為真實的體驗而不受時間、地點限制，也不會因意外而給患者造成傷害，還可以完全情景再現式地反覆練習。

模擬手術臺

用戶根據自己練習的需要，通過手勢選取不同類型的手術。

外傷縫合

脊椎手術

根據系統提示，用戶可一步一步完成相應的手術模擬操作訓練，還能及時地給予受訓者反饋，有效地觀察、記錄手術步驟，從而用於測試或評估。

此外，系統的VR手術觀摩功能，能讓觀看者擁有主刀視角，更細緻地觀看每一步操作。

胃鏡切除息肉

通過藥物識別技術，系統還可識別出藥品的產品說明書，對於藥品的使用說明以及配方和可能出現的症狀都有詳細的說明。

現存問題

VR和AR技術並不能完全代替傳統教學，必須經過實際操作才能真正應用於臨床手術。

目前，中國在虛擬實境解剖教學和手術模擬方面的研究尚處於實驗和探索階段，主要存在以下問題：

1）VR/AR醫療人才培養體系缺失，專業複合人才側供給嚴重不足。

2）關鍵技術及產品研發力量不足，成果轉化率低，價格昂貴，無法大規模普及。

3）醫療教學軟體產品和系統評價體系亟待建立，相關法律法規、產業鏈和生態圈亟待完善。

建議

鑑於VR/AR技術在人體解剖及手術培訓方面的應用仍缺少戰略規劃和頂層設計，建議如下：

1）在政策與資金上提供扶持，組織「產-學-研-用」力量，聚攏更多技術團隊和小微企業，推動關鍵技術及產品研發，形成一批具有國際先進水平的人才團隊。

2）逐步完善虛擬醫療產業鏈，支持建立VR/AR醫療產業合作平臺，為產業鏈的上下遊協作和配合提供服務，形成硬體、軟體和內容協同發展的局面。

3）鼓勵企業聯合各相關社會組織快速出臺團體標準，形成標準先行、保障應用的良好態勢，同時鼓勵醫療VR/AR企業積極參與國際相關標準化制定工作，將中國自主智慧財產權技術融合到國際標準中，並適時轉化為國家標準。

4）推動建立醫療VR技術、產品和系統評價指標體系，開發相應的評價工具，保障VR/AR醫療產品性能和質量。結合「中國智造2025」和「網際網路+」行動計劃的實施，選取醫療領域作為VR應用推廣的突破口，逐步推廣醫療VR/AR應用領域，設立示範醫院。

隨著國家各級政策引導和產業生態圈的不斷完善，VR技術將會在醫療教學及手術培訓中發揮更大的作用，實現與傳統教學的優勢互補，為醫療在其他領域的應用提供更多的經驗和價值。

本文作者：範麗亞，馬介淵，張克發，伍致明，華欠桑多作者簡介：範麗亞，西安交通大學城市學院，副教授，研究方向為VR/AR技術及其產學研合作。

論文全文發表於《科技導報》第22期,本文有刪減，歡迎訂閱查看

內容為【科技導報】公眾號原創，歡迎轉載