前言
隨著人口的增長與科技的迅速發展，人們對手術治療的高要求、強需求極大地推動了增強現實和虛擬實境技術在醫療領域的應用。增強現實(Augmented Reality，AR)和虛擬實境(Virtual Reality，VR)技術在醫療領域中獲得了顯著的吸引力，正在大量地應用於多個醫療場景。
虛擬實境和增強現實是利用計算機技術與現實環境交互的一項科技，成為能夠提供醫學環境的兩種主要手段。醫生可以看到真實手術部位和可視化虛擬三維解剖全息圖並在全息圖上對感興趣的部位進行標記，為醫生創建了一種虛實結合的半沉浸式手術環境。根據國際數據公司（IDC）全球半年增強和虛擬實境消費指南，AR/VR支出的五年複合年增長率（CAGR）將為78.3％。預計2023年全球增強現實和虛擬實境支出將達到1600億美元，遠高於2019年預測的168億美元。在醫療領域，根據Research&Markets.com調查顯示，AR/VR醫療正在經歷大幅度的提升，其預期複合年增長率為33.36%，市場價值預計將從2018年的6.217億美元增至2024年的34.97億美元。
一、什麼是AR&VR？
Lavallee等人早在1995年就提出了基於增強現實的混合構建模型（hybrid model construction）構建一個虛擬模型對於醫生實施手術是十分必要到，因此它提出了將CT/MRI/X光等醫學影像數據、AR/VR頭顯設備、患者、手術機器人等構建T1、T2…Tn坐標系，將T1…Tn多個坐標系串聯起來，用於為手術系統收集不同類別的信息。
對於AR/VR的具體區別，知乎大神說得很好——VR是夢到鬼了，AR是大白天遇到鬼了。虛擬實境技術為用戶創造一個特定場景的虛擬空間，使用戶完全沉浸在一個虛擬的合成環境中，無法看到真實環境，具有交互性（Interaction）、沉浸性（Immersion）和想像性(Imagination)三大特點，也被稱為3I特點。增強現實技術能夠把全息圖、圖片、視頻、聲音等融合在現實環境中虛實結合，真實的環境場景與虛擬的全息信息進行交互，兩種信息交互補充和疊加。PokemonGo是增強現實技術的具體體現，玩家通過在現實世界中走動以抓取虛擬寵物角色。
下面就讓我們就來看看AR/VR在醫療領域的具體應用吧！
二、AR醫療主要應用場景
1、術前模擬/規劃/培訓
ImmersiveTouch
ImmersiveTouch位於芝加哥的伊利諾州，成立於2005年，主要使用Vive和Oculus Rift頭戴式顯示器（HMD）以及觸覺反饋設備設計多種AR/VR交互式醫療使用場景，已成功為到神經外科、矯形外科、眼科、耳鼻喉科等多科室的術前模擬、術中使用提供了幫助。目前公司業務主要分為三個模塊：ImmersiveView? VR、ImmersiveView Surgical Planning (IVSP?)。
ImmersiveSim? Training主要提供手術培訓、手術模擬的功能，主要面向醫學院學生及各個醫療器械公司。該平臺能夠為使用者提供身臨其境的獨特模擬/培訓機會，開發了多種學習模塊可以替代昂貴的屍體訓練，可以通過觸覺反饋設備清晰地感受到患者皮膚、肌肉、骨骼之間的觸覺差異。每個模塊能為使用者提供即時的教學反饋，並可配備糾正性培訓和複雜的評分系統，以改善和量化手術操作規範性。該平臺與克利夫蘭診所、芝加哥大學醫學院、約翰霍普金斯大學醫學院等醫療機構合作，大量實驗數據顯示該平臺能夠提高手術的準確性、縮短手術時間，減少手術併發症，增加外科醫生的信心。
ImmersiveSim 示意圖
Medivis
兩位來自紐約大學醫學中心(NYU Medical Center)的醫生Osamah Choudhry、Christopher Morley在2017年聯合創立了Medivis，Medivis是眾多尋求將AR和VR等新技術引入OR的公司之一。今年3月Medivis推出了基於HoloLens和Magic Leap的解剖學培訓平臺AnatomyX，AnatomyX平臺可提供5000個以上的解剖結構3D模型，這些模型數據來自於真實病人的CT和MRI。學生們可通過手勢和100多種語音指令與這些模型交互，在Magic Leap One中它還支持6DoF手柄交互。此外，該平臺最多可支持20人實時協作。西海岸大學、賓夕法尼亞大學已經在使用這種平臺。除了與微軟存在硬體合作夥伴關係外，Medivis還與通訊大頭Verizon合作，成為其大肆宣傳的5G網絡合作夥伴。5G的到來使得SurgicalAR能在30秒內從伺服器中提取醫學圖像進行全息顯示。Medivis還正在整合機器學習的功能，以便在病人開始計劃手術過程時，從他們的醫療記錄和診斷中識別出最相關的信息。
AnatomyX示意圖
Touch Surgery
Touch Surgery成立於2013年，由兩位倫敦的外科醫生創立。用戶頭戴微軟的HoloLens頭顯，用戶會看到一個專業外科醫生的實時視頻反饋，在這之上還會覆蓋虛擬指導，告訴手術是如何進行的。目前已開發出數百個外科手術的視頻教程，較為著名的是Go Surgery，用戶能直接使用iPhone/ipad，它將為醫學生提供全息逐步指南，手把手地手術教學，每一項手術操作包含詳細的介紹，包括解剖位置、麻醉方式、適應症及禁忌症、術後併發症等，現已成功在英國和美國的醫院完成了測試。
Panteleimon Pantelidis等人發表了《Virtual and Augmented Reality in Medical Education》論文，其中列舉了不少在AR&VR醫療領域的產品，在解剖、內窺鏡手術、神經手術、骨盆手術等領域的應用產品，如下圖所示。
2、術中診斷/導航/手術
Medivis
Medivis在成立初期就收到了Initialized Capital、DELL、微軟等公司的大力支持，獲得了230萬美元的投資，並推出了第一代產品SurgicalAR，隨後SurgicalAR一路風生水起，在今年6月獲得了FDA認證。目前外科手術仍然主要依靠二維成像技術來理解和操作極其複雜的病人病理。Medivis將全息可視化和導航技術引入外科手術，為外科醫生提供增強現實數據集成和可視化工具，從根本上推進了手術幹預，徹底改變了外科醫生對病人的安全操作方式。Medivis能夠訪問患者數據，並將其可視化地表示為三維模型，供醫生在計劃手術時參考。這種模型被映射到病人身上，從而為外科醫生提供一種最佳的手術方案。Medivis執行長、神經外科醫生喬杜裡Choudhry表示「全息可視化是手術成像和導航的最終前沿。」
Surgical AR示意圖
EchoPixel
EchoPixel在2017年的第103屆北美放射學會(RSNA)會議上展示了最新版本的交互式的混合現實醫療軟體True 3D，目前True 3D已獲FDA認證。該軟體利用DICOM圖像數據創建器官、血管和其他結構的真實尺寸的全息版本，允許醫生旋轉、調整大小、解剖和作出切口，以虛擬病人特定的解剖。這一功能使醫生能夠更快地讀取圖像，從而更快地進行診斷，並提供更好的術前規劃，還擴展了計算機斷層掃描(CT)和磁共振成像(MRI)之外的支持模式，多種醫學影像數據能夠有助於更好地評估植入式裝置的大小、子宮肌瘤和子宮血管的分布以及胎心的評估。該公司在2017年獲得了由英特爾領投的850萬美元A輪融資。
ImmersiveTouch
ImmersiveView? VR將患者的CT、CBCT、3D血管造影和MRI掃描等術中實時醫學影像呈現在醫生佩戴的頭顯上，使醫生看見另一個數位化患者(digital twin)。該平臺可用於放射室、手術室、醫生辦公室，使醫生查看患者術中的關鍵掃描信息，也能使患者更清楚診療情況，目前這款平臺已通過FDA及CE認證。
IVSP?沉浸式手術規劃平臺將DICOM數據轉換為高保真的三維VR模型進行可視化，在此基礎上提供了相應的可視化手術工具，幫助醫生團隊研究、評估、規劃手術並在手術中使用，並且能夠與醫學數字成像數據(DICOM)以及患者檔案和通信系統(PACS)兼容，可使用Oculus Rift手柄可以實現切割、測量、標記等手術操作。該平臺能使醫生進入到耳鼻喉腔道、神經束等細微視角，也有上帝視角觀察全局解剖結構，由深及近地進行手術規劃。目前 IVSP?已通過FDA認證，HIPAA認證及CE認證。
IVSP™示意圖
Surgical Theater
Surgical Theater是由前以色列空軍人員建立的，結合了以色列軍方的尖端戰鬥機飛行模擬技術。Surgical Theater的主要產品為Precision VR，通過VR 技術進行外科手術的影像指導，改善外科醫生手術方式，幫助手術順利進行。Surgical Theater與光學導航系統NordicNeuroLab公司合作，將其公司的nordicBrainEX DTI(彌散張量成像)處理應用整合在Precision VR平臺中，這樣會使醫生對相關的解剖、功能組織和細部組織進行深入的細節擴展和提高沉浸感。Surgical Theater曾在2016年獲得HTC提供的1100萬美元A+輪投資。
3、術後康復
Vivid Vision
Vivid Vision公司成立於2014年，公司成立動機是想應用VR技術治療弱視和斜視類眼疾。目前成功推出康復治療類遊戲《Vivid Vision》，藉助VR讓患者通過特定設計的視覺效果去影響大腦感知能力，在遊戲過程中通過正確的康復動作訓練用戶眼部內未被使用過或正在休眠的肌肉組織，從而達到治療效果。除此之外，藉助 VR 技術恢復視力，避免了痛苦、乏味的物理治療方式。目前產品僅在北美的41家眼科診所提供服務，且必須由醫生處方才能獲取，預計今年晚些時候推向國際市場，目前在申請FDA認證。
VRHealth
VRHealth成立於2016年，是世界上首批通過ISO認證且其所有醫療應用均獲得FDA授權的VR醫療保健公司之一。其旗艦產品VRPhysio應用軟體已經獲得了FDA認證，並且首先用在了斯波爾丁康復醫院和波士頓的Beth Israel Deaconess醫療中心，其在歐洲的CE認證也即將完成。VRHealth計劃在一年內發布四款新的產品，VRPsyc用於精神障礙，包括常見的緊張、恐懼症、焦慮症、進食障礙和創傷後應激障礙(PTSD) ；VRCoordi會與VRPhysio配套使用，主要針對有發展協調障礙和各種不同水平的自閉症的孩子們，改善他們的協調能力；VRCogni主要用於改善中風患者、老年痴呆症患者、腦震蕩患者、帕金森病患者的認知功能；VRReliever目的是使用戶通過完成特定的動作分散注意力來管理慢性疼痛。以治療創傷性腦損傷為例，患者參與虛擬遊戲，任務是將拳擊手套與在他們面前彈出的一組燈相匹配。他們的響應時間、錯誤和進度是實時測量和分析的。可用於評估運動員在腦震蕩後的情況。
SeeMe VR
SeeMe VR主要用於中風或外傷性腦損傷患者，早在2009年就已經上市，使其成為首個用於此類患者的商用VR系統。SeeMe藉助Kinect雙目攝像頭或標準的網絡攝像頭，將特定的醫療場景圖像傳輸到患者的電腦，使患者沉浸到一個定製的治療場景中。在這個場景中，患者需要完成由醫生制定的練習項目。醫生可以使用該系統來評估患者的力量、耐力、運動範圍、姿勢控制、反應時間、本體感受、運動質量、知覺、分配性注意和記憶力等。
三、結語
前段時間HoloLens2終於揭開了神秘的面紗，27388元非消費級水平的價格仍然讓不少人對這項黑科技直呼「真香」，這距離HoloLens1發布的時間已過去了四年。HoloLens2的到來是否預計了AR/VR會迎來一個嶄新的發展浪潮？
反觀幾年前經常被拿來與HoloLens作比較的Magic Leap，當時豪氣地說出「The World is Your New Desktop」（世界就是你的新桌面）的Magic Leap如今被傳出銷量慘澹、虧損嚴重、抵押專利、高管離職。Magic Leap目前正在開發代號為ML2的第二代AR頭顯，會兼容5G、擁有更強的深度感知。一位參與該項目的員工表示，由於基本的技術限制，這款設備還需要數年時間才能推出。
黑科技層出不窮，有人歡喜有人憂，但一定可以肯定的是：AR/VR在醫療領域的應用一定會為更加普及、更加完善。AR/VR/5G/遠程醫療以及多種人工智慧技術的發展，在一定程度上會影響甚至改變傳統的醫療診療方式，有望在未來數年推動AR/VR醫療的發展。
- END -
作者 謝安然 | 編輯 劉稷軒 | 排版 Elsa