編者按：2020年8月7日，全球人工智慧和機器人峰會（CCF-GAIR 2020）正式開幕。從2016年的學產結合，2017年的產業落地，2018年的垂直細分，2019年的人工智慧40周年，峰會一直致力於打造國內人工智慧和機器人領域規模最大、規格最高、跨界最廣的學術、工業和投資平臺。
在8月9日的醫療科技專場上，聯影智能聯席CEO、MICCAI 2019大會主席、IEEE Fellow沈定剛教授發表了開場報告，介紹了醫療AI在新冠肺炎診斷全流程中的應用。
沈定剛教授表示，目前新冠肺炎仍然在全球蔓延，全球有1800多萬人確診，CT成為新冠肺炎診斷、評估和隨訪的重要手段。然而，這個過程中存在最重要的兩個痛點，首先，如何幫助醫生儘量避免感染；其次，有了CT圖像後，如何用人工智慧的方法進行肺炎的量化分析、輔助診斷和隨訪。
為此，聯影智能提出了三個解決方案：無接觸掃描、肺炎量化分析、隨訪評估與診斷。
沈定剛教授表示，為了避免病毒傳播，有的操作技師在新冠肺炎早期甚至通過竹竿這樣的工具遠程操作CT掃描，原始且危險。為此，聯影集團研發了AI智能採集系統，把邊緣計算和攝像機結合，自動採集人體三維形態和部位信息，自動操作CT掃描，滿足醫生在操作間就可完成掃描任務。
在肺炎分割與量化方面，主要是為了實現三個目標，新冠肺炎判別、危重程度檢測以及判斷進展變化，沈教授介紹了聯影智能的uAI分割引擎，可以對肺炎、5個肺葉、18個肺段進行精確的分割。
在隨訪評估與診斷層面，有些新冠肺炎病例與普通肺炎病例有相似的感染程度，因此，聯影智能提出了基於感染信息的注意力網絡 (Attention-guided Network)，用分割出的感染區域引導分類器聚焦於感染區域；在評估新冠肺炎嚴重程度上，提出了一種多任務、多示例學習模型 (Multi-task multi-instance framework)；在危重預測與演變時間估計上，為了解決樣本不平衡以及特徵複雜且高維的挑戰，提出了聯合分類與回歸的稀疏模型 (Joint sparse classification and regression)：讓兩個任務共享相同特徵，用於改進各自的性能、解決數據不平衡問題以及針對所選特徵，作出臨床解釋。
以下為沈定剛的現場演講內容，雷鋒網作了不改變原意的編輯及整理
沈定剛：大家下午好！今天我演講的題目是《科技抗「疫」：智能影像，助力新冠肺炎診斷全流程》。
大家都知道，新冠肺炎仍然在全球蔓延。目前，全球有1800多萬人確診，CT成為新冠肺炎診斷、評估和隨訪的重要手段，但是當初跟現在一樣存在兩個大的痛點：首先，戰疫前線，醫患接觸密切，醫生、技師受感染的很多；其次，每個病人都會進行CT掃描，對醫生來說如何快速讀片，這裡面有很多診斷的壓力和工作的負擔。
如何用智能化的診斷、特別是全棧解決方案來解決這個問題？
第一，是無接觸的掃描，可以幫助醫生儘量避免感染新冠肺炎。其次，有了CT以後，利用人工智慧的方法進行肺炎的量化分析、診斷和隨訪。
無接觸掃描
傳統的掃描當中，技師需要跟病人在一起，及時調整病人的位置，同時操作機器進行相應的掃描。這樣的方式在新冠肺炎期間會不可避免地會被感染。
因此，有一些非常聰明的技師，會躲在一個小房間裡面，通過竹竿操作機器上的按紐，這樣可以保持自己和病人之間的距離。
人工智慧在這方面有很多的應用，從右邊的圖可以看到，有AI智能採集系統，把邊緣計算跟攝像機放在頂端，病人進入房間以後，人體三維形狀和每個部位的信息都可以採集下來。左邊，醫生和技師在另外的房間裡面，可以觀察病人一系列的情況，再確認掃描。
通過攝像機獲得的信息控制機器，移動病人的掃描床移到CT裡進行快速掃描，醫生通過看到的掃描圖像進行快速確認，「無接觸掃描」在新冠肺炎期間得到了很廣泛的應用。
其中用到的技術是智能定位技術，即如何把計算機視覺的方法用到掃描前的自動化。通過上方的攝像機可以看到病人的圖像，用AI（通過幾百萬人三維模型訓練）通過二維的攝像機重建三維的姿態。最後，三維網格像衣服一樣覆蓋在人的身上，每個網格對應著身體的具體部位，如果這個人比較胖，這個「網狀的衣服」會拉大。
也就是說，AI攝像機可以知道身體裡每個部位的大小，掃胸部CT的時候就可以識別胸部在哪裡，把這些信息告訴給機器，然後指揮機器把人送到掃描設備裡面。
在新冠肺炎期間，即使是患者戴口罩也能識別，包括各種姿態。我們做測試的時候，用手機把臉遮住，也可以把人體三維的形狀建模出來。
除了用於CT以外，uAI Vision的技術（掃描前自動化的技術）也已經用到了MI、PET-CT、DR上面。
以DR為例，掃描前可以把人體上的任何信息傳遞給機器，遠程控制DR，如果是掃胸片的話就可以把機器往下移，然後進行掃描。
這就是我們如何將計算機視覺應用在掃描自動化上的案例。無接觸掃描技術可以放在傳統的CT裡，也可以放在聯影的方艙CT裡。
大家可以看到方艙CT有兩個門，一個門是病人進出，另一個門是技師進出。CT設備上方是攝像機，病人進入以後，所有的三維形體可以用來控制機器，技師在另外一個房間確認掃描，這樣可以最大限度地保護技師不受感染。
如何用AI進行肺炎分割與量化？
除了用AI進行無接觸的掃描。還有一個問題是，病人躺在CT床上時，能否非常快速地用人工智慧的方法確定病人有沒有肺炎？如果有肺炎的話，是新冠肺炎還是普通肺炎？
接下來講一下如何用AI技術進行肺炎定量化分析。
我們用的是聯影智能的uAI分割引擎，輸入是三維的CT圖像。在輸出的結果裡，除了肺炎的區域，還非常精準地把5個肺葉、18個肺段分割出來，分割之後就可以知道肺的哪個地方出了問題。
在一月底、二月初，我們研發這個軟體時有個很大的問題：我們有很多CT圖像，然而很少有標註好的圖像。但是，我們需要在幾天內全部完成算法、軟體等開發工作。
在計算機視覺或者深度學習領域裡面，前一兩年講的比較多的方法是「人在迴路」的方法。「人在迴路」就是我們要把分割引擎在有標註的數據上進行訓練，把訓練好的模型用到沒有標註過的數據裡，去幫助標註數據。
但有一個問題是，大家認為分割得比較好的話，可以人工修正一下再放到訓練樣本裡面去，從而幫助迭代優化；但其實我們是這樣認為的：越是分割差的，越需要人工修正，因為分割差的訓練樣本跟我們現有的訓練樣本是非常不一樣的。通過快速迭代的方法，把大量的數據人工修正、標註以後，用於訓練AI引擎，從而進行新冠肺炎的分割。
這個軟體不僅可以把肺炎分割好，還可以把左肺、右肺都分割出來，比如左肺有兩個肺葉、右肺有三個肺葉，把這五個肺葉都分割出來，並且分割出十八個肺段，這樣就可以知道肺炎在哪個肺葉、哪個肺段上，每一個部分都可以做定量化的分析。
定量化分析在CT裡面非常重要，因為可以知道肺炎的成分。在這裡，我們就可以看到哪個位置是磨玻璃樣，磨玻璃是新冠肺炎裡非常重要的徵象。
在新冠肺炎病例上，定量化分析技術很重要的一個應用還有隨訪。
新冠肺炎病人每3-5天需要掃一次圖像，醫生需要看當天跟前幾天的情況有沒有區別。比如我們可以看到三、五天前肺炎的分布在那裡，今天掃CT圖像之後，我們可以把肺炎分割好，把每個部位的成份顯示出來，看到整個肺炎HU的分布從右邊移到了左邊。也就是說，隨著治療，病人的狀況在變好，因為健康的肺裡面HU值通常非常低。
新冠肺炎期間，這個技術在國內外100多家醫院得到了使用，包括武漢的20多家醫院包括火神山醫院，全國TOP10的醫院如上海瑞金醫院、華西醫院、北大人民醫院，也都使用我們的新冠肺炎智能輔助分析系統。
我們還把這個系統放在雲端，偏遠地方的醫院也可以使用。同時這個系統在馬來西亞、非洲、歐洲也都得到使用。
鑑別診斷, 病情評估與預測
剛才講到如何用計算機視覺做掃描前的自動化來保護醫生，第二個講到如何用人工智慧的方法幫助肺炎、肺葉、肺段分割。
肺炎分割的第三個目的是希望鑑別診斷、病情的評估與預測，這裡面有三個問題需要回答。
第一個問題是，病人躺在CT床上的時候，醫生採集到CT，醫生要回答的是這個病人有沒有肺炎？如果有肺炎的話，是新冠肺炎還是普通肺炎？
第二個問題，如果這個病人有新冠肺炎，到底是輕症還是重症？
第三個問題，如果是輕症的話，後期會不會成為重症？
我們來一一闡釋面對這三個問題所做的工作。第一個工作是如何基於深度學習的方法進行新冠肺炎的鑑別診斷。
這個圖裡面可以看到，藍色區域是AI自動分割的肺炎感染的區域，中間是普通肺炎，這技術用到所有訓練樣本裡面，紅色表示新冠肺炎的大小和體積，藍色是普通肺炎的大小和體積，可以看到新冠肺炎感染的區域大於普通肺炎，但是在感染面積的大小上，新冠肺炎與普通肺炎區別不大。所以要從普遍肺炎裡面區分新冠肺炎，這是比較難的一個問題。
在我們發表的文章裡面，我們使用了基於感染信息的注意力網絡，也就是說如何用分割出來的肺炎指導鑑別診斷新冠肺炎還是普通肺炎。我們可以看下面的網絡，把CT裡面的肺分割出來，輸入到3D ResNet34網絡裡面，從得到的特徵來進行一系列的診斷，包括全連接層，來判斷這個病人是新冠肺炎還是普通肺炎。
剛開始做的時候，這樣的網絡有非常好的結果，但是回頭看，信息來自哪裡？可能是來自肺以外，跟肺沒有什麼關係。因此，把這個信息用於新的醫院裡面還可以用嗎？
後續我們改進了網絡，使用了另一個Attention Refinement機制，從特徵map裡面構造出Attention map，使得Attention map跟分割出來的肺炎區域非常相似，這樣一來就能保證用於新冠肺炎鑑別的特徵來自肺裡面感染的區域。
我們將與全國八家醫院、將近5000個三維CT、來自3600多個病人數據用於訓練與測試，最後我們得到的精度有88%，可以把新冠肺炎從普通肺炎裡面分辨出來。這也說明，如果用感染區域作為指導的話，可以提高至少2%的精度。
病人還躺在CT床上的時候，就可以馬上判斷有沒有肺炎、是新冠肺炎還是普通肺炎，如果確認這個病人有新冠肺炎的話，醫生馬上會問是輕還是重症？這個時候我們會用多任務、多示例的學習方法來進行嚴重程度的評估。
這裡有一個實際問題，我們這個系統用於全國這麼多醫院，而每個醫院用的掃描設備來自不同的公司，同一個掃描設備裡面的掃描序列也不一樣，特別是掃CT的時候，有些掃得薄，有些掃得厚。
這個時候，我們會採樣一系列樣本，每個樣本從網絡裡面提取相應的特徵，把這些共同的特徵提取出來，再把全局的特徵進行提取，最後用於嚴重程度的評估。
回到我們剛才說的，我們做新冠肺炎與普通肺炎鑑別的時候，希望我們用的特徵來自於肺炎。同理，我們希望對嚴重程度進行評估的話，也是來自肺裡面的信息。於是我們加了另外一些要求，希望這些特徵還可以把肺裡面的肺葉、肺段非常精確地分割出來。
這個技術用於7家醫院666個CT、242個病人，其中有51個是危重病人，CT層厚從0.399毫米到10毫米，也可以得到很好的結果。
第三個問題，如果發現這個病人是輕症病人，醫生會關心這個病人會不會成為危重病人？新冠肺炎早期的很大問題就是我們對新冠肺炎感染的過程了解非常不深入。
這是同一個病人掃的圖像，從剛進醫院開始，到第三天、第六天一直到十幾天，可以看到新冠肺炎感染的區域越來越多，到了14天開始肺炎吸收了，如果對照第一天，可以看到肺炎發展得非常快，這裡面的過程也是非常複雜的。
給大家看一個非常有趣的結果，我們把300多個病人、1700多個三維CT，把肺和肺葉都分割出來，然後用配準的技術把他們配到一個標準的肺的空間。可以看到肺炎發病初期，肺炎在肺裡面是如何分布的，如何發展、吸收、再增大、再吸收，這是一個很複雜的過程。新冠肺炎早期我們對它的了解很少，以為吸收了病人就快好了，但是病人可能突然去世，因為這個複雜過程大家開始都不了解。
所以，輕症的病人會不會發展成危重病人，這個問題如果提前知道的話，就可以更好地管理新冠肺炎病人。另外，如果是輕症的話，如果發展成重症，那麼多少天以後會變成重症呢？
從技術角度講這是一個分類問題，也是一個很難的問題，因為輕症和重症病人的樣本非常不平衡。我們用剛才講的分割技術把左肺分成兩個肺葉，右肺分成三個肺葉，左右肺一起分成18個肺段，總共26個區域，每個區域裡面把HU值分成5個HU區間，每個區間計算出HU的密度、體積和質量，得到總共390個特徵。
然後，用聯合分類和回歸的稀疏模型，以解決數據不平衡的問題。當然，更重要的是可以給臨床上進行很好的解釋。用這樣的技術，可以估計病人多少天以後可能成為危重病人，我們的精度差異是0.55天，這是非常高的精度。
AI的未來機遇
這樣一系列的新冠肺炎全棧解決方案，在上個月的世界人工智慧大會上獲得了SAIL大獎，同時還獲得了信通院測評優異獎和工信部防疫證書。
在新冠肺炎中應用之外，人工智慧還可以用於腦出血、老年痴呆症早期診斷、用圖像計算的方法幫助醫生進行精神類疾病的量化分析。除了聯影智能，國內還有一系列公司在做人工智慧的應用，這也是非常好的方向。我們需要跟醫院、跟醫生進行非常緊密的合作，才可以把AI技術用於臨床。
除了篩查、診斷環節，AI在成像方面的應用也非常重要。一、兩個月前我們做了ACS，也就是「智能光梭成像」，把核磁共振進入百秒時代，從頭到腳的每個部位掃描都在百秒以內。
我們知道，現在美國掃描一個病人需要30到40分鐘，我們國內精簡到15分鐘。如果在百秒以內掃描完一個病人，就可以在幾分鐘之內告訴醫生病人的狀態是什麼。
用AI技術還可以在成像端加速，最後的目標是用AI技術把硬體成本降下來。聯影智能把三分之一的精力花在如何為機器賦能上，目標就是讓成像設備掃的更快、更準、劑量更低。
這是我今天演講的全部內容，謝謝大家！