原創 趙喜同學 XI區
作為醫學的核心原則之一，判斷（Judgement）依賴於多層數據與微妙決策的整合。癌症為醫療決策提供了獨特的背景（context），不僅要考慮疾病演變的多樣化形式，還需要考慮患者的個體狀況，接受治療的能力以及對治療的反應。儘管技術有所改進，但癌症的準確檢測，表徵和監測仍面臨挑戰。疾病的影像學評估通常依賴於視覺評估，其解釋可以通過高級計算分析來增強。人工智慧（AI）有望在臨床醫生對癌症成像的定性解釋方面取得重大進展，包括隨時間推移腫瘤的體積描繪，從其影像學表型推斷腫瘤基因型和生物學過程，預測臨床結果，並評估疾病和治療對鄰近器官的影響。AI可以將圖像的初始解釋過程自動化，並將影像學檢查的臨床工作流程，是否進行幹預的管理決策以及隨後的觀察轉變為尚未設想的典範。來自哈佛醫學院的學者回顧了AI應用於腫瘤成像的現狀，並描述了4種腫瘤類型（肺癌，中樞神經系統腫瘤，乳腺癌和前列腺癌）的進展，以說明如何解決常見的臨床問題。儘管迄今為止評估AI在腫瘤學中的應用的大多數研究尚未得到有力的可重複性和普遍性驗證，但結果確實突出了推動AI技術臨床應用和影響癌症治療未來方向的日益協同的努力。今天我們一塊學習一下這篇刊登在神刊CA（IF：224）的文章。
癌症作為一種自我維持和適應性過程，與其微環境動態相互作用，儘管在理解其生物學基礎方面取得了重大進展，但仍繼續阻礙著患者，研究人員和臨床醫生。鑑於這種複雜性，在癌症治療的每個階段都會出現困境，包括可靠的早期發現；腫瘤前和腫瘤病變的準確區分；手術治療期間浸潤性腫瘤邊緣的確定；跟蹤腫瘤的演變以及隨著時間的推移對治療的潛在獲得性耐藥性；以及腫瘤侵襲性，轉移模式和復發。醫學成像和微創生物標誌物的技術進步有望解決癌症檢測，治療和監測領域的這些挑戰。然而，對這些技術進步產生的大量數據的解釋提出了新的潛在挑戰。
隨著我們對疾病本身的了解越來越多，我們正在更多地了解我們已經可用工具的功能，這些工具可以以前所未有的方式使用。當最初檢測到腫瘤病變時，需要將其與非腫瘤的相似病變區分開來，並根據其預測的臨床過程和生物侵襲性進行分類，以優化治療的類型和強度。CT和MRI的廣泛應用促進了對體內病變的偶然檢測，其臨床意義尚不清楚，然後啟動了一系列觀察，進一步測試或經驗幹預。通過包括通過手術進行細胞減滅，通過放療引發腫瘤損傷的直接和間接機制以及藥物療法在內的治療，癌症可以適應施加，發展和復發的壓力。隨著治療後體積增大的病變的影像學外觀，必須區分腫瘤或組織對損傷的反應。復發時，已顯示腫瘤性病變具有不同於原發性腫瘤的新分子畸變，這可能賦予對醫學或放射療法的抵抗。初始診斷時腫瘤固有的腫瘤內異質性使其更加複雜，研究越來越多地證明了這一點，但在常規臨床病理學取樣和分析中很難捕獲。作為追蹤治療反應和提示腫瘤本身的關鍵信息的最常用方法，無創成像的需求從未如此之大。
傳統的腫瘤影像學評估主要依賴於定性特徵，例如腫瘤密度，增強模式，腫瘤內細胞和無細胞成分（包括血液，壞死和礦化的存在），腫瘤邊緣的規律性，與周圍組織的解剖關係，以及對這些結構產生的影響。可以在1,2,3維分析中量化基於尺寸和基於形狀的腫瘤測量。這些定性的表型描述統稱為「語義（semantic）」特徵。相比之下，一個稱為放射組學（radiomics）的快速發展的領域正在使影像學圖像數字解碼成定量特徵，包括形狀，大小，人工智慧（AI）方法學的最新進展在自動量化醫學成像數據中的影像特徵方面取得了重大進展。深度學習是AI的一個子集，是一種特別有前途的方法，可以自動從樣本圖像中學習特徵表示，並且已被證明在任務特定的應用程式中匹配甚至超越人類的表現。儘管需要大量數據集進行訓練，但深度學習已經證明了對準確分類（ground truth）標籤中具有相對較強的抗噪聲能力。AI的自動化功能提供了增強臨床醫生定性專業知識的潛力，包括隨時間推移精確的腫瘤大小體積描繪，多個病變的平行跟蹤，腫瘤內表型細微差別轉化為基因型含義，通過將個體腫瘤交叉引用到潛在無限可比病例的資料庫中進行結果預測。此外，深度學習方法有望在疾病和成像模式之間實現更大的普遍性，對噪聲的魯棒性以及減少錯誤，最終導致早期幹預並顯著改善診斷和臨床護理。儘管這些研究仍主要處於臨床前研究領域，但這種自動影像學「放射組學（radiomic）」生物標誌物的持續發展可能會突出顯示腫瘤在臨床可操作性變化，並隨著時間的推移推動腫瘤鑑別的範式轉變。
在這一激動人心的技術轉型開始時，我們回顧了應用於4種常見癌症類型（肺癌，腦癌，乳腺癌和前列腺癌）的醫學成像的AI方法的當前證據和未來方向。我們描述了癌症檢測和治療中的臨床問題和局限性，目前的方法如何試圖解決這些問題，以及AI如何影響未來的方向。
AI在腫瘤成像中的應用
提高臨床護理療效和效率的願望繼續推動包括AI在內的多項創新。隨著對醫療保健服務需求的不斷增加以及並行數據流每天生成的大量數據，臨床工作流程的優化和簡化變得越來越重要。AI擅長識別圖像中的複雜圖案，因此提供了將圖像解釋從純粹的定性和主觀任務轉換為可量化且毫不費力地重現的任務的機會。此外，AI可以量化來自人類無法檢測到的圖像的信息，從而補充臨床決策。AI還可以將多個數據流聚合到強大的集成診斷系統中，涵蓋醫學影像，基因組學，病理學，電子健康記錄和社交網絡。
在腫瘤成像中，AI在執行3項主要臨床任務方面具有很大的實用性：腫瘤的檢測，表徵和監測（圖1）。檢測是指在醫學影像圖像中感興趣的對象的定位，統稱為計算機輔助檢測（CADe）。基於AI的檢測工具可用於減少觀測疏忽，並作為初始評估時防止遺漏錯誤的工具。在模式識別環境中制定公式，突出顯示具有可疑成像特徵的區域並將其呈現給讀者。CADe已被用作輔助助手，用於在低劑量CT篩查中識別遺漏的腫瘤，檢測MRI中的腦轉移瘤以改善影像學解釋時間，同時保持高檢測靈敏度，在篩查乳腺X線照相術中定位微鈣化簇作為早期乳腺癌的指標，並且更普遍地已經改善放射科醫師檢測異常的敏感性。
圖1 人工智慧在醫學成像中的應用。AI工具可以概念化應用於腫瘤學中3大類基於圖像的臨床任務：1）異常檢測；2）通過定義可疑病變的形狀或體積、組織病理學診斷、疾病階段或分子特徵來描述病變特徵；3）確定預後或對疾病的反應監測期間隨時間變化的治療。
特徵描述廣泛地反映了腫瘤的分割、診斷和分期。它還可以擴展到包括基於特定疾病的預測以及基於特定治療模式的結果預測。分割定義了異常的程度。這可以從平面內腫瘤最大直徑的基本二維測量，到更複雜的體積分割，其中評估整個腫瘤和可能的周圍組織。這些信息可用於隨後的診斷任務以及輻射規劃期間的劑量管理計算。在目前的臨床實踐中，腫瘤通常是手工定義的，與之相關的局限性包括研究者之間的偏差，甚至專家之間也有不一致的再現性，以及時間成本和勞動的消耗。雖然手動跟蹤分割經常被用作判斷自動分割算法準確性的基礎，但它有可能忽略亞臨床疾病，並將分析區域限制為人類偏見。人工智慧有可能通過自動分割顯著提高腫瘤測量的效率、重複性和質量。最後，隨著計算速度的快速擴展和人工智慧算法效率的提高，未來的腫瘤病灶分析可能不需要單獨的分割步驟，全身成像數據可以直接由人工智慧算法進行評估。全身法還可以分析可能是病理性但對人類視覺不明顯的器官結構。
根據影像學數據，隨後診斷為良性或惡性可疑病變最終導致放射科醫生的視覺解釋。臨床上，人類的經驗和專業知識是用來解決這類問題的主觀，定性特徵。相比之下，計算機輔助診斷（CADx）系統使用定量腫瘤特徵的系統化處理，允許更多可重複的描述。CADx系統已被用於在薄層CT中診斷肺結節以及在多參數MRI中診斷前列腺病變，其中在人類讀者之間觀察到解釋上的不一致。特徵還包括分期，根據腫瘤外觀和擴散的差異，將腫瘤分為預先確定的組，這對預期的臨床進程和治療策略是有用的。最廣泛使用的癌症分期系統是TNM分類，其他方案適用於特定器官，如中樞神經系統（CNS）。最近的研究通過評估乳腺MRI中的腫瘤範圍和多灶性，擴展了進行分期的系統，而其他研究則開發了對比增強磁共振乳腺成像（MRM）中的自動病灶體積測量工具。
另一個層次的特徵是詢問腫瘤的生物學特徵。「影像基因組學（imaging genomics）」的新興領域將放射成像特徵與生物數據相關聯，包括體細胞突變、基因表達、染色體拷貝數或其他分子特徵。從數據的角度來看，基因組學分析的成熟為基於人工智慧的影像工作提供了協同的機會。
最後，在自然病程或對治療的反應中，AI在監測腫瘤隨時間的變化中起著越來越重要的作用。傳統的腫瘤時間監測通常局限於預定義的指標，包括通過實體瘤療效評估標準（RECIST）和世界衛生組織（WHO）的腫瘤負荷評估和治療療效評估標準測量的腫瘤最長直徑。除了被批評為過於簡化通過複雜的成像儀器捕獲的複雜腫瘤的幾何形狀外，還對此類標準的普遍性和有效性提出了質疑，例如在骨性病變的情況下，並未導致化療（已證明可改善生存率）由RECIST測量的影像學反應。然而，基於人工智慧的監控能夠在一段時間內捕捉到大量不同於人類讀者測量的圖像特徵。儘管計算機輔助監測的看似不同的組成部分是研究的活躍領域（計算機輔助時間圖像的配準、分割和診斷），但該領域仍處於起步階段，應用尚未浮出水面。
除了成像，其他微創生物標誌物也正在開發用於腫瘤診斷和疾病的縱向追蹤。最值得注意的是，液體活檢或對腫瘤細胞釋放的循環腫瘤DNA（ctDNA）的分析，提供了一個了解腫瘤當前和動態狀態的窗口，並允許跟蹤疾病進展或消退，以及近實時監測靶向或耐藥相關癌症突變的出現。因此，液體活檢與放射組學分析相結合，可以通過對腫瘤生物學的無創性描述來顯著改善腫瘤治療，從而更準確地評估預後和實時疾病監測，從而達到精確醫學的目的。
在醫療機構內，上述人工智慧幹預措施預計將增強其各自當前的標準護理對應措施（圖2）。除了為臨床醫生提供輔助信息外，多項工作還證明了人工智慧在工作流程的臨床決策階段的實用性。通過基於人工智慧的綜合診斷，將分子和病理信息與基於圖像的發現相結合，將為發現增加豐富的智能層次，最終導致更明智的決策。
圖2 AI幹預可能增強臨床工作流程。腫瘤患者的傳統模式需要對腫塊病變進行初步影像學診斷，根據臨床因素和患者偏好決定治療或觀察，只有在獲得組織後才進行明確的組織病理學診斷，在有此類資源的中心進行分子分型，並僅確定臨床結果且在一段時間之後。相反，基於人工智慧的幹預提供了在腫瘤治療的不同階段增強臨床工作流程和決策的可能性。測量結果的持續反饋和優化可以進一步改善人工智慧系統。
肺癌影像
肺癌是全球癌症相關死亡的主要原因。儘管在過去的幾十年中，大多數癌症類型的生存率都有所提高，但肺癌仍落後，這主要是因為肺癌往往進展得很快，到被發現時，治療選擇有限。研究發現，大多數被診斷為肺癌的患者會由於診斷不及時而死亡。醫學影像學和人工智慧有望在提高肺癌良惡性結節的早期診斷和定性方面發揮重要作用。因為早期階段通常是可以治癒的，這可以極大地改善患者的預後，減少過度治療，甚至挽救生命。此外，AI還可以提高肺癌的分期和治療選擇的特徵，以及監測治療反應（表11）。
表1 人工智慧在肺癌影像學中的作用，應用於肺癌的檢測、診斷、定性、預測預後和治療反應的關鍵研究綜述
AI在肺癌篩查中的臨床應用
直到最近，即使在高危人群中，檢測早期肺癌的方法也難以找到。NLST表明，低劑量CT（LDCT）篩查可將目前和以前吸菸的高危人群的總體死亡率顯著降低20％。早期發現的肺癌，無論是通過LDCT篩查還是偶然發現，與出現臨床症狀時檢測到的肺癌相比，更適合手術治癒和改善生存結果。儘管免疫檢查點抑制劑和靶向治療的出現已經證明在亞組患者中持久的長期存活，但並非所有患者都受益於這種治療方式；因此，早期發現具有改善患者存活的益處並且可能限制對廣泛治療的需要。根據這些NSLT研究結果，現在建議對高危人群進行年度LDCT，並且僅次於一級預防（戒菸）以減輕肺癌死亡率，特別是對於戒菸但仍處於危險中的人群。儘管NLST顯示出降低全因死亡率的明顯益處，但許多限制與肺癌的早期發現相關，這可以通過先進的計算分析來增強。在下面的章節中，我們將描述肺癌篩查中的當前問題和局限性，常規方法如何試圖克服這些局限性，以及AI如何改善這些領域。
肺癌篩查經常發現大量不確定的肺結節，其中只有一小部分被診斷為癌症（圖3）。在NLST中，LDCT篩查中發現的96.4%的肺結節未發生癌變。目前，還沒有確定的方法來分類這些結節是惡性還是良性。肺癌篩查的另一個潛在危害是對緩慢生長的惰性癌症的過度診斷，這些結節即使不及時治療可能也不會構成威脅。因此，必須認識到，識別和顯著減少過度診斷。接下來，如果檢測到結節，臨床指南提供結節的評估和隨訪，但不提鑑別供診斷的決策工具，並預測風險和未來癌症發展的可能性。雖然傳統的生物統計學和機器學習方法已被用於解決肺癌篩查中的許多局限性，但AI有可能取代這些方法來識別減少成像假陽性結果並更準確地區分良性和惡性結節。這可以導致對肺癌風險和發病率的更定量預測，從而產生穩健，更好定義的臨床決策指南。
圖3 人工智慧在肺癌篩查中的臨床應用。影像學分析顯示，在最初發現偶發性肺結節和鑑別惰性和侵襲性肺腫瘤時，有希望預測肺癌的發生風險。
大多數不確定的肺結節是偶然發現的，這給患者及其提供者帶來了困境。每年，超過150萬美國人被診斷為偶然發現的結節；而這些結節大多是良性肉芽腫，約12%可能是惡性的。Fleischner協會和美國放射學會肺CT篩查報告和數據系統（Lung-RADS）為這些偶然發現的結節的隨訪和管理提供了建議，通常需要在3到13個月之間進行隨訪成像，以確認生長情況，然後再進行更具侵入性的診斷（如活檢）。這些系統是「語義（semantic）」的，因為它們描述了影像學詞典中常用的特徵，用於描述人類專家感興趣的區域。因為它們是手工評分的，所以很有可能出現較大的讀者間差異。在最近的一項研究中，一個包含4個定量評分的語義特徵（短軸直徑、輪廓、凹陷和紋理）的模型在肺癌篩查中用於區分良惡性結節的準確率為74.3%。另一項研究是為了識別小肺結節（小於6mm）的語義特徵，以預測肺癌篩查環境中的肺癌發病率，根據肺氣腫總分、血管附著、結節位置、邊界定義和凹陷，最終模型顯示的受試者操作特徵曲線下面積為0.930。儘管在上述分析中惡性結節和良性結節之間存在不平衡，但這些研究為語義特徵在肺癌篩查中的應用提供了有力的證據。與肺癌篩查中發現的結節一樣，偶發性肺結節的護理標準缺乏準確的決策工具來預測惡性與良性疾病以及惰性與侵襲性行為。因此，對偶發性肺結節的適當處理取決於癌症的可能性及其行為的潛在侵襲性。對結節性質的預測可以證明截然相反的策略，例如活檢和觀察。錯誤的預測會帶來嚴重的後果，一方面是延遲幹預導致過早死亡的風險，另一方面是侵入性檢測導致的發病率和死亡率。肺癌篩查也能檢測出表現出廣泛行為的腫瘤：有些在臨床上是惰性的，有些則具有攻擊性，需要及時治療。一項研究估計，超過18%的肺癌在NLST的LDCT檢測似乎是惰性的。
2017年，Arnold基金會為自動肺癌檢測和診斷挑戰賽提供了100萬美元的資助。在這項挑戰中，國家癌症研究所（NCI）癌症影像檔案館的數千張帶注釋的CT圖像被提供給社區，以訓練和驗證他們的模型。所有頂尖團隊都使用卷積神經網絡（CNNs）來自動檢測和診斷病變，獲獎者必須公開他們的網絡模型。獲勝的團隊報告了一個很高的性能（log loss=0.399；其中一個完美的模型的log loss為0）。儘管這是令人鼓舞的，但值得注意的是，獲勝的網絡需要對其在臨床環境中的表現進行更詳細的評估。此外，有一個顯著的偏倚，在這個挑戰中50%的癌症患病率，這顯著高於篩查人群與不確定結節患者中4%的患病率。儘管這一挑戰確定了有前途的方法，但在它們能夠用於臨床之前，很可能需要進行重大的調整。
儘管在美國和大多數西方國家，肺癌的發病率正在下降，但肺癌在未來幾十年仍將是一個主要的公共衛生負擔。即使戒菸後，既往吸菸者患肺癌的風險仍然增加，特別是與終生不吸菸者相比。因此，肺癌篩查的改進對於改善患者的預後仍具有重要意義。隨著肺癌影像學研究從傳統的生物統計學，到機器學習，再到深度學習，我們認為人工智慧可能成為下一個發展臨床上可採用的方法，精確識別風險，提高對未來癌症發病率的風險預測，區分惡性和非惡性結節，區分惰性腫瘤和侵襲性腫瘤。
肺癌的影像學特徵
肺癌表現出廣泛的行為，有些是臨床惰性的，有些是侵襲性的，需要及時治療。儘管有預後因素與較好的生存率相關（如女性、表皮生長因子受體[EGFR]突變的腫瘤、早期疾病、無區域淋巴結受累和良好的表現狀態），也有與較差的生存率相關的因素（如肺功能差，心血管疾病、男性、當前吸菸狀況、高齡和晚期腫瘤）的存在，這些因素限制了將癌症作為「移動目標（moving target）」的異質性、動態性加以解決的臨床實用性。具體而言，腫瘤病變是不斷演變和多樣化的，改變其表型和基因組組成，通過轉移擴散，甚至改變其位置。當受到治療幹預的選擇壓力時，這一點更為真實，在治療幹預中，癌症進化迅速探索和利用耐藥機制，甚至有可能藉助全身細胞毒性化療的誘變性質，使治療腫瘤的醫生追逐一種不斷變化的疾病。
相反，基於圖像的生物標誌物可以無創性和縱向地捕捉影像學表型，並描述腫瘤的潛在病理生理學特徵。由於易於臨床實施，基於大小的測量方法，如腫瘤的最長直徑（如RECIST和WHO）被廣泛用於分期和療效評估。然而，基於大小的特徵和疾病階段具有局限性，因為這些指標與結果和反應的顯著可變性相關。因此，識別語義特徵和自動放射特徵預測肺癌患者預後的研究工作已經取得了成功。例如，CANARY工具（計算機輔助結節評估和風險收益率）提供了基於語義的風險分層，以確定肺腺癌中一個潛在的易受攻擊的亞組，該亞組的病程更為嚴重。初步研究表明，AI可以自動量化腫瘤表型的影像學特徵，並且該信息對包括肺癌在內的多種癌症類型具有顯著的預後（P<3.53×10−6）；此外，AI還與肺腺癌（P=1.79×10−17）的遠處轉移相關組織學亞型（P=2.3×10-7），以及潛在的生物學模式（包括體細胞突變和基因表達譜）有關。
醫學影像學評價腫瘤內異質性
醫學影像學在量化肺癌的瘤內特徵方面也能發揮重要作用。對來自同一腫瘤的多個獨立樣本的測序研究表明，腫瘤內異質性（ITH）是實體腫瘤的一個共同特徵。腫瘤由數十億個獨立的癌細胞組成。低水平的DNA損傷或表觀遺傳調控的改變在每一個細胞分裂中被引入，引起癌細胞基因組的輕微變化，並隨著時間的推移而增加。當一個變化在特定的微環境中誘導了一種選擇性優勢時，克隆擴增可以產生一個癌亞克隆，所有癌細胞共享一個單一的、最近的、共同的祖先。非小細胞肺癌（NSCLC）和透明細胞腎癌的預後不良與基因組ITH有關，ITH是指同一腫瘤內獨立的癌細胞亞克隆共存。然而，腫瘤亞克隆可能在空間上是分離的，並且可以攜帶顯著不同的突變負荷，範圍從高度同質到超過8000個異質突變，在同一腫瘤的不同區域之間存在差異。
ITH分析表明，儘管在單個腫瘤活檢中靶向性體細胞改變可能是克隆性的，但在同一腫瘤不同部位的其他活檢中可能完全沒有。腫瘤內存在表型多樣化的證據對基於單區域活檢組織分子特徵的精確醫學技術的應用產生了影響。因為在單個腫瘤活檢中確定的靶點可能是亞克隆的，針對它們的治療只能對一部分癌細胞有效，沒有靶點的癌亞克隆不受損害（圖4）。在臨床上，人們提出了不同的策略來量化ITH，包括原發性腫瘤的多區域測序、循環腫瘤DNA分析和醫學成像數據的使用。不幸的是，儘管與單樣本分析相比，多區域測序提供了改進的ITH範圍測量方法，但它需要足夠大的高質量腫瘤樣本，並且仍然存在潛在的取樣偏差，由於腫瘤的整體取樣不完整，有可能錯過重要的腫瘤亞克隆。
圖4 無創監測在腫瘤演變過程中的應用。癌症有一個共同的主題，即在自然病史中發展腫瘤內異質性。亞克隆的存在（以不同的顏色表示）對治療的反應具有重要意義，可能很難通過標準活檢獲得。疾病監測期間的成像和血液生物標記物為檢測腫瘤內異質性的存在提供了一種潛在的技術解決方案，從而可能直接改變治療策略。
醫學影像學在定量研究肺癌的瘤內特徵、提高腫瘤的捕獲和定量診斷能力方面發揮著重要作用。此外，由於進化適應度是上下文關係，並且取決於特定的微環境，因此這些環境很可能可以通過成像來識別。與大多數基於腫瘤的生物標記物類似，存在許多局限性，因為腫瘤的異質性和腫瘤標本對生物標誌物檢測的要求，它們可能會受到取樣偏差的主觀影響，並且分析通常可能是及時的、昂貴的，並且需要大量的組織或組織分析物。相比之下，基於圖像的特徵在人工智慧的指導下，可從標準護理圖像中實時獲得，不需要及時（且通常昂貴）的實驗室分析測試，不受採樣偏差和偽影的影響，並且是非侵入性的。基於圖像的特徵代表了整個腫瘤的三維表型，而不僅僅是接受生物標記物檢測的部分（即活檢）。
AI用於評估靶向治療和免疫治療的反應
基於RECIST標準的定量成像終點的成功為腫瘤學人工智慧的發展鋪平了道路，因為在臨床試驗中廣泛採用這些終點作為早期生存指標，產生了大量具有臨床元數據的CT圖像數據集。對這些臨床試驗數據集的回顧性分析在滿足人工智慧對大數據的需求方面是非常寶貴的，以支持人工智慧算法的培訓和驗證，否則可能會被從頭開始生成這些數據集所需的費用和努力所禁止。部分原因是RECIST的成功，定量CT分析現在是當代腫瘤學的主力，為人工智慧預測模型創造了即時的轉化潛力。
人工智慧的優勢非常適合於克服當前一代靶向和免疫療法帶來的挑戰，這些療法可以產生明顯的臨床益處，而基於RECIST的終點很難捕捉到這些益處。這些終點依賴於這樣的假設，即治療的成功反應將通過腫瘤縮小來反映，特別是基於腫瘤直徑的反應測量假設腫瘤是球形的，並且在治療後經歷均勻的空間變化。靶向治療和免疫治療導致了新的反應模式，這些新的反應模式混淆了當前基於RECIST的終點，並可能導致臨床試驗的高失敗率和藥物開發的成本。因此，AI量化與反應相關的生物學過程而不是大小的能力滿足了該領域的迫切需求。
目前，靶向治療和免疫治療的反應預測是基於免疫原性腫瘤微環境（例如，程序性細胞死亡配體1[PD-L1]表達）和突變狀態（例如，EGFR）的生物標記物。這些都是通過活檢獲得的，這是侵入性的，難以縱向執行，並局限於一個單一的腫瘤區域。PD-L1表達的預測價值也可能有限。例如，在KEYNOTE‐189臨床試驗中，無論PD‐L1表達如何，pembrolizumab聯合標準化療的免疫治療對所有患者都產生了生存益處，即使在PD‐L1腫瘤比例得分低於1%（應表明獲益的可能性很小）的患者中。
越來越多的證據表明，人工智慧可以通過識別與免疫反應相關的影像生物標誌物來評估免疫治療的反應。影像學表型與抗PD1二線治療後NSCLC患者的總生存率（OS）相關。在這項研究中，通過兩個放射組學特徵（區域差異性（危險比[HR]，0.11；95%置信區間[95%CI]，0.03-0.46[P=.002]）和熵（HR，0.20；95%CI，0.06-0.67[P=.009]）對OS進行了顯著預測（P=.005），這表明原發性肺腫瘤在增強CT上具有不規則的強度模式。另一項肺癌研究表明，通過向臨床模型中添加基因組學和放射組學信息，OS的預後得到改善，導致95%CI從0.65（Noether P=0.001）增加到0.73（P=2×10−9），這些發現表明，放射組學和基因組學生物標記物是互補的，為人工智慧闡明其組合數據之間的預測關聯創造了潛在的作用。儘管機器學習已被用於基於微陣列基因表達模式的識別對肺癌進行基因分類，但其用於檢測預測預後的放射組學-基因組學相關性的方法仍有待研究。
定量成像數據的人工智慧分析也可能改善對靶向治療反應的評估。使用抗血管內皮生長因子（VEGF）單克隆抗體貝伐單抗治療的NSCLC腫瘤對氟脫氧葡萄糖的攝取減少，比常規CT標準確定更多的患者對治療有反應（73%對18%）；在該研究中，正電子發射斷層掃描（PET）和CT均與OS無關（PET, P = .833; CT, P = .557）。目前，預測靶向治療的反應主要是通過活檢來分析靶向突變的狀態。人工智慧預測模型可以通過識別與突變狀態相關的成像表型來補充這一點。這種方法的優點是能夠反覆無創地描述所有腫瘤的突變狀態，而不僅僅是在活檢部位，這可以避免缺乏與腫瘤內異質性相關的預測能力，以及在、腫瘤內不同的轉移中出現不同的獲得性耐藥機制。支持這一方法的是對接受吉非替尼治療的非小細胞肺癌患者的定量影像學研究。這些結果表明，EGFR突變狀態可以通過放射特徵定律-能量（曲線下面積[AUC]=0.67；P=.03）顯著預測。
生物標誌物必須是客觀的和可重複測量的，以作為反應評估的標準。人工智慧通過其在腫瘤圖像中描述複雜模式的能力提供了高度的客觀性，而沒有與人類專家視覺評估相關的觀察者間的可變性。了解放射組學特徵的測量誤差對於建立基於這些特徵的人工智慧預測模型的可再現性具有重要意義。不同的腫瘤分割算法引入了已知會影響放射組學特徵計算的方差，因此可能會影響AI技術的性能。成像設置，包括CT掃描儀、切片厚度和卷積核，也會影響放射組學特徵的計算。這些設置的變化存在於臨床實踐和臨床試驗中，並可能影響AI開發的生物標記物的能力和再現性。CNNs的訓練和驗證可以通過選擇可再現的預測特徵並丟棄那些在不同圖像集之間變化的特徵來減少這種影響，但是這需要被證明。人工智慧領域的快速發展與臨床試驗終點的需求之間也存在緊張關係，臨床試驗終點需要在標準更新之前（例如，從RECIST 1.0到1.1）保持歷史一致性並在大型資料庫中實現驗證。在公共領域癌症數據集的規模和適當性方面繼續取得進展是滿足後一種要求的必要條件。
中樞神經系統腫瘤影像
中樞神經系統腫瘤的病理學範圍很廣，可能比身體其他器官系統的腫瘤更為多樣。在全身性腫瘤或腦實質轉移瘤中佔優勢。此外，與大腦相鄰的非神經組織引起的多種腫瘤是常見的，必須考慮在中樞神經系統腫瘤中，包括腦膜瘤、垂體瘤、神經鞘瘤和顱骨病變。這種多樣化的診斷方法對臨床醫生提出了獨特的要求，要求他們對影像進行準確評估。
目前在評價中樞神經系統腫瘤的放射學研究過程中存在三個主要挑戰：1）準確診斷疾病的類型和程度等同於臨床決策；2）隨著時間的推移，腫瘤疾病的可靠跟蹤，特別是在治療後對周圍神經組織的相關影響，隨著分子分類學在影響腫瘤行為和臨床結果方面的作用越來越受到重視，它可能獲得難以與腫瘤區分的信號特徵；以及3）從腫瘤的表型表現中提取基因型特徵的能力。
腫瘤患者的傳統模式需要對腫塊病變進行最初的影像學診斷，根據臨床因素和外科醫生或患者的偏好決定治療或觀察，只有在獲得組織後才進行最終的組織病理學診斷，在有這些資源的中心進行分子基因分型，以及只有經過一段時間才能確定臨床結果（圖2）。僅從影像學數據中準確推斷病理學和基因組學數據，類似於影像基因組學領域正在開發的技術，將破壞這一經典範式，從而在更早的時候使用更全面的數據來改善對患者的指導。影像基因組學還可以闡明在人群中以及在不同人群之間進行的多機構臨床試驗中治療成功和失敗的原因。此外，在全球範圍內，缺乏神經放射科醫生，很少接觸到罕見的中樞神經系統腫瘤，或者缺乏分子圖譜的地方，通過共享網絡算法對成像進行計算分析為改善所有腦瘤患者的護理提供了潛在的寶貴資源。
中樞神經系統的診斷困境
影像學在腦腫瘤的早期診斷中起著重要的作用，是早期和後續評估的常規部分。腦腫瘤複雜的影像學特徵，以及腫瘤類型中頻繁的遺傳異質性和獲得組織診斷所需的程序的侵襲性，導致了該領域的診斷難題（表2）。
表2 關於人工智慧在中樞神經系統腫瘤成像中的作用的關鍵研究綜述，包括應用於診斷、生物學特性、監測治療反應和預測預後
膠質瘤是成人最常見的惡性原發性腦腫瘤，CT和MRI等橫斷面成像技術可提供高解析度的空間信息和組織對比度，使放射科醫生能夠描述不同的膠質瘤亞型和級別。人工智慧可以提高目前標準診斷成像技術的實用性，它可以使神經膠質瘤的術前分類更加精確，超出人類專家所能提供的範圍。例如，人工智慧已應用於術前磁共振成像的研究中，以通過使用從空間共配準，多模式MRI獲得的圖像紋理特徵訓練機器學習分類器來區分低度和高度腫瘤以及各個WHO等級（表2）。此外，神經膠質瘤的臨床相關分子亞型，如異檸檬酸脫氫酶（IDH）突變的存在，可以通過機器學習方法識別，包括在常規MR圖像上訓練的深層CNN。
然而，亞型分類問題並不是成人膠質瘤獨有的。概念上類似的工作也在其他腦腫瘤上進行，其中已經證明，根據從常規MRI中提取的放射組學特徵訓練的分類算法可以生成垂體腺瘤亞型和兒童腦腫瘤的預測模型（表2）。
在區分不同的腫瘤類型時，也會出現診斷上的模糊性。一個關鍵的臨床難題是如何區分原發性中樞神經系統淋巴瘤和膠質母細胞瘤，兩者可能具有相似的影像學表型。放射組學模型，使用基於圖像的紋理特徵，已經被證明可以增強膠質母細胞瘤和原發性中樞神經系統淋巴瘤之間的差異。有趣的是，在評估這兩種疾病過程的組織病理學切片時，常常會出現類似的診斷難題；隨著CNN在全球研究中越來越多地應用於組織病理學圖像分類，我們預計也會出現解決這一問題的穩健預測模型。
迄今為止，人工智慧在腦腫瘤研究中的應用主要集中在區分腦腫瘤的組織病理學和分子亞型方面。為了實現這一點，人工智慧算法使用預先選擇的具有特定腫瘤亞型的患者群體進行訓練。這種方法使得將診斷模型集成到臨床工作流程中具有挑戰性，因為只有當測試群體與訓練數據相似時，模型的診斷精度才能保持一致。有了基於更一般患者群體的足夠訓練數據，AI的診斷能力很可能會擴展到包括多種腫瘤類型以及非腫瘤良性病變之間的準確鑑別。
腫瘤檢測和描繪
與腫瘤亞型之間準確診斷鑑別的協同作用是計算算法自動檢測腫瘤本身的存在和程度的能力。MRI是描述中樞神經系統腫瘤最常見的方式，在MRI上，腫瘤可能表現為不同程度的對比增強或完全無對比增強；可能與瘤周水腫或出血有關；並可能因鄰近的骨骼，血管，脂肪或外科材料而使邊緣模糊。此外，神經系統對治療的反應，也被稱為假進展，在區分腫瘤和非腫瘤方面增加了一層複雜性，如下所述。儘管這些特徵對CNS腫瘤的自動檢測提出了挑戰，但仍然需要開發強大的體積算法來分析腫瘤及其鄰近的微環境。
近年來，關於CNS腫瘤的半自動和自動檢測的研究和方法層出不窮，主要應用於常規MR成像，也應用於PET和超聲成像。儘管半自動算法在探索和研究中使用最為頻繁，但其已被應用於立體定向放射外科的治療計劃、術後殘餘腫瘤體積的定量以及腫瘤生長的跟蹤。強大，自動的腫瘤檢測算法在評估具有眾多顱內病變的患者（例如在CNS轉移範圍內及其生長速率差異或對治療的反應）方面的優勢。同樣，在顱底病變中，其形狀通常是不規則的，並跨越顱內和顱外隔室，自動容積重建可能會發現偶然的觀察者忽略的敏感的生長變化。
一些研究人員幾乎可以普遍使用用於圖像分析的計算工具以及共享開原始碼，這有望加快該領域的發展速度。此外，公開可用的成像資料庫為假設檢驗和驗證提供了強大的資源，包括來自醫學圖像計算和計算機輔助幹預（MICCAI）組的多模式腦腫瘤圖像分割挑戰（BRaTS）數據，癌症成像檔案和常春藤膠質母細胞瘤地圖集項目。最終，這些努力的成果有望開發出工具，最大限度地減少觀察者間隨時間和治療追蹤腫瘤的變異性，並從CNS腫瘤的常規成像中提取超出放射照相表型的更深層數據。
治療反應監測
在20%到30%的膠質母細胞瘤患者中，接受標準的、預先放射治療並輔以替莫唑胺，觀察到造影劑增強病變的擴大，這些病變在不改變治療方案的治療過程中穩定或消失，稱為假性進展。類似地，大約25%的中樞神經系統轉移瘤在照射野內發生壞死，表現為擴大強化，類似於腦轉移瘤立體定向放射外科術後復發的腫瘤。儘管許多傳統或先進的成像技術已經被研究來區分真實的腫瘤和治療相關的改變，但是在空間上描述異質性組織仍然是一個挑戰，這些異質性組織通常同時包含有存活的腫瘤和治療相關的改變。使用機器學習方法組合多個成像特徵可以提高構建準確組織分類器的能力，從而解釋治療腫瘤的異質性。從常規MRI中提取的紋理特徵已被用來區分放射性壞死和復發性腦腫瘤。灌注加權和磁敏感加權MRI序列也可以結合起來區分高級別膠質瘤患者的復發和放射性壞死。紋理分析也已應用於胺基酸PET成像以診斷假性進展。為了提供腫瘤和壞死組織更直接的歷史相關性，與立體定向活檢部位共同配準的基於體素的MRI評估已經產生了與活檢標本的細胞計數相關的參數模型。總體而言，這項研究大部分正處於臨床試驗中從試驗數據轉向驗證的階段。只有在更嚴格地證明此類技術的臨床實用性後，才能實現監管批准和商業化，然後傳播到廣泛的臨床應用中。
中樞神經系統腫瘤的生物學特徵：前景和前景
對於最常見的中樞神經系統腫瘤，已經定義了一種分子分類法，具有廣泛的應用範圍，並降低了下一代測序的成本。此外，已經觀察到分子特徵賦予超出標準組織病理學分類的預後意義，包括成人和兒童神經膠質瘤，腦膜瘤，垂體瘤，顱咽管瘤，成神經管細胞瘤和室管膜瘤。這些分子印記越來越多地指導腫瘤監測成像的頻率，臨床結果和復發風險的患者諮詢，以及決定治療類型（例如放療或觀察）。然而，這些信息很大程度上僅取決於幹預後腫瘤的組織取樣。此外，與全身性癌症一樣，腦腫瘤在個體腫瘤內以及使用多焦點取樣和單細胞測序策略復發時具有令人難以置信的分子異質性。這種異質性可能會導致目前的藥物治療劑對腦腫瘤的有效性有限，以及經過一段時間明顯的疾病控制後所感知到的獲得性耐藥。因此，隨著時間的推移跟蹤腫瘤基因型的非侵入性方法可以捕獲腫瘤異質性的整個格局，因此具有吸引力。
CNS腫瘤成像的放射組學分析有可能表徵整個腫瘤的表型，而不是腫瘤的核心，如經常採樣用於分子分析，並提供進入腫瘤內部生長模式的非侵入性窗口。以前的研究報導了腦腫瘤的影像學特徵，分子途徑和臨床結果之間的重要聯繫。膠質瘤的行為與其分子改變顯著相關，特別是IDH1/IDH2，EGFR，O6-甲基鳥嘌呤-DNA甲基轉移酶（MGMT）以及染色體1p和19q的改變。世衛組織在其2016年關於神經膠質瘤分類的更新中認識到了腦膠質瘤分子分層的重要性。在術前MR圖像上訓練的機器學習算法已經能夠以80%至95%的靈敏度和特異性區分這些特徵，包括膠質母細胞瘤亞型和存活率的預測，高級別和低級別膠質瘤中的IDH突變狀態，低級別神經膠質瘤中染色體1p和19q缺失的存在，MGMT甲基化狀態，EGFR擴增狀態以及EGFR受體變體III以及EGFR細胞外結構域突變的存在（圖5）。此外，無監督深度學習方法在鑑別具有不同預後的膠質母細胞瘤中的分子亞群方面顯示出前景。
圖5 用於卷積神經網絡（Chang等2018）的Grad-CAM可視化（Selvaraju等2017）應用於2個異檸檬酸脫氫酶1（IDH1）/IDH2野生型膠質母細胞瘤的實例和2個IDH1突變型膠質母細胞瘤的實例。彩色圖覆蓋在原始釓增強的T1加權磁共振圖像上，紅色加權到IDH狀態分類的區分區域。
在腦膜瘤中，良性變異（I級）最常在幾種假定的致癌因素中的一種中攜帶突變，而高級別變異（II-III級腫瘤）則具有可變數量的染色體改變。腦膜瘤患者術前MRI的放射組學分析顯示，計算機提取的成像特徵能夠與腦膜瘤等級以及某些基因組特徵密切相關（W.L.B.和H.J.W.L.A.等人，未發表的數據）。此外，定量放射學特徵可以辨別微妙之處，例如與I級腦膜瘤相關的非典型特徵的數量，超出定性放射科醫師評定的成像特徵的能力。
垂體瘤，顱咽管瘤，脊索瘤和其他中樞神經系統腫瘤正在進行類似的放射組學分析。除了單腫瘤亞型分析之外，未來的工作還需要提高準確性和靈敏度，以便這些方法可以放心地應用於臨床環境，獲得比單一或雙重標記更細微的分子標記，並容納與復發和治療後疾病狀態相關的偽影，以允許在患有CNS腫瘤的患者的整個過程中真正縱向應用放射組學。
臨床試驗應用
預測性生物標誌物可以在臨床試驗中發揮重要作用，因為它們能夠選擇更可能對治療有反應的患者，從而提高檢測臨床益處的機會並降低無效治療引起的藥物毒性風險。用於治療膠質母細胞瘤的最著名的預測生物標誌物是MGMT啟動子狀態，其中甲基化腫瘤亞型對烷化劑顯示出更大的反應。最近，在2個3期臨床試驗中評估了新診斷的膠質母細胞瘤的抗血管生成治療，其中靶向VEGF的抗體貝伐單抗在加入標準治療時沒有導致OS改善。目前，沒有臨床上有用的分子標誌物預測抗血管生成治療的治療反應。已經使用常規和先進的方式研究了基於成像的生物標誌物對新診斷的復發性膠質母細胞瘤的治療反應預測。基於常規成像特徵的放射成像預測因子已經使用接受貝伐單抗治療的復發性膠質母細胞瘤患者的回顧性單中心數據集進行了鑑定。在對單機構和多機構，單臂數據集的回顧性評估中，使用常規和，彌散MRI特徵構建了放射學模型，以區分長期倖存者和短期倖存者。首先從膠質母細胞瘤患者的2個數據集中獨立提取基於術前灌注MRI的非參數參數的無監督的放射學特徵簇，隨後將特徵簇組合併評估其與患者存活結果的關聯。與生存率低（HR，>3.0）相關的放射特徵簇與血管生成和缺氧途徑的突變相關。這些初步調查是基於接受治療但沒有對照治療組的患者，因此僅建立這些成像標誌物的預後價值。
使用回顧性和前瞻性臨床試驗數據篩選和驗證放射性生物標誌物有幾個優點。由於這些患者人群相對均勻（包括治療方案類型，劑量和持續時間以及治療前和治療期間的影像學評估時間和頻率），因此患者預後的預測準確性可能會提高。在這種情況下構建的預測模型可以更容易地應用於使用類似方案的未來前瞻性試驗。最近為腦腫瘤試驗標準化成像採集方案的努力也應該增加放射學模型對不同臨床試驗和實際臨床實施的普遍性。
乳腺癌影像
乳腺癌是美國女性中最常被診斷出的癌症，也是癌症死亡的第二大常見原因。自20世紀80年代以來，乳腺癌的5年生存率有了巨大改善，這可能是因為乳腺X線篩查的顯著採用以及乳腺癌治療的改善。乳腺癌是一種異質性疾病，腫瘤在病因，預後和對治療的反應方面有所不同。雌激素受體（ER）的存在對於對特定治療（例如，ER陽性疾病患者的他莫昔芬）和預後（ER陰性疾病患者的預後較差）的反應很重要，並且可以定義病因亞型。三陰性乳腺癌為ER陰性，孕激素受體（PR）陰性和人表皮生長因子受體2（HER2）陰性。它們在標準乳腺X線照相術中沒有表現出典型的惡性腫瘤跡象，更可能被檢測為間隔性和高度惡性腫瘤，並且5年生存率較差。
成像和計算機技術的進步協同作用導致人工智慧在乳腺成像的各種任務中的潛在應用迅速增加，如風險評估、檢測、診斷、預後和對治療的反應（表3）
表3 乳腺病變的影像學特徵，包括檢測、診斷、生物學特徵、預測預後和治療反應
乳腺癌篩查：乳腺影像報告和數據系統模擬到數字
乳腺癌影像學中的CADe和CADx已經發展了幾十年。自20世紀90年代末以來，專門用於篩查乳腺X線解釋的CADe系統已經在臨床上得到了常規應用。放射科醫生對癌症的檢測受到結構噪聲（偽裝成正常解剖背景），視覺搜索模式不完整，疲勞，注意力分散，對細微和/或複雜疾病狀態的評估，大量圖像數據以及物理條件的限制。乳房圖像本身的質量。在計算機輔助檢測中，計算機旨在查找可疑病變，並將分類留給放射科醫生。
儘管CADe繼續被開發用於篩查乳腺攝影術，研究人員也試圖通過結合預定義的算法和新的深度學習方法，在3D超聲、乳腺MRI和乳腺斷層合成圖像上自動檢測乳腺病變。計算機檢測三維乳腺圖像的動機是隨著三維超聲和磁共振成像的到來而產生的，用於篩查乳腺組織緻密的婦女。
自20世紀90年代初以來，CNN已被用於醫學圖像分析，用於檢測數位化乳腺X光片中的微鈣化，以及區分活檢證實的腫塊和乳腺X光片上的正常組織。最近，深度學習的方法已經允許計算機輔助檢測乳腺病變的乳腺磁共振成像，超聲波和乳腺X光片。
乳腺癌風險評估：密度和實質
已經開發了計算機視覺技術來提取乳腺圖像上實質組織模式的密度和特徵，以產生定量的生物標誌物，以用於乳腺癌風險預測以及最終用於個性化篩查方案。
基於區域和基於體積的密度評估都用於估計乳腺鉬靶密度，因為密度增加既是乳腺癌的危險因素，也是掩蓋病變的掩蔽效應。乳房密度是指乳房中纖維腺組織的數量相對於脂肪組織的數量。在全視野數字乳腺攝影術（FFDM）中，這些組織類型是可以區分的，因為纖維腺體組織比脂肪組織對X射線的衰減要大得多。因為FFDM是乳房的2D投影，所以3D百分比密度值是估計出來的。
除乳腺密度外，還有證據表明，實質形態的變異性（例如，描述緻密組織的空間分布特徵）也與乳腺癌風險有關。通過使用紋理分析，當在乳房X射線照片的分析中採用偏斜度測量來描述密度變化時，研究人員已經表徵了FFDM區域內灰度級的空間分布。其他人利用紋理分析和深度學習來區分BRCA1/BRCA2基因突變攜帶者（或對側乳腺癌婦女）和乳腺癌低風險的女性，並利用近500個病例發現，乳腺癌高風險婦女的乳腺密度高，實質形態粗糙，對比度較低（AUC，約為0.82）。進一步的研究將紋理分析應用於乳腺斷層合成圖像，以描述實質模式，最終用於乳腺癌風險評估，初步結果表明，紋理特徵與乳腺斷層合成（回歸分析中P=0.003）上的乳腺密度的相關性好於數字乳腺X光片。
此外，在動態對比增強（DCE）MRI上，乳腺實質模式的特徵也被擴展到乳腺實質增強（BPE）。在50名BRCA1/BRCA2攜帶者的有限數據集中，BPE的定量測量與乳腺癌的存在相關，BPE百分比的相對變化可預測降低風險的輸卵管卵巢切除術後乳腺癌的發展（P<0.05）。深度學習方法越來越多地被評估用於評估乳腺密度和實質特徵，其中的一個例子包括根據其BRCA1/BRCA2狀況評估轉移學習對處於正常乳腺癌風險和高風險女性之間的區分的績效評估。
人工智慧提高乳腺癌診斷水平
自20世紀80年代以來，各種研究人員一直在開發CADx的機器學習技術，以區分乳腺良惡性病變。CADx的這些人工智慧方法涉及腫瘤的自動表徵，最初由放射科醫生或計算機指示。計算機描述可疑區域或病變的特徵和/或估計其發病概率，將患者管理交給醫生。
將人工智慧方法應用於乳腺圖像數據，可以定量地獲得腫瘤的大小、形狀、形態、紋理和動力學特徵。例如，在乳腺MRI上使用對比劑攝取的動態評估可以讓研究者根據異質性來量化癌症，產生空間特徵和動態特徵的表型。例如，熵是一種隨機性的數學描述，它提供了腫瘤內模式異質性的信息，從而描述了對比增強乳腺MRI成像的腫瘤內血管系統攝取（即對比度攝取）的異質性模式。這種分析可能反映血管生成和治療敏感性的異質性，如NCI的癌症基因組圖譜（TCGA）乳腺癌表型組所示。
使用CADx，對預定義算法和深度學習算法進行了評估。值得注意的是，研究人員已經表明，在區分良惡性病變的任務中，使用人類工程或深度學習特徵在乳腺病變分類中表現良好，並且這兩種方法的「融合」可以在統計學上顯著改善乳腺癌的診斷性能。在所有3種乳腺成像模式（690例DCE-MRI病例、245例FFDM病例和1125例超聲病例）中，「融合」分類器表現最佳，表明在乳腺癌診斷檢查中，工程和深度學習腫瘤特徵的互補使用潛力（DCE-MRI:AUC=0.89[標準差=0.01]；FFDM:AUC=0.86[標準差=0.01]；超聲：AUC=0.90[標準差=0.01]）。其他研究者使用轉移學習，在2282個數位化屏幕膠片和FFDM上預訓練CNN，用於描述324個乳腺斷層合成體積上的腫瘤，它證明了在成像模式之間傳遞成像模式知識的能力。
基於圖像的預測性生物標誌物
除了CADe和CADx之外，還有2種人工智慧在乳腺成像中的應用，包括通過產生精確醫學中基於圖像的乳腺癌預測表型來評估分子亞型、預後和治療反應。乳腺癌研究的一個主要興趣領域是試圖了解腫瘤的宏觀外觀與其周圍環境之間的關係。這些關係可以從臨床乳腺圖像和風險、預後或治療反應的生物學指標中提取。這種生物標記物的有效開發得益於多種患者檢查信息的整合（即臨床、分子、成像和基因組數據；即通常在診斷檢查和隨後的活檢中獲得的其他「組學」）。
在NCI的TCGA乳腺表型組的一項合作努力中，多學科研究人員對84個實體乳腺腫瘤進行了表型特徵分析，以獲得有關潛在分子特徵和基因表達譜的基於圖像的信息（圖6）。即使在控制腫瘤大小後，增強紋理（熵）與分子亞型（正常樣、管腔A、管腔B、HER2富集型、基底樣）之間也存在顯著的統計學相關性（病變≤2cm時P=0.04；病變從2到≤5cm時P=0.02）。磁共振成像與基因組的關聯也被揭示出來，進一步加深了對調節腫瘤表型發展的遺傳機制的理解。
圖6 磁共振成像顯示乳腺癌基因組特徵與放射組學表型的顯著相關性。基因集富集分析（GSEA）和線性回歸分析相結合，將基因組特徵（包括microRNA（miRNA）表達、蛋白質表達和基因體細胞突變等）與6類放射組學表型相關聯。在這個圖中，每個節點代表一個基因組特徵或一個放射組學表型。每一行都是一個確定的具有統計意義的關聯，而沒有描述非顯著關聯。節點大小與其相對於類別中其他節點的連接性成比例。
例如，關於預測患者對特定治療的反應，在美國醫學院接受新輔助治療的患者中，從乳腺MRI（141名女性：40名有復發，101名無復發）半手工描繪功能性腫瘤體積被確定為無復發生存率的預測指標放射成像網絡（ACRIN）研究6657，顯示了自動化的潛力。
前列腺癌影像
前列腺癌是美國男性中診斷率最高的非皮膚性惡性腫瘤，也是導致癌症相關死亡率的第二大原因。前列腺癌的發生率、發病率和死亡率的統計數據可以用多種不同的方法進行檢驗。它是一種非常常見的癌症，因為它是一種「衰老的腫瘤」，但它的疾病特異性死亡率非常低，所有這些都加強了它作為一個影響大量人口的複雜公共衛生問題的特徵。雖然前列腺癌是一種嚴重的疾病，但大多數被診斷為前列腺癌的男性並不會因此而死亡。前列腺癌患者的5年生存率從轉移性疾病患者的30%到局限性疾病患者的100%不等。目前前列腺癌診斷的主要臨床問題包括：1）過度診斷和過度治療，主要是由於無法預測特定癌症的侵襲性和風險；2）靶向活檢取樣不足，導致誤診和低風險前列腺癌患者的疾病進展。在薈萃分析中，報告的非臨床意義前列腺癌的過度診斷率高達67%，導致不必要的治療和相關的發病率。由於這種臨床行為的範圍，有必要將具有臨床意義的腫瘤（活檢Gleason評分為7分和/或病理體積為0.5ml的患者）作為治療候選者與具有臨床意義的腫瘤並且可以安全地接受主動監測的患者區分開。人們注意到，早期前列腺癌積極治療的潛在生存益處受到惰性疾病不必要治療的損害。
前列腺癌的生物學異質性導致了不同的臨床結果，從惰性到高侵襲性腫瘤的高發病率和死亡率，以及治療計劃、治療反應和患者預後的差異。這反映在國家綜合癌症網絡指南（National Comprehensive Cancer Network guidelines）中納入了基因組圖譜，包括Decipher（GenomeDx Biosciences，加利福尼亞）、Oncotype DX Prostate（genomic Health Inc，加利福尼亞州）、Prolaris（Myriad Genetics Inc，猶他州）等。在進行分子表徵的同時，人工智慧也有可能使臨床醫生在前列腺癌的檢測、定位、特徵、分期和監測方面發揮作用。目前還沒有廣泛的多中心試驗，因此許多初始工作僅限於單中心、單算法分析和小數據集。然而，一些組織，如美國國家衛生研究院和MICCAI，正在開發基礎設施，以允許更大的、注釋良好的數據集可用於人工智慧開發。
主要基於有監督機器學習的計算方法已經成功地應用於磁共振成像和超聲成像，以檢測可疑病變，並將臨床意義重大的癌症與其他癌症區分開來。近年來，深度學習在前列腺癌篩查和侵襲性癌症診斷中的應用取得了令人滿意的結果。
多參數磁共振成像（mpMRI）為檢測和定位可疑的具有臨床意義的前列腺病變提供所需的軟組織對比度，並提供有關組織解剖、功能和特徵的信息。重要的是，它具有檢測所謂的「臨床意義」疾病的優越能力，即Gleason模式為4或更高（Gleason評分≥7）和/或腫瘤體積>0.5 cm3。近年來，前列腺癌的mpMRI檢查量不斷增加，因為mpMRI能夠檢測這些病變並允許有針對性的活檢取樣。來自英國的一項大規模人群研究表明，在初次活檢前使用mpMRI作為分診依據可以減少四分之一不必要的活檢，並可以減少臨床上不重要疾病的過度診斷。這在小於最佳值的數據集中得到了進一步驗證。在對500名患者進行的多國精確研究中，在活檢前隨機接受mpMRI檢查的男性，其對具有臨床意義的疾病的檢出率明顯高於目前採用10核到12核經直腸超聲引導活檢的標準（38%比26%）。
mpMRI的增長趨勢引起了對經驗豐富的放射科醫生的需求，以解讀爆炸性增長的腫瘤學前列腺MRI報告。此外，閱讀具有挑戰性的病例並減少高的觀察者間意見分歧是前列腺MRI仍然面臨的挑戰。2015年，歐洲泌尿生殖放射學會、美國放射學院和AdmeTech基金會發布了前列腺成像報告和數據系統（PI-RADS）的第二版。這為放射科醫師閱讀和解釋前列腺mpMRI提供了指導，目的是提高mpMRI結果解釋和交流的一致性。在過去的10年裡，人工智慧模型已經發展成CADe和CADx系統，用於檢測、定位和描述前列腺腫瘤。結合PI-RADS，精確的CAD系統可以增加相互間的可靠性，並提高mpMRI讀取和解釋的診斷準確性。初步分析表明，增加CADx系統可以提高放射科醫師對前列腺癌的診斷能力。
mpMRI-CADx系統的前期工作主要集中在經典的、有監督的機器學習方法上，包括特徵抽取器和淺層分類器的組合。在這類人工智慧系統中，特徵工程對CAD系統的整體性能起著核心作用。CADe和CADx系統的組合使用了強度（intensity）、解剖學、藥代動力學（藥代動力學模型）、紋理（texture）和塊性（blobness）特徵。藥代動力學是一種詳細的指標，可以從通過給定體積組織的靜脈造影劑的時間-信號分析中提取。它們包括wash-in和wash-out等參數。紋理特徵也是基於信號的，在很大程度上依賴於成像技術。其他人使用mpMRI序列計算的強度特徵，包括T2加權MRI、表觀擴散係數、高b值、擴散加權MRI和質子密度圖T2估計，或者他們只使用從藥代動力學分析和擴散張量成像參數圖中提取的特徵。類似的基於圖像的特徵也包含在CAD系統中，其中許多系統使用支持向量機進行分類。
在過去的幾年裡，深度學習網絡，特別是CNNs，已經徹底改變了前列腺癌檢測和診斷的研究。這些方法使用不同的模態類型、CNN結構和學習程序來訓練前列腺癌分類的深層網絡，並取得了最先進的性能。一些研究者使用CNN對MRI發現進行分類，並使用自動窗口機制來克服MR圖像的高動態範圍和歸一化，而另一些研究者使用mpMRI圖像的不同組合，將每個模態疊加為RGB圖像的2D通道，並將其用作訓練示例。此外，可以設計3D CNN，使用基於MRI的特定參數，如表觀擴散係數、高b值和容積轉移常數（Ktrans）模式。
深度學習系統已被應用於同時對前列腺病變進行定位和分類。無論是從頭訓練還是預訓練模型的遷移學習，都能成功地訓練CNNs用於前列腺癌MRI診斷。在CNNs的最後一層中明確增加了具有解剖學意義的特徵，這已經成功地提高了CNNs的性能。除了磁共振成像，人工智慧技術通過結合超聲數據，特別是射頻數據，對前列腺癌進行分類，已經取得了有希望的結果。在這裡，經典的機器學習方法和深度學習都被用來訓練分類器，以便在時域超聲數據中對前列腺癌進行分級。
人工智慧用於前列腺癌的檢測和定性的研究結果是有希望的，並顯示出持續的改善。最近對前列腺癌圖像分析的研究揭示了從特徵工程和經典機器學習方法向深度學習和使用大型訓練集的過渡。與肺癌和乳腺癌不同，前列腺癌的臨床常規尚未採用規範的CAD系統。然而，最近在中型數據集上的深度學習技術取得的成果，如PROSTATEx基準測試，是有希望的。很明顯，全世界前列腺MR檢查量增長迅速，對準確解釋的需求也在增加。準確的CAD系統將提高前列腺MR的診斷準確性，從而更好地照顧個別患者，因為良性和惰性腫瘤（假陽性）的患者較少需要接受侵入性活檢和/或根治性前列腺切除術。相反，早期發現前列腺癌可以改善臨床上有意義的前列腺癌患者的預後（Gleason模式4）。前列腺癌的計算機輔助檢測和診斷系統有助於臨床醫生通過潛在的減少漏診或過度診斷可疑靶點的可能性，儘管這需要在常規臨床納入之前進行更多的試驗驗證。
挑戰與未來方向
儘管有報導稱人工智慧在腫瘤成像中取得了成功，但在廣泛應用於臨床之前，必須克服一些限制和障礙。隨著對CT和MR成像需求的不斷增長，醫療服務提供者不斷產生大量的數據。包括圖像存檔和通信系統（PACS）和醫學數字成像和通信（DICOM）在內的標準確保了這些數據的組織便於存取和檢索。然而，這些數據很少在標籤、注釋、分段、質量控制或適用於當前問題的方面進行整理。醫療數據的管理是開發自動化臨床解決方案的一個主要障礙，由於其需要訓練有素的專業人員，使得這個過程在時間和成本上都很昂貴。數據密集型方法（包括深層神經網絡）加劇了這些問題。無監督和自我監督的方法不需要明確的標記，因此有望緩解其中一些問題，而合成數據有可能實現更快的治療途徑，解決不可避免的類別不平衡，並減輕患者隱私問題。標準化基準測試在醫學領域尤其重要，特別是考慮到眾多的成像方式和解剖部位以及採集標準和硬體。儘管可以公開獲得的醫療數據量是一個令人鼓舞的進步，但研究界尚未就可用於在性能，通用性和可再現性方面進行比較和對比工作的特定數據集達成共識。此外，應改進對現有數據集的獲取，以促進知識協作。應鼓勵機構、專業人士和政府團體共享經驗證的數據，以支持人工智慧算法的開發，這需要克服某些基本的技術、法律和道德問題。例如，美國國家衛生研究院最近共享了胸部X線和CT數據存儲庫，以幫助人工智慧科學家。這種努力使疾病狀態的受眾範圍擴大了。
另一個限制包括AI的可解釋性以及由於特定結果背後的原因而詢問此類方法的能力，以及對失敗的預期。儘管目前的研究狀況將性能提升放在了可解釋性和透明度之上，但人工智慧的可解釋性是一個活躍的研究領域。在人工智慧系統中，信任和透明的好處會因其性能的不同而不同，允許在人工智慧是非人類的情況下識別失敗，從而將超人類人工智慧轉化為學習資源。從法律角度來看，政策制定者已經注意到：關於通過解釋改進人工智慧問責制的討論最近在《歐盟一般數據保護條例》中進行了辯論，並繼續出現在法律目前要求解釋的敏感應用中，或預計在不久的將來需要。
從倫理的角度看，存在一個問題：臨床部署的人工智慧系統的希波克拉底誓言是什麼，如何執行？儘管數據整理和建模實踐在本質上是有偏見的，因為它們考慮到了特定的患者群體，但必須有意識地努力確切地了解誰將是此類技術的最終受益者和利益相關者。算法在設計上可能是不道德的，並且可能會加劇已經存在的在提供治療護理和轉化利潤之間的緊張關係。此外，必須採取一種防止「習得性無助（learned helplessness）」的措施，以遏制對自動化的高度依賴和對常識的最終放棄。最後，自動化系統還可能挑戰醫患關係中的責任動力（dynamics of responsibility），以及對保密性的期望。
在監管方面，自20世紀90年代以來，美國食品和藥品管理局（FDA）一直在對自動化臨床決策系統進行監管。隨著新預測技術（包括深度學習）的出現，尋求批准的預測模型必須根據訓練中使用的標記數據進行進一步審查預期的用例，它們的通用性和針對邊緣用例的魯棒性，以及它們的終身學習方面，因為它們會隨著學習和數據的不斷更新而不斷更新。人工智慧應用軟體很可能需要經過嚴格的測試，新提交的軟體必須經過嚴格的測試才能獲得監管部門的批准，包括質量控制和風險評估。由於雲計算和虛擬化越來越多地被用來處理醫療數據，醫療信息技術正逐漸成為「大數據」革命的一部分。這為整合通常是分散的最先進的人工智慧系統提供了一個良好的環境。然而，它引起了數據安全和隱私問題，因為保持醫療保險的可移植性和責任法案的合規性至關重要。當前的網絡安全研究開始提供解決方案，包括加密網，其中同態加密允許神經網絡對加密數據進行訓練和推理。
今天的醫學診斷範式集中於視覺上可識別發現的檢測，這些發現提示圖像中的離散病理改變。然而，這種單一疾病過程檢測的重點可能會遺漏個體作為一個整體的並發狀況。成像方法，從簡單的X射線到先進的斷層成像方法，如MRI或CT，為評估腫瘤周圍器官系統提供了機會。
隨著人工智慧的集成，生物網絡的複雜評估可能會對反應和預後的評估以及治療計劃產生深遠的影響。除了發現腫瘤外，影像學還可以發現腫瘤以外鄰近或遠處器官的變化，從而改變患者對最終導致死亡的系統性疾病的易感性。這可能是疾病發展本身的副產品，也可能是治療（如放療或化療）的副產品。例如，在接受胸腺癌或乳腺癌治療的患者中，化療可能會導致心肌損傷，而放射治療則會促進晚期冠狀動脈粥樣硬化；癌症存活的患者也會經歷高比率的心血管事件。總的來說，這些心臟毒性可能會在癌症監測過程中的常規成像上產生信號，並在疾病發展的早期階段通過捕捉疾病過程全景綜合分析系統進行檢測。將人工智慧應用於這一臨床場景的最初概念源於這樣一個發現：胸部腫瘤和心血管病理學彼此相鄰，且可以同時檢測到（即胸部CT上的冠狀動脈鈣化或心包脂肪）。因此，基於人工智慧的自動檢測和定量算法的發展將使心臟代謝標誌物的評估無需額外成像。通過同時評估來自同一數據源的額外風險將人工智慧的作用擴展到篩查。由於醫療保健的最終目的是預防疾病，因此，建立準確的風險模型對於指導可行的風險調整策略至關重要。
雖然人工智慧可以檢測到可能對臨床有益的偶然發現，但這些發現也可能在臨床上是不相關的，如果不在正確的臨床背景下仔細分析，可能會增加患者的壓力、醫療費用和治療的不良副作用。很可能在人工智慧的早期階段，當人類專家將繼續在把關人工智慧輸出方面發揮關鍵作用時，人工智慧檢測到的大多數偶然發現仍將由人類進行評估，以辨別它們是否具有臨床意義，方式與人類檢測到偶然發現時相同。隨著時間推移，人工智慧系統逐漸成熟，這些偶然發現可能成為標準數據評估和報告的一部分，就像在患者臨床環境中評估和報告原發性病變一樣。
此外，影像學並不是衡量疾病的一個孤立指標。越來越多的人認識到，腫瘤的分子特徵，包括腫瘤的非侵入性血液生物標誌物、社會經濟地位，甚至社會網絡，對腫瘤患者的預後有影響。數據來源也在迅速擴展，不僅僅是直接的醫療檢查，還包括可穿戴設備、手機、社交媒體、非結構化電子健康記錄以及數字時代的其他組成部分。人工智慧非常適合於隨著時間的推移整合平行的生物、人口和社會信息流，以改進患者預後的預測模型。
隨著人工智慧的力量和潛力越來越被證明，人工智慧向常規臨床實踐的過渡還有多個方向。對於影像學分析，如果要準備取代臨床醫生的工作流程，則與對照研究中的人類專家相比，人工智慧方法的準確性和預測能力需要進行顯著改善，並需要具有可比的或更好的療效證明。這顯示了在幾種疾病條件下的初步前景，但需要在前瞻性試驗和醫生、技術人員和物理學家的教育中提供更多的臨床實用性證據，以便廣泛應用。儘管人類專家在查看人工智慧生成的結果時可能總是會有一個「黑匣子」，但數據可視化工具越來越可用，可以在一定程度上直觀地理解算法是如何做出決策的。
整合疾病相關和無關因素的綜合數據集和結果的整理也將有助於訓練和擴展人工智慧系統，以考慮腫瘤本身以外的風險。在全球範圍內，與專家臨床醫生接觸的機會有限或接觸不常見的病理學，人工智慧可以提供一系列「專家」經驗來解釋疾病。相反地，沒有人類專家提供的基本事實而預測結果的策略可能會破壞今天臨床醫生和患者熟悉的傳統工作流程。此外，將人工智慧更多地納入衛生資源和結果的監測可能會提高效率並降低成本。與任何新的創新技術一樣，發展的可能性超出了當前的想像。
編譯自：Bi WL, Hosny A, Schabath MB, Giger ML, Birkbak NJ, Mehrtash A, Allison T, Arnaout O, Abbosh C, Dunn IF, Mak RH, Tamimi RM, Tempany CM, Swanton C, Hoffmann U, Schwartz LH, Gillies RJ, Huang RY, Aerts HJWL. Artificial intelligence in cancer imaging: Clinical challenges and applications. CA Cancer J Clin. 2019 Mar;69(2):127-157. doi: 10.3322/caac.21552. 文中觀點均為原作者觀點，僅供專業人士交流目的，不用做商業用途。
2021年1月11日
閱讀原文