臨床預測模型可以幫助臨床醫師評估患者發生某種疾病(診斷模型)或未來某一時間發生特定事件(預後模型)的可能性或風險,能夠輔助臨床醫師做出臨床決策。
但是大多數證據表明,預測模型研究的報告質量較差。只有全面清晰的報告預測模型各個方面的信息,才能充分評估預測模型存在的偏倚風險和潛在有用性。
TRIPOD工作組提出了一系列建議,旨在幫助臨床醫師在開發、驗證或更新預測模型時需要注意哪些方面。
本篇文章介紹了TRIPOD聲明中的22個項目,這些項目是報告預測模型研究時必不可少的。TRIPOD聲明旨在提高預測模型研究報告的透明度,而不探究預測模型的研究方法。
目 錄
在醫學領域,臨床醫師會根據患者一系列特徵來估計其現在或將來發生某一特定事件的風險和概率,從而做出臨床決策(圖1)。
圖1 診斷和預後預測建模研究的示意圖
圖1 診斷模型中預測的性質是在預測時間T=0時,估計患者發生某種疾病或特定事件的可能性。預後模型中預測的性質是估計患者在特定時間段內是否會出現特定事件或結局的可能性。換句話說,診斷模型主要關注的是橫斷面關係,而預後模型則涉及縱向關係。
診斷預測模型可以評估患者發生某種疾病的概率,然後及時通知患者轉診,進行進一步檢查。
預後預測模型可以評估患者未來某一時間發生特定事件的風險,可以通過加強隨訪,改善患者預後。
這種風險估計也可以用於治療性的臨床試驗中,對受試者進行風險分層。
在風險評估時,很少基於單個預測變量去估計患者的風險,臨床醫生通常會根據患者的臨床特徵、檢驗結果等多項指標來做出預測,因此預測的本質通常是基於多變量的。
圖2 診斷模型和預後模型研究之間的差異
預測模型通常也叫風險評分、預測規則,是通過結合多個預測變量並為每個預測變量分配相應權重來評估風險或概率的一種數學工具。常見的預測模型有Framingham風險評分、Ottawa Ankle Rules、EuroScore、Nottingham Prognostic Index和SAPS等。
預測模型研究大致分為模型開發研究、模型驗證研究或兩者都有的研究(圖3)。模型開發研究是通過篩選相關的預測變量,並將這些預測變量進行統計分析,最後推導出一個多變量預測模型。
Logistic最常用於短期結局(如疾病的有無,30天死亡率),而Cox回歸最常用於長期結局(如10年風險)。
有些研究還可能專注於對某個特定預測變量(如新發現的變量)所帶來的預測價值進行量化。
圖3 TRIPOD聲明涵蓋的預測模型研究的類型
使用建模時使用的原始數據集來評估預測模型的預測能力時會使結果過於樂觀,這是由於模型的過度擬合和預測變量篩選策略導致的。因此開發新預測模型的研究應始終包括某種形式的內部驗證,通過內部驗證來量化開發模型中預測性能的任何樂觀估計。
內部驗證技術只需要使用開發模型的原始數據,它包括bootstrapping和交叉驗證等方法。內部驗證對於模型開發是很有必要的。在模型開發過程中,也可以使用shrinkge或者懲罰(如嶺回歸和Lasso回歸)來解決過度擬合、樂觀和錯誤校準的問題。
在構建好預測模型之後,強烈建議在開發數據集之外的患者群體中評估模型的性能,也就是外部驗證。外部驗證要求使用構建好的原始模型來預測新數據集中患者的結局,並將預測結局與實際觀察的結局進行比較。
外部驗證可以使用同一研究人員收集的患者數據,通常使用定義和測量都相同的預測變量和結局變量,但有時候外部驗證的樣本數據不是在同一時間,而是在以後時間收集的數據(時間驗證或狹義驗證);或者是其他國家/地區的其他研究人員使用不同的定義和測量方法收集的數據(地理或廣泛驗證);或者不同臨床環境下但患者相似的數據;或者其他類型的患者數據。
如果模型的性能較差,可以根據驗證數據集數據進行更新或調整。
有幾篇綜述評估了預測模型研究的報告的質量,發現大多數預測模型的研究報告質量較差,從患者數據描述到統計建模方法,都沒有充分描述模型開發的各個方面信息。
大多數預測模型研究報告存在以下問題:預測變量篩選、缺失數據處理和模型構建策略的關鍵細節描述較少;統計方法存在缺陷、樣本量較小、缺失數據處理不當、模型缺乏驗證等。
上述存在的問題最終可以導致開發出來的預測模型不能應用於臨床實踐。因此,相比較於已經開發的大量模型,很少有預測模型可以在臨床實踐中廣泛應用。
近年來,醫學領域開發的預測模型越來越多。衛生領域的決策者們也建議在臨床實踐中使用預測模型,來幫助臨床醫師做出臨床決策。預測模型研究報告的一般要求是:如果有需要,其他研究人員可以重複論文中的步驟來獲得相同的結果。因此,在研究報告時,必須清楚的描述開發和驗證模型的關鍵細節。
本文描述了TRIPOD聲明的開發,該聲明是專門為開發和驗證多變量預測模型的研究報告而設計的,不適用於病因學研究中的多變量預測建模或者研究單個預測變量的研究。另外,TRIPOD聲明也不適用於影響研究。
觀察性研究STROBE、腫瘤標記物研究REMARK、診斷準確研究STARD和遺傳風險預測研究GRIPS的報告指南均包含許多與開發或驗證預測模型有關的項目,但這些報告指南不完全適用於預測模型研究。
與預測模型最接近的兩條報告指南是REMARK和GRIPS。然而REMARK的重點主要是預後因素,而不是預測模型,而GRIPS聲明旨在利用遺傳風險因素和圍繞處理大量遺傳變異的特定方法論問題進行風險預測。
TRIPOD聲明涵蓋了醫學領域中診斷和預後預測模型的開發和驗證。聲明還更加重視驗證研究和此類研究的報告要求。評估特定預測變量增量值的研究報告也完全符合TRIPOD的職權範圍。
TRIPOD聲明是一個包含22個項目的檢查清單,這些項目對於報告開發和驗證多變量預測模型的研究至關重要。包括標題和摘要(項目1和2)、背景和目的(項目3)、方法(項目4-12)、結果(項目13-17)、討論(項目13-20)和其他信息(項目21-22)。
22個項目清單
TRIPOD聲明涵蓋了預測模型開發、預測模型驗證以及兩者結合的所有研究類型(圖3),因此有些項目僅與預測模型開發的研究有關,如項目10a、10b、14和15。有些項目僅與預測模型外部驗證的研究有關,如10c、10e、12、13c、17和19a。其他所有項目均與預測模型開發和驗證研究有關。
用D表示僅與預測模型開發有關的項目,用V表示僅與預測模型驗證有關的項目,用D;V表示與兩種研究類型都有關的項目。
TRIPOD聲明僅是報告預測模型研究的指南,並沒有規定如何開發或驗證預測模型。另外,這個聲明也不是衡量多變量預測模型質量的評估工具。
除了TRIPOD聲明外,我們還針對該聲明製作了詳細的解釋和說明文件。每一個項目都進行了解釋和說明,並提供了已發表文章的優秀報告示例。
另外,因為很多預測模型研究在方法上都很薄弱,解釋和說明文件中也總結了一些優秀方法的示例。
許多文章表明,醫學領域已發表的文章中多變量預測模型開發和驗證的報告質量都較差。在沒有研究關鍵細節的詳細報告情況下,科學和醫學界很難客觀地判斷預測模型研究的優缺點。
TRIPOD聲明的目的是提高預測模型研究的報告質量。聲明的制定主要是幫助研究者去怎麼撰寫預測模型開發、驗證或更新的報告,幫助期刊編輯和同行評審專家審閱研究者提交的論文手稿,並幫助讀者對已發表的預測模型研究進行嚴格評估。
TRIPOD聲明並未規定如何開發、驗證和更新模型,也不是評估預測模型研究質量和量化偏倚風險的工具。但是聲明也希望研究人員採用恰當的研究設計進行統計分析,確保報告模型開發和驗證的所有方面。TRIPOD的解釋和說明文件描述了預測模型研究的好的研究設計方法,並強調了應該避免的一些不恰當的方法。
TRIPOD聲明鼓勵研究人員提供可以反映研究設計和研究步驟的完整透明報告。這也是研究人員應該提供的最低限度的信息,用來告訴讀者該研究是如何進行的。
不建議研究者採用標準化的報告結構,研究者只需要詳細清晰的說明研究的關鍵細節信息。
TRIPOD聲明鼓勵研究人員制定研究方案,尤其是預測模型開發研究,還可以在ClinicalTrials.gov網站中註冊研究。在進行前瞻性研究時,也要認識到研究方案對預測模型開發和驗證的重要性。研究作者可以在手稿提交給同行評審時附上研究方案,以便讀者了解將患者納入研究的依據或者所有分析是否經過預處理。
為了幫助期刊編輯、同行評審審稿以及論文出版後方便讀者閱讀,建議將本研究的清單項目作為手稿的附件材料提交。清單的TRIPOD報告模板可以從www.tripod-statement.org網站下載。
歡迎關注精準醫學微信公眾號,獲取更多精彩內容。方法1:微信查找(精準醫學)。方法2:加微信公眾號(precismed)。