多變量預測模型研究的報告指南:TRIPOD聲明

2020-07-28 腫瘤

臨床預測模型可以幫助臨床醫師評估患者發生某種疾病(診斷模型)或未來某一時間發生特定事件(預後模型)的可能性或風險,能夠輔助臨床醫師做出臨床決策。

但是大多數證據表明,預測模型研究的報告質量較差。只有全面清晰的報告預測模型各個方面的信息,才能充分評估預測模型存在的偏倚風險和潛在有用性。

TRIPOD工作組提出了一系列建議,旨在幫助臨床醫師在開發、驗證或更新預測模型時需要注意哪些方面。

本篇文章介紹了TRIPOD聲明中的22個項目,這些項目是報告預測模型研究時必不可少的。TRIPOD聲明旨在提高預測模型研究報告的透明度,而不探究預測模型的研究方法。

多變量預測模型研究的報告指南:TRIPOD聲明


目 錄

  • 1. 介紹
  • 2. 預測模型研究
  • 3. 多變量預測模型研究的報告
  • 4. 預測模型研究報告指南:TRIPOD聲明
  • 5. TRIPOD檢查清單
  • 6. TRIPOD解釋和說明
  • 7. 討論
  • End

1. 介紹

在醫學領域,臨床醫師會根據患者一系列特徵來估計其現在或將來發生某一特定事件的風險和概率,從而做出臨床決策(圖1)。

多變量預測模型研究的報告指南:TRIPOD聲明

圖1 診斷和預後預測建模研究的示意圖

圖1 診斷模型中預測的性質是在預測時間T=0時,估計患者發生某種疾病或特定事件的可能性。預後模型中預測的性質是估計患者在特定時間段內是否會出現特定事件或結局的可能性。換句話說,診斷模型主要關注的是橫斷面關係,而預後模型則涉及縱向關係。

診斷預測模型可以評估患者發生某種疾病的概率,然後及時通知患者轉診,進行進一步檢查。

預後預測模型可以評估患者未來某一時間發生特定事件的風險,可以通過加強隨訪,改善患者預後。

這種風險估計也可以用於治療性的臨床試驗中,對受試者進行風險分層。

在風險評估時,很少基於單個預測變量去估計患者的風險,臨床醫生通常會根據患者的臨床特徵、檢驗結果等多項指標來做出預測,因此預測的本質通常是基於多變量的。

多變量預測模型研究的報告指南:TRIPOD聲明

圖2 診斷模型和預後模型研究之間的差異

預測模型通常也叫風險評分、預測規則,是通過結合多個預測變量並為每個預測變量分配相應權重來評估風險或概率的一種數學工具。常見的預測模型有Framingham風險評分、Ottawa Ankle Rules、EuroScore、Nottingham Prognostic Index和SAPS等。

2. 預測模型研究

預測模型研究大致分為模型開發研究、模型驗證研究或兩者都有的研究(圖3)。模型開發研究是通過篩選相關的預測變量,並將這些預測變量進行統計分析,最後推導出一個多變量預測模型。

Logistic最常用於短期結局(如疾病的有無,30天死亡率),而Cox回歸最常用於長期結局(如10年風險)。

有些研究還可能專注於對某個特定預測變量(如新發現的變量)所帶來的預測價值進行量化。

多變量預測模型研究的報告指南:TRIPOD聲明

多變量預測模型研究的報告指南:TRIPOD聲明

圖3 TRIPOD聲明涵蓋的預測模型研究的類型

使用建模時使用的原始數據集來評估預測模型的預測能力時會使結果過於樂觀,這是由於模型的過度擬合和預測變量篩選策略導致的。因此開發新預測模型的研究應始終包括某種形式的內部驗證,通過內部驗證來量化開發模型中預測性能的任何樂觀估計。

內部驗證技術只需要使用開發模型的原始數據,它包括bootstrapping和交叉驗證等方法。內部驗證對於模型開發是很有必要的。在模型開發過程中,也可以使用shrinkge或者懲罰(如嶺回歸和Lasso回歸)來解決過度擬合、樂觀和錯誤校準的問題。

在構建好預測模型之後,強烈建議在開發數據集之外的患者群體中評估模型的性能,也就是外部驗證。外部驗證要求使用構建好的原始模型來預測新數據集中患者的結局,並將預測結局與實際觀察的結局進行比較。

外部驗證可以使用同一研究人員收集的患者數據,通常使用定義和測量都相同的預測變量和結局變量,但有時候外部驗證的樣本數據不是在同一時間,而是在以後時間收集的數據(時間驗證或狹義驗證);或者是其他國家/地區的其他研究人員使用不同的定義和測量方法收集的數據(地理或廣泛驗證);或者不同臨床環境下但患者相似的數據;或者其他類型的患者數據。

如果模型的性能較差,可以根據驗證數據集數據進行更新或調整。

3. 多變量預測模型研究的報告

有幾篇綜述評估了預測模型研究的報告的質量,發現大多數預測模型的研究報告質量較差,從患者數據描述到統計建模方法,都沒有充分描述模型開發的各個方面信息。

大多數預測模型研究報告存在以下問題:預測變量篩選、缺失數據處理和模型構建策略的關鍵細節描述較少;統計方法存在缺陷、樣本量較小、缺失數據處理不當、模型缺乏驗證等。

上述存在的問題最終可以導致開發出來的預測模型不能應用於臨床實踐。因此,相比較於已經開發的大量模型,很少有預測模型可以在臨床實踐中廣泛應用。

近年來,醫學領域開發的預測模型越來越多。衛生領域的決策者們也建議在臨床實踐中使用預測模型,來幫助臨床醫師做出臨床決策。預測模型研究報告的一般要求是:如果有需要,其他研究人員可以重複論文中的步驟來獲得相同的結果。因此,在研究報告時,必須清楚的描述開發和驗證模型的關鍵細節。

4. 預測模型研究報告指南:TRIPOD聲明

本文描述了TRIPOD聲明的開發,該聲明是專門為開發和驗證多變量預測模型的研究報告而設計的,不適用於病因學研究中的多變量預測建模或者研究單個預測變量的研究。另外,TRIPOD聲明也不適用於影響研究。

觀察性研究STROBE、腫瘤標記物研究REMARK、診斷準確研究STARD和遺傳風險預測研究GRIPS的報告指南均包含許多與開發或驗證預測模型有關的項目,但這些報告指南不完全適用於預測模型研究。

與預測模型最接近的兩條報告指南是REMARK和GRIPS。然而REMARK的重點主要是預後因素,而不是預測模型,而GRIPS聲明旨在利用遺傳風險因素和圍繞處理大量遺傳變異的特定方法論問題進行風險預測。

TRIPOD聲明涵蓋了醫學領域中診斷和預後預測模型的開發和驗證。聲明還更加重視驗證研究和此類研究的報告要求。評估特定預測變量增量值的研究報告也完全符合TRIPOD的職權範圍。

5. TRIPOD檢查清單

TRIPOD聲明是一個包含22個項目的檢查清單,這些項目對於報告開發和驗證多變量預測模型的研究至關重要。包括標題和摘要(項目1和2)、背景和目的(項目3)、方法(項目4-12)、結果(項目13-17)、討論(項目13-20)和其他信息(項目21-22)。

多變量預測模型研究的報告指南:TRIPOD聲明

22個項目清單

TRIPOD聲明涵蓋了預測模型開發、預測模型驗證以及兩者結合的所有研究類型(圖3),因此有些項目僅與預測模型開發的研究有關,如項目10a、10b、14和15。有些項目僅與預測模型外部驗證的研究有關,如10c、10e、12、13c、17和19a。其他所有項目均與預測模型開發和驗證研究有關。

用D表示僅與預測模型開發有關的項目,用V表示僅與預測模型驗證有關的項目,用D;V表示與兩種研究類型都有關的項目。

TRIPOD聲明僅是報告預測模型研究的指南,並沒有規定如何開發或驗證預測模型。另外,這個聲明也不是衡量多變量預測模型質量的評估工具。

6. TRIPOD解釋和說明

除了TRIPOD聲明外,我們還針對該聲明製作了詳細的解釋和說明文件。每一個項目都進行了解釋和說明,並提供了已發表文章的優秀報告示例。

另外,因為很多預測模型研究在方法上都很薄弱,解釋和說明文件中也總結了一些優秀方法的示例。

7. 討論

許多文章表明,醫學領域已發表的文章中多變量預測模型開發和驗證的報告質量都較差。在沒有研究關鍵細節的詳細報告情況下,科學和醫學界很難客觀地判斷預測模型研究的優缺點。

TRIPOD聲明的目的是提高預測模型研究的報告質量。聲明的制定主要是幫助研究者去怎麼撰寫預測模型開發、驗證或更新的報告,幫助期刊編輯和同行評審專家審閱研究者提交的論文手稿,並幫助讀者對已發表的預測模型研究進行嚴格評估。

TRIPOD聲明並未規定如何開發、驗證和更新模型,也不是評估預測模型研究質量和量化偏倚風險的工具。但是聲明也希望研究人員採用恰當的研究設計進行統計分析,確保報告模型開發和驗證的所有方面。TRIPOD的解釋和說明文件描述了預測模型研究的好的研究設計方法,並強調了應該避免的一些不恰當的方法。

TRIPOD聲明鼓勵研究人員提供可以反映研究設計和研究步驟的完整透明報告。這也是研究人員應該提供的最低限度的信息,用來告訴讀者該研究是如何進行的。

不建議研究者採用標準化的報告結構,研究者只需要詳細清晰的說明研究的關鍵細節信息。

TRIPOD聲明鼓勵研究人員制定研究方案,尤其是預測模型開發研究,還可以在ClinicalTrials.gov網站中註冊研究。在進行前瞻性研究時,也要認識到研究方案對預測模型開發和驗證的重要性。研究作者可以在手稿提交給同行評審時附上研究方案,以便讀者了解將患者納入研究的依據或者所有分析是否經過預處理。

為了幫助期刊編輯、同行評審審稿以及論文出版後方便讀者閱讀,建議將本研究的清單項目作為手稿的附件材料提交。清單的TRIPOD報告模板可以從www.tripod-statement.org網站下載。

歡迎關注精準醫學微信公眾號,獲取更多精彩內容。方法1:微信查找(精準醫學)。方法2:加微信公眾號(precismed)。

相關焦點

  • 臨床預測模型:模型的建立
    開發臨床預測模型是一項複雜的系統工程,涉及研究問題、數據集、變量、模型以及結果報告諸多環節,儘管有眾多文獻討論過其中的方法學問題[1-5],《個體預後與診斷的多變量預測模型透明報告》(TRIPOD)研究組也給出了報告規範[6],但仍有很多臨床預測模型在方法學上存在缺陷。在本系列文章開篇文章的基礎上[7],本文將臨床預測模型建立的全過程歸納總結為8個步驟,並將其中的概念及重要原則做一系統介紹。
  • 論文中統計報告的注意事項:多因素模型和診斷試驗|協變量|統計學|...
    在之前的文章中,我們介紹了p值、置信區間、研究估計值等報告時要注意的問題,今天這篇文章我們再來看一看多因素模型和診斷試驗中統計報告的注意事項,以及結論和解釋部分要注意的問題 1.2 避免完全依賴「逐步選擇」研究者通常根據單因素分析的結果來選擇多因素模型中要納入哪些變量;或者,先將所有變量都納入到一個模型中,然後刪除那些統計學意義不顯著的變量。
  • 論文中統計報告的注意事項:多因素模型和診斷試驗
    作者:楊超 魯藝斐 李延龍 張耀文2019年3月,European Urology 雜誌(IF 17.581)發表了泌尿外科臨床研究領域的統計報告指南《Guidelines for Reporting of
  • 單變量和多變量對基因表達式的預測能力對比
    DESeq2與LASSO對基因表達的預測能力在這篇文章中,我們將比較LASSO、PLS、Random Forest等多變量模型與單變量模型的預測能力,如著名的差異基因表達工具DESeq2以及傳統的Mann-Whitney U檢驗和Spearman相關。使用骨骼肌RNAseq基因表達數據集,我們將展示使用多變量模型構建的預測得分,以優於單變量特徵選擇模型。
  • 廣義線性模型|二分類廣義線性模型—因變量是二分類變量
    如二分類logistic回歸模型,在模型類型上選擇「二元Logistic」;等級資料的logistic回歸模型,則應選擇「有序Logistic」。  在響應對話框中,因變量選擇死亡數,試驗變量為實驗動物。
  • 數據建模中分類與預測模型
    數據來源:徽商期貨研究所  四、回歸分析  回歸分析是通過建立模型來研究變量之間相互關係的密切程度、結構狀態及進行模型預測的一種有效工具,在工商管理、經濟、社會、醫學和生物學等領域應用十分廣泛。從19世紀初高斯提出最小二乘估計起,回歸分析的歷史已有200多年。從經典的回歸分析方法到近代的回歸分析方法,按照研究方法劃分,回歸分析研究的範圍大致如表2所示。
  • 多變量多因子的非線性模型|BP神經網絡模型
    神經網絡模型的靈感來源於生物體內的神經網絡,大量的神經元(可以理解為變量)之間相互聯繫,共同協作處理問題。在模型中,同樣存在諸多神經元,他們之間相互聯繫,共同決定了輸出的結果。神經網絡的訓練目的是為了獲得一組權重,使得輸入量帶入模型得出的輸出量與目標變量誤差最小,若誤差值不符合條件,則返回將權重增加或減小,再次帶入模型驗證,這樣的一個反向修改帶入模型的過程就是BP神經網絡的訓練過程如果輸入神經元與輸出神經元是線性關係,可以直接進行線性回歸,若非線性關係,就可以利用BP神經網絡。
  • 二分類Logistic回歸:SPSS詳細操作及模型預測
    然後利用Logistic模型判斷年齡(age)、體重(weight)、性別(gender)和最大攝氧量(VO2max)能否預測心臟病患病(heart_disease)情況。  部分數據如下圖,變量caseno為每個研究對象的唯一編碼。
  • 多因子模型簡述
    本文目的是給投資者介紹更多樣的分析模型,讓投資者在行情的隨機變化中可以有更豐富的選擇和判斷空間。Report 報告多因子模型簡介多因子模型目前已成為投資實踐的主流方法,並且在衡量與控制風險方面擁有優越性能。在投資中,因子指不同資產收益間的共同特徵。多因子模型被廣大投資者使用,以便進行資產組合的構建、組合管理、風險管理以及歸因分析。
  • FDA 2019年《群體藥物代謝動力學行業指南》草案翻譯
    群體PK模型可以預測特定時間點的個體患者暴露,而不管採樣時間的擴散(例如,可以預測所有受試者的谷濃度)。當PK數據在少數受試者中缺失時,群體PK模型可以基於受試者的個體協變量(例如,體重,遺傳多態性,性別)預測最可能的濃度 - 時間曲線。假設殘餘誤差和受試者之間的變異性較低,並且觀察到的協變量對藥物PK性質的影響很大,這種預測是有用的(參見VD部分)。
  • 神經影像個體差異預測模型的十個簡單規則
    在給定的研究中,需要考慮大量模型和超參數(例如,通過控制特徵選擇和權重來調整模型稀疏性/複雜性的正則化參數;請參閱Rules #2),並必須考慮對這些多重比較校正。例如,在一項探索性研究中,研究人員可能想測試兩種不同的預測建模策略,以預測數據集中的變量「 X」。每個策略可能需要兩個超參數,並且他們可能決定為每個參數測試20個值。然後,他們可能希望測試兩種不同的預處理方法。
  • 善用模型輔助決策——以準確預測疫情峰值時點舉例
    在海外疫情爆發的當下,我們洞察發展態勢,應用SIR模型對全球(除中國)的最新疫情發展情況進行擬合,模型預測確診人數將在4月中旬到達峰值,全球疫情有望屆時迎來拐點。 二、建模思路 我們借峰值時點預測這個案例,介紹研究中如何借用模型來幫助決策。
  • 教你用R畫列線圖(Nomogram),讓預測模型結果可視化!
    還沒來得及閱讀的小夥伴請點擊查看:    同樣是構建多因素回歸模型,往往我們另一個主要目的是為了對結局事件的發生風險進行預測,那麼是否也可以將預測模型的結果,像森林圖那樣可視化地展示出來呢?今天小咖就來帶大家認識一下神奇的列線圖。
  • 論文推薦王苗苗:無縫線性回歸與預測模型
    E-mail:5wmmgps@tongji.edu.cn通信作者: 李博峰bofeng_li@tongji.edu.cn摘要:建立回歸模型常採用最小二乘方法並忽略自變量觀測誤差。儘管同時顧及自變量和因變量觀測誤差的總體最小二乘方法近年來得到了廣泛研究,但在模型預測時,依然忽略了待預測自變量的觀測誤差。
  • spss多變量回歸分析 - CSDN
    它是「不發聲」的過程變量,通過設置啞變量,可將多分類變量進行二值化的處理,從而結局多分類特別是無需多分類變量無法納入回歸分析模型的尷尬局面。該資料庫中有一個變量為種族,變量值為白人/黑人/其他人,為無序多分類資料(賦值分別是1、2、3)。如果該變量納入回歸模型,怎麼解讀回歸係數b值呢?
  • 從這篇22分+文章入手,帶你深度探討臨床預測模型研究思路
    相信此時許多小夥伴的表情應該是這樣的作為一個一線小醫生,在沒有豐富的臨床經驗的情況下,這時候多希望自己能開開天眼,算算病人的預後怎麼樣。實際上,研究的先行者們早已經考慮到並構建了方法學來解決這個問題——臨床預測模型。
  • 教程| 如何為單變量模型選擇最佳的回歸函數
    請注意,我將分享我選擇模型的方法。模型的選擇有多種方式,可能會有其他不同的方法,但我描述的是最適合我的方式。 另外,這種方法只適用於單變量模型。單變量模型只有一個輸入變量。我會在之後的文章中描述如何用更多的輸入變量評估多變量模型。然而,在今天這篇文章中我們只關注基礎的單變量模型。
  • R語言 | randomForest包的隨機森林回歸模型以及對重要變量的選擇
    在前文中,響應變量是一組類別變量(代表了樣本的分組信息),此時隨機森林用於執行監督分類的功能,模型的精度在於通過選定的預測變量組合將樣本正確劃分歸類的概率。而當響應變量是一組連續變量時,可將回歸森林用於回歸。此時,回歸模型的精度體現了選定的預測變量對響應變量數值改變有關方差的整體解釋率(可以理解為回歸的R2)。
  • 研究團隊以計算機模型預測珊瑚礁健康狀況
    為了拯救珊瑚礁,英屬哥倫比亞大學奧卡納幹分校(UBC Okanagan)攜手澳洲福林德斯大學(Flinders University)與海洋環境保育組織Nova Blue Environment建立計算機模型,來預測珊瑚礁未來的健康狀況。研究團隊使用Agent模型建立一個虛擬場景,科學家可以控制不同變量和類型。
  • 預測模型的偏倚風險考慮和PROBAST
    個人覺得可能存在以下因素:1)對象與場景:即在哪些人中和何種環境下進行健康相關預測;2)指標和測量:即使用哪些指標進行預測,如對其進行測量;3)結局的選擇:即結局的測量以及金標準的選擇是否準確;4)算法的好壞:即模型採用的算法是否精當。5)現有的工具:預測模型研究的偏倚風險和適用性評估工具PROBAST。