要做一致性檢驗,統計方法怎麼選?

2021-02-08 醫咖會

作者:李侗桐;審稿:張耀文

一致性檢驗主要分為4種:(1)重測一致性,用於分析同一檢測方法多次測量的一致性;(2)觀察者一致性,用於分析不同觀察者對同一研究對象進行評估的一致性;(3)內部一致性,用於分析測量工具(如問卷)中不同問題對同一事物的測量信度;(4)診斷試驗一致性,用於判斷新方法與金標準的檢驗結果一致性。示例如下:


2.1 重測一致性


如果研發了一種新的測量工具(如,問卷或某種生物標誌物的檢測試劑),研究者會想知道該測量工具的可靠性。即,重測一致性是檢驗某一檢測方法多次測量的一致性。換句話說,分別對一位受試者進行兩次檢測,檢測結果一樣嗎?


舉例來說,在理想情況下,分別2次測量同一組受試者的血壓。如果測量工具可靠,那麼每位受試者兩次得到的血壓值應該一致。重測一致性就是對該類情況進行檢驗,分析同一組研究對象經過多測檢測後,檢測結果的一致性。示例如下:


 

2.2 觀察者一致性


觀察者一致性常用於分析2位及以上觀察者對同一研究對象進行評估的一致性。舉例來說,研究者擬分析2位放射科醫生對疾病嚴重程度診斷的一致性。現收集了50位研究對象的MRI檢查結果,並要求放射科醫生分別對每份MRI檢查給予最輕到最重5個等級的臨床診斷。


如果一位醫生給其中一位患者MRI的診斷為最重(5分),但另一位醫生的診斷為輕度(2分),那麼就說明這兩位醫生對該患者MRI的診斷結果不一致。我們希望得到的結果是兩位醫生對每位患者的診斷結果都基本一致,甚至完全一樣,這樣就能夠說明這兩位醫生的診斷一致性較好。觀察者一致性研究設計就是用來分析這類情況的,通過統計學方法判斷觀察者評估結果的一致性。示例如下:


 

2.3 內部一致性


內部一致性常應用於問卷信效度檢驗,適用於分析測量工具(如問卷)中一組題目對研究對象的測量信度。在實際研究中,很多事物或態度是不能直接被測量的,比如工作積極性,研究者常需要設計一組題目間接反映它們的真實情況。但這些題目是否可以實現研究目的,就需要我們通過統計方法進一步分析了。舉例來說,研究者擬通過5個問題測量受試者的工作積極性,內部一致性檢驗可以幫助研究者分析這5個問題在測量工作積極性上的一致性。示例如下:



2.4 診斷試驗一致性


在疾病或生物標記物的檢測上常存在金標準,但研究者往往會提出一些新的檢測方法,或方便、或便宜、或依從性更高,希望分析這些新檢測方法與金標準檢測結果的可重複性,即開展診斷試驗一致性研究。示例如下:


確定開展重測一致性或觀察者一致性研究時,我們需要進一步判斷重複測量的次數來選擇合適的檢驗方法,一般分為重複測量2次或重複測量3次及以上


重測一致性的示例如下:



觀察者一致性的示例如下:


4.1 重測一致性或觀察者一致性


4.1.1 連續變量


(1) 重複測量2次

組內相關係數(ICC)。該檢驗常用於評價不同測量方法或觀察者對同一研究對象進行測量的結果一致性。在診斷實驗中,我們也常常使用ICC指標評價不同標準對同一組試驗結果進行診斷的可重複性。(更多閱讀:SPSS操作:組內相關係數(ICC))


(2) 重複測量3次及以上

組內相關係數(ICC)。該檢驗常用於評價不同測量方法或觀察者對同一研究對象進行測量的結果一致性。在診斷實驗中,我們也常常使用ICC指標評價不同標準對同一組試驗結果進行診斷的可重複性。


4.1.2 有序分類變量


(1) 重複測量2次

① 加權kappa係數

該檢驗方法是Kappa一致性檢驗針對有序分類變量的延伸,適用於開展重測一致性、觀察者一致性和診斷試驗一致性分析。(更多閱讀:SPSS操作:加權Kappa)


② Kendall協同係數

該檢驗又稱為Kendall’s W係數,適用於開展重測一致性、觀察者一致性和診斷試驗一致性分析。(更多閱讀:SPSS教程:Kendall's W檢驗)


(2) 重複測量3次及以上

Kendall協同係數。該檢驗又稱為Kendall's W係數,可以進行2次或多次(3次及以上)重複測量的一致性分析。


4.1.3 無序分類變量


(1) 2次重複測量

Kappa一致性檢驗。該檢驗又稱Cohen's kappa,常用於對比兩項檢驗結果的可重複性,多用於重測一致性、觀察者一致性和診斷試驗一致性分析。(更多閱讀:SPSS操作:一致性檢驗,如何計算Kappa值?)


(2) 重複測量3次及以上

Fleiss' kappa係數。該檢驗適用於分析重複測量3次及以上且測量結果是無序分類變量的重測一致性或觀察者一致性檢驗。SPSS沒有內置操作模塊,但可以通過拓展包輸出結果。


4.2 內部一致性


克朗巴哈係數(Cronbach's α)。該檢驗可以用於評價連續變量的內部一致性,也常用於檢測有序分類變量和二分類變量的內部一致性。(更多閱讀:SPSS操作:克朗巴哈係數(Cronbach's α))


4.3 診斷試驗一致性


(1) 連續變量

① 組內相關係數(ICC)

該檢驗常用於評價不同測量方法或觀察者對同一研究對象進行測量的結果一致性。在診斷實驗中,我們也常常使用ICC指標評價不同標準對同一組試驗結果進行診斷的可重複性。


② Bland–Altman分析

該方法是一種繪圖分析方法,通常以「95%一致性界限」,用圖形直觀地反映出診斷試驗測量結果的一致性。(更多閱讀:連續變量的一致性評價,教你一種圖示法『Bland-Altman法』)


(2) 有序分類變量

① 加權kappa係數

該檢驗方法是Kappa一致性檢驗針對有序分類變量的延伸,適用於開展重測一致性、觀察者一致性和診斷試驗一致性分析。


② Kendall協同係數

該檢驗又稱為Kendall's W係數,適用於開展重測一致性、觀察者一致性和診斷試驗一致性分析。


(3) 無序分類變量

Kappa一致性檢驗。該檢驗又稱Cohen's kappa,常用於對比兩項檢驗結果的可重複性,多用於重測一致性、觀察者一致性和診斷試驗一致性分析。



由醫咖會與心聯喬治心臟健康研究中心(HHRC)聯合建立的心血管研究協作網絡及數據共享平臺(CDS)已經上線!


目前開放共享的數據為「中國房顫註冊研究」,共有2.5萬多房顫數據,歡迎來申請使用數據,發表SCI論文!


平臺網址:

https://cds.mediecogroup.com/


點擊左下角「閱讀原文」,看看醫咖會既往推送了哪些統計教程。或者使用電腦打開網址:http://www.mediecogroup.com/,查看全部統計教程

快加小咖個人微信(xys2019ykh),拉你進統計討論群和眾多熱愛研究的小夥伴們一起交流學習。

相關焦點

  • Kappa一致性檢驗:兩種診斷方法的結果是否一致?
    一、基礎知識在數據分析或臨床工作中,我們會經常遇到檢驗一致性的問題,如判斷不同模型或者診斷方法在預測結果上是否具有一致性,如模型預測的結果與實際結果是否具有一致性,又如兩名或多名醫生對同一病人的診斷結論是否一致,又如一名醫生多次診斷結論是否一致。
  • 一致性檢驗的檢驗值 - CSDN
    松哥統計說SPSS在計算某些算法時,忽略了報告相應的檢驗統計量,比如本例,其實SPSS在計算配對四格表卡方的時候,也沒有報告Mcnemar卡方值,只報告了P值,其卡方也需要計算【2027】如何利用SPSS計算總體率與總體均數的95%可信區間【2026】SPSSS如何實現哈迪-溫伯格平衡(Hardy-Weinberg equilibrium)法則檢驗【2025】R×C列聯表(分類數據)的統計分析方法選擇與SPSS實現【2024】SPSS實現LD50/LC50計算【2023
  • 診斷試驗的一致性檢驗,這麼多方法,全都搞清楚了嗎?
    聊起診斷試驗那可是應用相當廣泛:評價兩種方法或儀器診斷結果是否一致,得用到診斷試驗;看看兩個大夫對同一群病人診斷是否一致,要用診斷試驗;評價同一組患者前後兩次診斷結果的一致性
  • 檢驗一致性,你用哪種方法?
    一致性檢驗的目的在於比較不同方法得到的結果是否具有一致性。檢驗一致性的方法有很多比如:Kappa檢驗、ICC組內相關係數、Kendall W協調係數等。每種方法的功能側重,數據要求都略有不同:SPSSAU整理Kappa係數檢驗,適用於兩次數據之間比較一致性
  • 【科研助手】統計學分析:一致性檢驗
    在醫學檢驗、影像學診斷分析、流行病學調查等論文中,常會選擇採用多個檢驗人員或檢驗診斷方法對同一批研究對象進行定性或定量檢查以保證結果的準確性。
  • 卡方檢驗、Kappa檢驗和McNemar檢驗的異同
    (1)選擇分析——描述統計——交叉表;(2)將甲方法和乙方法兩變量分別選入「行」列表框和「列」列表框;(3)在統計子對話框:分別勾選卡方;本案例中的Kappa值為0.507,數值介於0.4和0.6之間,因此說明甲乙兩種方法的檢驗結果雖然具有一致性,但一致性並不是很強。
  • 分類資料的差異比較常用統計方法選擇及SPSS實現
    ,行變量是一種方法,列變量是另外一種方法,這時候如果比較兩種診斷結果是否有差異,採用的方法就是配對四表格χ2檢驗(McNemar Test),此類設計的分析的目的往往還要看兩種診斷方法的一致程度(吻合程度)如何,這時就需要Kappa一致性檢驗。
  • 統計檢驗:實證會計研究方法的核心
    一、統計檢驗與實證會計研究方法之關係  有比較才能有鑑別。為認清實證會計研究方法的特點,我們不妨先把它和傳統的規範會計作一考察對比。  建立可證偽的假設就是建立可檢驗的假設。之所以稱之為「可證偽的」假設,是因為假設檢驗統計方法的基本思路是利用樣本所提供的信息去論證是否可以據此推翻原假設。
  • 問答| 一致性評價所採取的統計學方法可靠嗎?
    問答 | 一致性評價所採取的統計學方法可靠嗎?問1.一致性評價所採取的統計學方法可靠嗎?「一致性評價」在藥品非臨床研究領域應用廣泛,包括產品的合規性檢驗、方法確認、仿製藥一致性評價、生物類似藥的相似性評價和工藝穩定性評價等。所用統計推斷方法以等效性檢驗和過程能力分析更為科學和準確,如合規性檢驗和方法確認使用單組等效性檢驗;在仿製藥一致性評價、生物類似藥的相似性評價中,使用兩組間的等效性檢驗;在對方法參數的長期穩定性、工藝穩定性評價中,使用過程能力分析。
  • 統計檢驗力與樣本量計算:G*Power在不同實驗設計與統計方法中的應用
    具體講解統計檢驗力分析之前,本節將介紹一些分析中通用參數的設置,包括顯著性水平,統計檢驗力, 效應量, 單側雙側檢驗等。通常報告的α為.05, .01和.001。本文在做統計檢驗力分析時均以0.05的顯著性水平(α = .05)計算。
  • Graphpad軟體使用:統計方法方法怎麼選?
    但說真的,統計是一個難倒了很多人的學科,科研本身就是個被動掉頭髮的事情,遇到了統計之後,很多人都會為此主動薅掉無數根頭髮,平日裡大家總是覺得現在有那麼多方便快捷的數據軟體,直接分析就好了,但是這種投機取巧的想法,並不是長久之計,而且不學習統計學,你可能分析方法用錯了,都不知道。
  • R語言實現統計分析——非參數假設檢驗
    ,且分布情況不明時,用來檢驗數據是否來自同一個總體假設等一類檢驗方法。4 列聯表數據獨立性檢驗:卡方獨立性檢驗chisq.test() 可以做列聯表數據獨立性檢驗,只要將數據寫成矩陣形式就可以。5 符號檢驗中位數符號檢驗:當我們以中位數將數據分為兩邊,一邊為正,一邊為負,那麼樣本出現在兩邊的概率應該都為1/2。因此,使用p=0.5的二項檢驗就可以做符號檢驗了。#統計了66個城市的生活花費指數,北京的生活花費指數為99#請問北京是否位於中位數以上。
  • 統計假設檢驗簡介
    統計假設檢驗簡介 在科學研究中,我們常會遇到由樣本實現判定有關總體的兩個對立命題何者為真的問題。數理統計中處理這一類問題的重要理論之一是所謂的統計假設檢驗理論,它是求解統計假設檢驗問題的基本思想和方法。
  • 統計檢驗假設的P值與檢驗水準α
    波蘭數學家Neyman及英國統計學家 Pearson,他們提出另一種包含統計效能、假陽性、假陰性等概念的可替代的數據分析方法。所以在該體系下,基於某一統計模型做假設檢驗時,比較的就是由樣本值計算的檢驗統計量和拒絕域邊界值的位置關係,如果該統計量落在拒絕域之內,則拒絕H0,接受H1;反之接受H0。Neyman-Pearson不刻意關注P的具體值,而是只看檢驗統計量是否落在拒絕域之內,也就是說實際上Neyman-Pearson忽略了P值,而是只看檢驗統計量的值是否落在拒絕域之內。
  • 醫學科研課堂丨統計說說(六):基於分類變量的卡方檢驗(一)
    表7給出了例2的配對資料的一致性檢驗結果,計算了Kappa係數及其P值。結論:κ係數為0.817,P=0.000,說明兩種檢驗方法的吻合度較強。1. χ2檢驗由英國統計學家K.Pearson於1900年提出,以χ2分布為理論依據,常用於分類變量資料的統計推斷,是一種應用範圍很廣的統計方法。
  • 統計中重要的檢驗:T檢驗、F檢驗及其統計學意義
    至於具體要檢定的內容,須看你是在做哪一個統計程序。舉一個例子,比如,你要檢驗兩獨立樣本均數差異是否能推論至總體,而行的t檢驗。就是因為要評估兩個總體的方差(Variances)是否相等,要做Levene's Test for Equality of Variances,要檢驗方差,故所以就有F值。另一種解釋:t檢驗有單樣本t檢驗,配對t檢驗和兩樣本t檢驗。
  • 配對樣本t檢驗(Paired Samples t-test)——jamovi軟體實現
    ①選擇「Analyses (分析)」—「T-Tests (t檢驗)」—「Paired Samples T-Test (配對樣本t檢驗)」,將「A方法」和「B方法」依次選入右側「Paired Variables (配對變量)」框(圖7)。
  • 所有的正態性檢驗方法都在這裡
    在工作中應用統計方法進行數據分析,經常發現很多統計方法都要求數據服從正態分布。那麼怎麼才能知道拿到的數據是服從正態分布的呢。接下來介紹最齊全的正態性檢驗方法:偏度和峰度,圖示法,非參數檢驗一、偏度和峰度1、偏度(Skewness):描述數據分布不對稱的方向及其程度。
  • 方法名詞解釋【41推論統計、參數估計、假設檢驗】
    推論統計包括參數估計和假設檢驗,參數估計就是根據一個隨機樣本的統計值,來估計總體的參數值,即先看樣本的情況再論及總體的情況;假設檢驗是首先對總體的情況作出假設,然後抽選出一個隨機樣本,以這一樣本的統計值來檢驗原先的假設是否正確,即先構想出總體情況再進行抽樣和分析樣本狀況。社會調查研究中大多採用假設檢驗的統計推論方法。2.參數估計分為點估計和區間估計。
  • 「統計檢驗」t檢驗和F檢驗
    這裡的檢驗所應用的方法是數理統計學中的假設檢驗,它的基本任務是根據樣本所提供的信息,對未知總體分布的某些方面的假設作出合理的判斷。假設檢驗的程序是,先根據實際問題的要求提出一個論斷,稱為原假設,記為H0,然後根據樣本的有關信息,對H0的真偽進行判斷,作出拒絕H0或接受H0的決策。