一致性檢驗的目的在於比較不同方法得到的結果是否具有一致性。檢驗一致性的方法有很多比如:Kappa檢驗、ICC組內相關係數、Kendall W協調係數等。每種方法的功能側重,數據要求都略有不同:

Kappa係數檢驗,適用於兩次數據之間比較一致性,如比較兩位醫生的診斷是否一致,兩位裁判的評分標準是否一致等。
ICC組內相關係數檢驗,用於分析多次數據的一致性情況,功能上與Kappa係數基本一致。ICC分析定量或定類數據均可;但是Kappa一致性係數通常要求數據是定類數據。
Kendall W協調係數,是分析多個數據之間關聯性的方法,適用於定量數據,尤其是定序等級數據。
進一步說明

(1)Kappa檢驗
Kappa檢驗分為簡單Kappa檢驗和加權Kappa檢驗,兩者的區別主要在於:
如果研究數據是絕對的定類數據(比如陰性、陽性),此時使用簡單Kappa係數;如果數據為等級式定類數據(比如輕度,中度,重度;也或者不同意,中立,同意);此時可使用加權(線性)Kappa係數。
案例舉例
兩個醫生分別對於50個病例進行MRI檢查(MRI檢查診斷共分三個等級,分別是輕度,中度和重度),對比兩名醫生檢查結果診斷的一致性水平。



根據上表可知,兩位醫生對於MRI檢查診斷結論具有較強(Kappa值=0.644)的一致性。
(2)ICC組內相關係數
ICC組內相關係數可用於研究評價一致性,評價信度,測量複測信度(重測信度)等。相對於Kappa係數,ICC組內相關係數的適用範圍更廣,適用於定量或者定類數據,而且可針對雙樣本或者多樣本進行分析一致性。但ICC的分析相對較為複雜,通常需要從三個方面進行分析並且選擇最優的ICC模型;分別是模型選擇,計算類型和度量標準。

模型選擇上,需要考慮是否將當前結論延伸推廣到其它研究中,也或者考慮是否為研究數據的絕對相等程度。計算類型上,如果不需要考慮系統誤差則使用「一致性」,如果需要考慮系統誤差則使用「絕對一致性」。度量標準上,如果是原始數據則使用「單一度量」,如果是計算後的數據,則使用「平均度量」。
案例舉例
3個醫生對於10個智障病人進行智商評分;現在希望通過分析研究3個醫生的打分一致性水平情況,使用ICC組內相關係數進行研究。錄入後的ICC數據格式如下:



本次使用的是原始數據非計算後數據,因而使用單一度量標準結果即ICC(C,1),ICC組內相關係數=0.921,說明3位醫生的評價具有高度一致性,也說明此次3名醫生給出的打分有著非常高的可信性。
(3)Kendall協調係數
Kendall協調係數,也稱作Kendall和諧係數,或Kendall一致性係數。通常用於比較多組數據的一致性程度。
案例舉例
4個評委對於10個選手進行評分,最低為1分,最高為10分;現在希望通過分析研究4個評委的打分一致性情況。


從上表可以看出:協調係數為0.853(P<0.01),大於0.8,說明4個評委的評分結果具有很強的一致性。
其他說明
1、ICC的適用場景最多,包括定量或定類數據,同時可針對多相關樣本進行一致性分析;而Kappa一致性係數主要針對2個相關數據且針對定類數據進行一致性分析;Kendall W協調係數適用於定量數據,且更多傾重於數據關聯性研究。
2、分析前要注意數據的格式,每種方法錄入的數據格式都不大一樣,一定要整理成正確的數據格式再分析。