檢驗一致性,你用哪種方法?

2020-12-06 SPSSAU

一致性檢驗的目的在於比較不同方法得到的結果是否具有一致性。檢驗一致性的方法有很多比如:Kappa檢驗、ICC組內相關係數、Kendall W協調係數等。每種方法的功能側重,數據要求都略有不同:

SPSSAU整理

Kappa係數檢驗,適用於兩次數據之間比較一致性,如比較兩位醫生的診斷是否一致,兩位裁判的評分標準是否一致等。

ICC組內相關係數檢驗,用於分析多次數據的一致性情況,功能上與Kappa係數基本一致。ICC分析定量或定類數據均可;但是Kappa一致性係數通常要求數據是定類數據。

Kendall W協調係數,是分析多個數據之間關聯性的方法,適用於定量數據,尤其是定序等級數據。

進一步說明

SPSSAU整理

(1)Kappa檢驗

Kappa檢驗分為簡單Kappa檢驗加權Kappa檢驗,兩者的區別主要在於:

如果研究數據是絕對的定類數據(比如陰性、陽性),此時使用簡單Kappa係數;如果數據為等級式定類數據(比如輕度,中度,重度;也或者不同意,中立,同意);此時可使用加權(線性)Kappa係數。

案例舉例

兩個醫生分別對於50個病例進行MRI檢查(MRI檢查診斷共分三個等級,分別是輕度,中度和重度),對比兩名醫生檢查結果診斷的一致性水平。

1表示輕度,2表示中度,3表示重度
使用路徑:SPSSAU→醫學實驗→Kappa
Kappa係數結果表

根據上表可知,兩位醫生對於MRI檢查診斷結論具有較強(Kappa值=0.644)的一致性。

(2)ICC組內相關係數

ICC組內相關係數可用於研究評價一致性,評價信度,測量複測信度(重測信度)等。相對於Kappa係數,ICC組內相關係數的適用範圍更廣,適用於定量或者定類數據,而且可針對雙樣本或者多樣本進行分析一致性。但ICC的分析相對較為複雜,通常需要從三個方面進行分析並且選擇最優的ICC模型;分別是模型選擇,計算類型和度量標準。

icc六類模型

模型選擇上,需要考慮是否將當前結論延伸推廣到其它研究中,也或者考慮是否為研究數據的絕對相等程度。計算類型上,如果不需要考慮系統誤差則使用「一致性」,如果需要考慮系統誤差則使用「絕對一致性」。度量標準上,如果是原始數據則使用「單一度量」,如果是計算後的數據,則使用「平均度量」。

案例舉例

3個醫生對於10個智障病人進行智商評分;現在希望通過分析研究3個醫生的打分一致性水平情況,使用ICC組內相關係數進行研究。錄入後的ICC數據格式如下:

上傳數據
使用路徑:SPSSAU→醫學實驗→ICC
ICC組內相關係數結果

本次使用的是原始數據非計算後數據,因而使用單一度量標準結果即ICC(C,1),ICC組內相關係數=0.921,說明3位醫生的評價具有高度一致性,也說明此次3名醫生給出的打分有著非常高的可信性。

(3)Kendall協調係數

Kendall協調係數,也稱作Kendall和諧係數,或Kendall一致性係數。通常用於比較多組數據的一致性程度。

案例舉例

4個評委對於10個選手進行評分,最低為1分,最高為10分;現在希望通過分析研究4個評委的打分一致性情況。

上傳數據
使用路徑:SPSSAU→醫學實驗→Kendall

從上表可以看出:協調係數為0.853(P<0.01),大於0.8,說明4個評委的評分結果具有很強的一致性。

其他說明

1、ICC的適用場景最多,包括定量或定類數據,同時可針對多相關樣本進行一致性分析;而Kappa一致性係數主要針對2個相關數據且針對定類數據進行一致性分析;Kendall W協調係數適用於定量數據,且更多傾重於數據關聯性研究。

2、分析前要注意數據的格式,每種方法錄入的數據格式都不大一樣,一定要整理成正確的數據格式再分析。

相關焦點

  • Kappa一致性檢驗:兩種診斷方法的結果是否一致?
    一、基礎知識在數據分析或臨床工作中,我們會經常遇到檢驗一致性的問題,如判斷不同模型或者診斷方法在預測結果上是否具有一致性,如模型預測的結果與實際結果是否具有一致性,又如兩名或多名醫生對同一病人的診斷結論是否一致,又如一名醫生多次診斷結論是否一致。不同診斷方法診斷得出的結果,除了專業知識外,還有可能是機遇因素導致的。
  • kappa一致性檢驗教程 - CSDN
    一、基礎知識在數據分析或臨床工作中,我們會經常遇到檢驗一致性的問題,如判斷不同模型或者診斷方法在預測結果上是否具有一致性,如模型預測的結果與實際結果是否具有一致性,又如兩名或多名醫生對同一病人的診斷結論是否一致
  • SPSS教程:3個及以上觀察者的一致性檢驗(Kendall's W檢驗)
    對於這種存在3位及以上觀察者、結局變量為連續變量或有序分類變量的一致性檢驗,推薦使用Kendall's W檢驗。一般來說,採用Kendall's W 檢驗的研究設計需要滿足以下3項假設:  假設1:觀察者不少於3人,判定結果是連續變量或有序分類變量。
  • 如何用非參數檢驗,分析多個相關樣本數據?
    在之前的文章中,我們介紹過檢驗數據一致性的多種方法檢驗一致性,你用哪種方法?其實,差異性與一致性可以看作是一體兩面的分析,如果一組數據具有很強的差異性,那就表示數據的一致性很差。相反,如果一致性很強,那麼數據間的差異性就很小。不同的方法有不同的要求和側重,因此才出現這麼多的檢驗方法,分別針對不同的應用場景。下面就介紹幾種側重於檢驗多組相關數據的非參數檢驗方法。
  • SPSS操作:一致性檢驗,如何計算Kappa值?
    根據研究設計,我們認為本研究符合Cohen's kappa係數的5項假設,可以採用該分析方法進行一致性評價。  三、SPSS操作  1.若Cohen's kappa係數大於0,說明研究對象之間存在一定的一致性,Cohen's kappa係數越接近1,一致性越大。  那麼,本研究中Cohen's kappa係數為0.593,說明一致性如何呢?Cohen's kappa係數值反映的一致性強度,如下:  表1. Cohen's kappa係數的一致性含義
  • 急診檢驗的生物安全、TAT、結果一致性、質量管理如何保證?
    而兼顧佔地面積和檢測效率是急診檢驗單元的建設中需要著重考慮的因素,因此急診檢驗設備的選擇就顯得尤為重要,尤其在體積、故障率、結果準確性和一致性等方面需要更多的考量。tph/m2(每平方米每小時測試數)是衡量檢驗設備的全新通量指標,可以最大程度的衡量急診檢驗設備的效率。
  • 問答| 藥品生產企業用什麼方法開展仿製藥一致性評價?
    問答 | 藥品生產企業用什麼方法開展仿製藥一致性評價?藥品生產企業用什麼方法開展仿製藥一致性評價?根據《國務院辦公廳關於開展仿製藥質量和療效一致性評價的意見》要求,藥品生產企業原則上應採用體內生物等效性試驗的方法進行一致性評價。符合豁免生物等效性試驗原則的品種,允許藥品生產企業採用體外溶出度試驗的方法進行一致性評價。答問2.
  • JAMA:p值檢驗,你用對了嗎?
    研究小組用自動搜索文本挖掘搜索生物醫學資料庫MEDLINE和PubMed Central,尋找數百萬計文章摘要中的p值檢驗,並手動篩查1000份摘要和100份全文。搜索的文章都是1990年到2015年發表的。p值的普遍濫用--經常給可信的研究帶來錯誤--逐漸在學術界變為一件尷尬的事情,包心理學和生物醫學等領域。
  • 滅蟑螂用哪種方法好
    其實滅蟑螂的方法很多,有物理滅蟑螂方法,也有化學法滅蟑螂。那麼怎樣判斷適合用哪種方法除蟑螂好呢?今天我們在這裡進行一次討論。物理方法滅蟑螂:什麼情況下適合物理法滅蟑螂呢?那就是少量的時候,如果家裡的蟑螂不是很多的情況下,可以採用物理法滅蟑螂。常見的物理法滅蟑螂有:1、開水燙。
  • EMI一致性到底有多重要?四種方法教你正確排查EMI是否一致
    使用您熟悉的儀器---示波器,您能夠更好地理解EMI問題,以及了解所用解決方案的效果。  武裝起來做預一致性測試  對此,您可能會問:那麼我該如何使用EMI濾波器和準峰值(QP)檢波器?這取決於您是否在進行一致性測試、預一致性測試或者在做EMI故障排查。EMI類解析度帶寬(RBW)濾波器是窄帶的,其滾降方式以6dB為標準,而非3dB。
  • 木託盤的兩種燻蒸方法哪種更好?
    目前國內木質託盤燻蒸現在主要有兩種處理方法:熱處理和用溴甲烷燻蒸那麼哪種方法比較方便有效呢?接下來我們就來詳細的介紹一下兩種燻蒸方法來對比一下免燻蒸木託盤二.溴甲烷燻蒸1、把要燻蒸木箱/託盤的貨物堆碼整齊,用苫布蓋好,四邊壓實,使之密封,但要留出一角做投藥口。
  • 統計學的卡方檢驗方法是什麼呢?用幾個生活實例帶你揭秘!
    作者 | 文文醬的數據課堂 來源 | 知乎專欄 卡方檢驗,統計學的方法,現在機器學習看變量的時候也會用到。 很多不知道的人,一聽到這個名詞,會馬上聯想到,啊?還要拿張卡來檢驗嗎?
  • 醃臘魚,用哪種魚最好?80歲外婆教你方法,臘香濃鬱,軟嫩又筋道
    醃臘魚,用哪種魚最好?80歲外婆教你方法,臘香濃鬱,軟嫩又筋道大家好,感謝閱讀我分享的文章,今天我要和大家說的是:『醃臘魚,用哪種魚最好?80歲外婆教你方法,臘香濃鬱,軟嫩又筋道!』在農村老家,外婆醃製的腊味數一數二,鄰居們都向她請教方法。臘月也已經不遠了,是時候把腊味醃起來了,今天和大家分享一下醃臘魚的技巧。方法也是和外婆學的,簡單實用,記住幾個要點,保證臘香十足,口感軟嫩又筋道,放1年也不會壞,非常好吃,喜歡吃臘魚的快跟我學學吧。
  • 10分鐘了解一致性哈希算法,全網(小區區域網)(建議收藏)
    很多同學應該都知道什麼是哈希函數,在後端面試和開發中會遇到「一致性哈希」,那麼什麼是一致性哈希呢?名字聽起來很厲害的樣子,其實原理並不複雜,這篇文章帶你徹底搞懂一致性哈希!進入主題前,先來一場緊張刺激的模擬面試吧。模擬面試面試官:看你簡歷上寫參與了一個大型項目,用到了分布式緩存集群,那你說說你們是怎麼做緩存負載均衡?
  • SPSS信度分析內部一致性a係數為負數是怎麼回事?
  • 六、臨床診斷的分歧及一致性的判斷
    六、臨床診斷的分歧及一致性的判斷   診斷標準確定後,判定診斷結果時在諸多環節可能出現不一致性,而當診斷錯誤後又可能嚴重影響下一步的治療,以及預後等。   (一)發生臨床不一致性的環節   臨床意見不一致,可發生於收集病史、體格檢查、實驗室檢查結果的解釋以及診斷、治療等等諸多環節。   1.收集病史 病史是由詢問得到。由於詢問方法不一致,常易出現不一致性。據某醫院兩位高年醫師對同一批潰瘍病術後者詢問病情,二人的意見一致率尚不足2/3。
  • 數據圖表可視化的配色一致性原則
    通常,我們在使用顏色時可以遵循以下顏色一致性原則:1.數字指標的一致性當基於某個指標的數值執行顏色映射時,建議使用兩極顏色生長模式的漸變顏色。例如,統計不同地區的銷售情況。左側圖像的顏色沒有顏色系統和生長規律。用戶很難理解特定索引值的含義。此時,如果使用右側的生長顏色系統。
  • 【定量研究】唐世平:穩健性檢驗到底有什麼用-《定量研究中的穩健性檢驗》序
    基本信息出版社、上架日期:格致出版社;第1版 (2020年08月-10月)裝幀:平裝語種: 中文分類:定量研究;社會科學方法論適讀人群 :高等院校和科研院所從事計量經濟學、社會科學定量研究領域的教師、學生和研究人員。
  • 統計學中的假設檢驗
    在假設檢驗中,我們做出判斷時所依據的邏輯是:如果在原假設正確的前提下,檢驗統計量的樣本觀測值的出現屬於小概率事件,那麼可以認為原假設不可信,從而否定它,轉而接受備擇假設。(2)臨界值規則假設檢驗中,還有另外一種做出結論的方法:根據所提出的顯著性水平標準(它是概率密度曲線的尾部面積)查表得到相應的檢驗統計量的數值,稱作臨界值,直接用檢驗統計量的觀測值與臨界值作比較,觀測值落在臨界值所劃定的尾部(稱之為拒絕域)內,便拒絕原假設;觀測值落在臨界值所劃定的尾部之外(稱之為不能拒絕域)的範圍內,則認為拒絕原假設的證據不足
  • 一致性原則(consistency)
    亦稱一貫性原則,屬財務會計原則之一,指各個會計期間所用的會計方法和程序應當相同。其目的,一是確保各期會計報表中各類數據的可比性,以提高會計信息的使用價值;二是可以制約和防止會計主體通過會計方法和程序的變更,在會計核算上弄虛作假,粉飾會計報表。