一、問題與數據
通過分析受試者進入超市後的行為，判斷其是否存在盜竊嫌疑是警察的基本技能。現某研究者擬分析不同警察判斷的一致性，隨機抽取100段超市錄像，每段分別記錄1位受試者從進入超市到離開超市的全過程，再分別請兩位警察觀看這些錄像，判斷受試者的行為是「正常」（編碼1）還是「可疑」（編碼2）。這兩位警察觀看的是同一組錄像，編號統一，部分研究數據如下：
二、問題的分析
在本研究中，研究者擬探討兩位警察對受試者行為判斷的一致性，我們推薦使用 Cohen's kappa係數分析。一般來說，採用Cohen's kappa係數的研究設計需要滿足以下5項假設：
假設1：判定結果是分類變量且互斥。如本研究中受試者行為的判定結果為「正常」或「可疑」，屬於分類變量，並且相互排斥。
假設2：要求進行觀測變量配對，即不同觀測者判定的對象相同。如本研究中，兩位警察觀看的是同一組錄像，編號統一。
假設3：每個觀察對象可能被判定的結果種類相同。如本研究中每位受試者的行為都可能被判定為「正常」或「可疑」。
假設4：觀測者之間相互獨立。這要求不同觀測者獨立完成結果判定，相互不幹擾。
假設5：由固定的兩位觀測者完成所有判定。如本研究中由兩位警察分別觀看100段錄像，中途不換人。
根據研究設計，我們認為本研究符合Cohen's kappa係數的5項假設，可以採用該分析方法進行一致性評價。
三、SPSS操作
1. 在主菜單點擊Analyze→DescriptiveStatistics→Crosstabs
出現下圖：
2. 分別將Officer1和Officer2變量放入Row(s)和Column(s)欄
3. 點擊Statistics
4. 點選Kappa
5. 點擊Continue→Cells
6. 點擊Observed→Continue→OK
注釋：如果大家想要得到頻率的預測值，可以點擊Counts欄中的Expected；若大家還想得到百分比值，可以點擊Percentages欄中的Row、Column和Total
四、結果解釋
1. 一般結果
在分析Cohen's kappa係數之前，我們有必要了解一下研究數據的基本情況，如下：
從上表可以看出，本研究共有100對有效數據（Valid欄），沒有缺失（Missing欄），總數據為100例（Total欄）。Officer1和Officer2的交叉表，如下：
SPSS根據數據錄入情況，分別輸出Officer1和Officer2認為「正常」和「可疑」的數量。其中，左上和右下的數據是經Officer1和Officer2判斷一致的，如下標黃的部分：
從上表可以看出，兩位警察都認為其中85位受試者行為「正常」，7位受試者行為「可疑」，即這兩位警察在92位受試者的行為上判斷一致。從另一個角度來說，Officer1認為87位受試者行為「正常」，而Officer2認為91位受試者行為「正常」，如下標黃部分：
同理，這個表也輸出了Officer1和Officer2判斷不一致的數據，如下標黃部分：
從上表可知，在本研究中，兩位警察對6+2=8為受試者的行為判斷不一致。根據這些數據，我們可知Officer1和Officer2在對92÷100×100%=92%的受試者行為判斷上一致。但是這種一致率沒有考慮機遇因素的影響，我們還要依據Cohen's kappa係數具體分析。
2. Cohen's kappa係數
與直接計算的一致率不同的是，Cohen's kappa係數考慮了機遇一致率對結果的影響。具體來說，在本研究中即使兩位警察並不依據專業經驗，而是隨意評價受試者的行為，他們也會在對一些判斷上出現一致結果。但是，這些由於機遇因素導致的一致結果並不是我們想要的，會高估實際一致率。因此，我們需要在計算Cohen's kappa係數時，剔除機遇一致率，公式如下：
經過之前的SPSS操作，SPSS輸出的Cohen's kappa結果如下：
Value欄提示Cohen's kappa係數值，如下標黃部分：
從上表可知，本研究的Cohen's kappa=0.593。一般來說，Cohen's kappa係數分布在-1到1之間。若Cohen's kappa係數小於0，說明觀察一致率小於機遇一致率，在實際研究中很少出現。若Cohen's kappa係數等於0，說明觀察一致率等於機遇一致率，結果完全由機遇因素導致。若Cohen's kappa係數大於0，說明研究對象之間存在一定的一致性，Cohen's kappa係數越接近1，一致性越大。
那麼，本研究中Cohen's kappa係數為0.593，說明一致性如何呢？Cohen's kappa係數值反映的一致性強度，如下：
表1. Cohen's kappa係數的一致性含義
從上表可知，本研究中Cohen's kappa係數0.593，說明具有中等強度一致性。但是，值得注意的是，我們並不能輕易地根據表1直接對比不同研究的Cohen's kappa係數。因為Cohen's kappa係數在計算過程中剔除了機遇一致率，也因此受到研究數據邊際分布程度的影響。所以，我們只能比較具有相同邊際分布數據的Cohen's kappa係數，而不能直接對比數據邊際分布不同的研究。
此外，SPSS輸出Symmetric Measures表格，提示Cohen's kappa係數的統計檢驗結果，如下標黃部分：
提示，本研究的Cohen's kappa係數與0的差異具有統計學意義（P<0.001）。同時，我們也可以根據該表格計算Cohen's kappa係數的95%置信區間，如下標黃部分：
可見，本研究中Cohen's kappa係數的標準誤為0.129。鑑於本研究樣本量較大，我們認為研究數據接近正態分布。從而計算Cohen's kappa係數的95%置信區間為0.593±1.96×0.129=0.593±0.253。即，本研究Cohen's kappa係數為0.593（95% CI為0.340 -0.846）。
五、撰寫結論
本研究採用Cohen's kappa係數分析兩位警察對100位受試者行為判斷的一致性。結果顯示，這兩位警察都認為其中85位受試者行為「正常」，7位受試者行為「可疑」。但同時有6位受試者被警察1認定為「可疑」，而被警察2認定為「正常」；也有2位受試者被警察1認定為「正常」，而被警察2認定為「可疑」。
總的來說，這兩位警察判斷結果的Cohen's kappa係數為0.593（95% CI為0.340 -0.846），P<0.001，具有中等強度一致性。
相關閱讀
1. 診斷試驗之Kappa值該怎麼算？
2. SPSS詳細操作：一致性檢驗和配對卡方檢驗
3. 如何比較兩種方法的靈敏度和特異度？來看實例教程！
醫咖會微信：medieco-ykh
關注醫咖會，輕鬆學習統計學！
我們建了一個微信群，有臨床研究設計或統計學方面的難題？快加小咖個人微信（xys2016ykf），拉你進群和其他小夥伴們一起交流學習。
點擊左下角「閱讀原文」，看看醫咖會既往推送了哪些研究設計或統計學文章。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.