評分者信度

前言：

我們知道，客觀性測驗一般都有固定的答案,無論誰評分差異都極小，所以誤差都較小，因而無需考慮評分者之間的一致性問題。但是，當測驗是主觀性試題時,不同評分者的評分便會存在差異，這時， 評分者信度就顯得尤為重要。

評分者信度（scorer reliability）指的是多個評分者給同一批人的答卷評分的一致性程度。

評分者信度分為評分者內信度和評分者間信度 。前者是對同一個分者對同一樣本在不同場合出現是否判定為同樣分數的指標；後者是測量不同評分者對同一樣本是否給出同一個正確的分數的指標。在實際應用過程中，最常測評評分者間信度。

在由客觀性試題組成的心理測驗中，答案具體而固定，無需考察評分者信度。但在投射測驗、道德判斷測驗、創造性思維測驗等測驗的評分中，答案並不固定，評分時必然摻雜有主觀判斷因素，因此，需要考察評分者信度。評分越一致, 評分者信度越高。

評分者信度的估計與評分者人數的多少有關，若只有兩人參加，評N份試卷，或一人先後兩次評N份試卷，則最常用Spearman等級相關係數來求信度；若三人或三人以上的評分者評N份試卷時，常用肯德爾和諧係數來求信度。下面我們用案例來具體說明求取這兩個係數的操作。

【問題】甲乙兩位教師評閱10份作文試卷，他們對每個學生評定的分數和等級如下表所示。請問兩位教師評分的一致性如何？

Step 1：打開數據，選擇【分析】——【相關】——【雙變量】。

Step 2：將左側「甲評分」、「乙評分」選入右側【變量】中，在「斯皮爾曼」處打鉤，點擊【確定】。

Step 3：結果分析。斯皮爾曼（Spearman）相關係數為0.841（結果中帶有兩個*的，下面有說明，相關性顯著），評分者一致性很高。

【注】上表中的甲乙等級是按照秩次的排列規則得到的，在Spearman檢驗中，直接用數據以及用相應的等級數據進行計算，最終的結果是相同的。

【問題】有5位教師對7篇作文進行等級評定，評定結果如下表所示。請問，5位教師評定結果是否一致？

Step 1：打開文件，選擇【分析】——【非參數檢驗】——【舊對話框】——【K個相關樣本】。

Step 2：將「作文一~七」全部選入右側【檢驗變量】中，並在下方【肯德爾】處打鉤，點擊【確定】。

Step 3：結果分析。我們可以得到傅萊德曼檢驗的相關統計量和肯德爾W檢驗的相關統計量，我們主要關注後者。

如下圖，肯德爾和諧係數W值為0.891，卡方值為0.891，P值<0.01，因此可以看出，不同評分者的一致性非常高。

【注意】若被評對象的數目N>7，則要先將W值轉化成卡方值，再對卡方值進行顯著性檢驗。X2=K（N-1）W。

大家學會了嗎，多多練習哦~