1、重測信度
重測信度是指用同樣的測量工具,對同一組被調查者間隔一定時間重複測試,兩次測試結果的相關程度。重測信度可以通過兩種途徑進行考察:
途徑1:計算兩次測試結果的相關係數,如果經過統計檢驗,相關關係有統計學意義,則認為測量工具的信度高,否則信度低。也有人提出,測量工具的重測信度可以接受的標準是兩次測試相關係數在0.7以上
途徑2:對兩次重複測試結果進行兩個相關樣本差異的統計檢驗,如果差異有統計學意義,則認為測量工具的信度低,否則,信度高。
2、複本信度
複本信度法是讓同一組被調査者一次填答兩份問卷複本,計算兩個複本的相關係數。複本信度法要求兩個複本除表述方式不同外,在內容、格式、難度和對應題項的提問方向等方面要完全一致,而在實際調查中,很難使調査問卷達到這種要求,因此採用這種方法者較少。
3、分半信度
分半信度常用在不可能進行重複調査的情況下。其計算方法是將調查的條目分成兩半,計算這兩半測量結果的相關係數r,又稱分半信度係數,以此為標準來衡量整個量表的信度。
分半信度是將調查項目分為兩半,計算兩半得分的相關係數,進而估計整個量表的信度。分半信度屬於內在一致性信度,測量的是兩半題項得分間的一致性。這種方法一般不適用於事實式問卷(如年齡與性別無法相比),常用於態度、意見式問卷的信度分析。在問卷調查中態度測量最常見的形式是5級李克特( Likert量表)。
4、Cronbach's a信度係數
Cronbach’sQ係數是 Cronbach於1951年創立的,用於評價問卷的內部一致性。α係數取值在0到1之間,Q係數越高,信度越高,問卷的內部一致性越好。
Cronbach’s a係數不僅適用於兩級記分的問卷,還適用於多級計分的問卷。
a係數評價的是量表中各題項得分間的一致性,屬於內在一致性信度係數。這種方法適用於態度、意見式問卷(量表)的信度分析。
低信度:a<0.3.5,中信度:0.35<a<0.70,高信度a>0.7,一般的,問卷a係數在0.75以上改問卷才具有使用價值。
5、評分者信度
考察評分者信度的方法為,隨機抽取相當份數的問卷,由兩位評分者按記分規則分別給分。然後根據每份問卷的分數計算相關係數,航得到評分者信度。評分者信度也可以是一位評分者兩次評分的相關係數。如果是多個評分者或位評分者兩次以上的評分,可採用肯德爾和諧係數和 Kappa係數。肯德爾和諧係數用於等級資料, Kappa係數用於定性資料。
三、提高信度的方法
提高信度的方法問卷的信度越高,受到人、時、地物的幹擾就越低,其所能反應事實或讓人相信的程度越高,因此在問卷實施前如何有效提高信度是問卷測驗成敗的關鍵。通常提高問卷信度的方法有以下幾種方式:
1、適當延長問卷的長度
問卷題目較多,其在一定程度上排除了偶然因素的影響,從而提高了問卷的信度。但是問卷長度的增加與問卷的信度的增加並不總是成正比的,當信度係數較小時,延長問卷長度,問卷的信度係數增加較大;而當信度係數較大時,延長問卷長度對信度係數的影響就較小。
2、問卷的難度要適中
當問卷題目難度太大時,問卷得分普遍過低;當問卷題目難度太小時,問卷得分普遍較高。問卷題目太難或太易都會使問卷得分差異減小,使實得分數方差減小,從而降低了問卷的信度。
3、問卷的內容要同質
內容同質的問卷,要求答卷者具有相同的能力、知識和技能。因而為了提高問卷的信度,問卷的內容應儘量保持同質。
4、測試的時間要充分
份問卷應保證絕大多數答卷者在規定的時間內能完成測驗。當答卷者不能從容地回答所有題目時,問卷的得分就不能反映答卷者的真實情況。
5、測試的程序要統一
問卷題目要統一,指導語、回答問題的方式、分收試卷的方法和問卷測驗的時間等都要統一,這些是問卷有較高信度的基本保證。