什麼是信度?
信度指的是可靠度、一致性或者穩定性。比如說,在對同一對象進行測量,多次測量結果都很接近,大家會認為這個結果是可信的,真實的,也就是信度高。如果每次測量的結果都有很大的差異(例如,用同一份考卷對同一批學生進行測驗,每次測試平均分數差別都很大),則說明信度較低。
同樣在問卷研究中,也通過信度分析來測量樣本回答結果是否真實可靠,檢驗信度越高,就是表示結果越可信。
內部與外部可靠性
信度可分為內在信度和外在信度兩類。內在信度:是指衡量研究問卷中的多個題目是否測量了同一概念或者內容,即題目之間是否具有內在一致性。這也就是大多數量表問卷所做的信度分析。
外在信度:通常指不同時間測量時,是否測量結果具有一致性。比如說剛才舉例中提到的考試成績例子。
衡量信度的方法有很多種,其中,常用的內在信度係數包括:克隆巴赫α係數和折半係數;常用的外在信度是重測信度。
α信度係數,即內部一致性係數。是最為常見的信度測量方法(SPSSAU默認為此信度係數)。基本上所有問卷信度分析均會使用此類分析。通過軟體計算出α信度係數值,並且用其進行信度水平判斷。一般來講:α係數最好在0.8以上,0.7~0.8之間屬於可以接受範圍,而分量表的α信度係數希望在0.7以上, 0.6~0.7之間可以接受。如果α信度係數低於0.6則考慮修改量表。
折半信度:折半信度就是將所有量表題項分為兩半,計算兩部分各自的信度以及相關係數,進而估計整個量表的信度。判斷標準可參考α信度係數的衡量標準。
重測信度:指同樣的樣本,在不同的時間點回答同樣一份問卷。繼而計算兩份數據的相關係數,並且通過相關係數去衡量信度質量。重測信度可以評估時間差異帶來的誤差。
複本信度:此外還有複本信度,是同樣一組樣本,一次性回答兩份問卷,比如同樣一組學生連續做兩份同樣難度水平的試卷。然後通過計算兩份樣本相關係數,從而進行信度質量衡量。
什麼是效度?
效度分析,簡單來說就是問卷設計的有效性、準確程度。當我們在為研究主題設計問卷時,都會希望問題實際測量到的是我們希望測量的,這樣研究的數據才能準確的說明問題。
例如,我們想了解一個班級裡學生的綜合成績情況,正式研究中如果僅測試數學一科,然後得出結論,這樣的研究有效性可能很低,原因在於實際測量的方向與研究方向之間有很大偏差。
效度又可分為內容效度、結構效度和效標效度。內容效度,指問卷題項對相關概念測量的合理性情況,通常是以文字來說明問卷的有效性。如通過參考文獻,或者權威來源說明問卷的權威性和有效性。還有就是通過對問卷前測並結合結果進行題項的修正等工作來充分說明問卷的有效性。
(內容效度並非統計軟體進行的統計方法,對於問卷研究來講,基本上均需要進行內容效度說明。)
結構效度,指測量題項與測量維度之間的對應關係。測量方法有兩種,一種是探索性因子分析,另外一種是驗證性因子分析。其中,探索性因子分析是當前使用最為廣泛的結構效度測量方法。使用探索性因子分析進行效度驗證時,應該以量表為準,對變量或者量表分別進行分析。
效標效度,如果以前有一份權威且標準的量表數據,現在依舊使用該量表進行研究,並且收集回來一份數據。以前權威標準數據作為標準,當前數據與前一份數據之間進行相關分析,如果說相關係數值較高,則說明效標效度良好。
信度與效度?
分析的過程中有人會有這樣的疑惑,「我的數據明明信度係數這麼高,為什麼效度卻很低呢?」
從計算公式角度看,信度和效度之前確實存在一定的關係。兩者的關係可以理解為:
效度高,信度一定高;信度高,效度不一定高。
有效的測試也是可靠的。高考是有效的(且可靠),因為它衡量的是學生在高中學到的東西。但是,可靠的測試並不總是有效的。例如,假設你的體重秤只會顯示60。那麼它是可靠的(每次都是相同的結果)但卻無效(因為體重秤沒有記錄正確的體重)。
當然,一份好的問卷應該同時具有足夠的信度和效度,並且從實踐角度要兼顧實用性和科學性。