在問卷研究中,分析問卷信效度總是不可避免的環節之一。
尤其是效度分析過程,常常令研究人員頭痛不已。
如何更有效得到效度分析結果,避免無用功,今天我們就一起來探討討論。
本文從分析思路角度進行全面梳理,希望能夠讓大家對效度分析有更深入地理解。
1. 為什麼要做效度分析
效度檢驗即檢驗問卷有效性,簡單講,就是要確定設計的題項是否合理,是否能有效反應研究人員的研究目標。
需要注意一點,問卷中會有多種類型的問題,比如單選題、多選題、填空題等。而效度分析主要針對量表題。
2. 效度分類
效度可以分為三類:內容效度、效標效度、結構效度。
內容效度,檢驗問卷內容是否符合研究目的和要求。
效標效度,問卷測量結果與效標的相關程度。
結構效度,是研究因子與測量項的對應關係是否符合預期。
(1)內容效度
常用的檢驗效度的方法,主要通過文字描述量表的有效性。
如何進行內容效度檢驗:具體分析時建議按以下幾點分別說明,從各個角度論證問卷設計的合理性:
第一:用文字描述問卷的設計過程,包括問題設計與思路如何保持一致性;
第二:用文字描述問卷設計的參考依據,比如參考某某文獻設計問卷等;
第三:用文字描述問卷設計的過程,比如是否進行過預測試,對問卷進行過哪些修改處理等,修正的原因等;
第四:用文字描述專家或同行的認可性,比如問卷設計經過某指導教授或老師的認可,也或者相關專業人士(比如學長同學等)進行過溝通修改等。
第五:其它可用於論證問卷設計合理的說明等。
(2)效標效度
效標效度是以經典量表的測量結果作為「金標準」,與當前數據得到的結果進行相關分析,如果相關係數值較高,則說明效標效度良好。
操作方法:首先確定效標,計算問卷測量得分,使用pearson相關分析,考察實測得分與效標得分兩組數據的相關性。
判斷標準:相關係數越大,代表相關性越高,效度越高。
(3)結構效度
問卷結構效度分析的常用方法有兩種:探索性因子分析、驗證性因子分析。
正常情況下,針對量表數據的效度分析,均需要使用探索性因子分析進行效度的驗證說明,並且配合內容效度進行綜合說明。
探索性因子分析
操作方法:使用SPSSAU[效度]或[因子]功能進行分析,放入量表題項。
效度分析判斷標準:
(1)KMO值大於0.6
(2)題項在該因子上的因子載荷係數大於0.4
(3)不存在題項與因子對應關係出現嚴重偏差
(2)共同度沒有小於0.4
(5)累積方差解釋率大於50%
效度分析一般需要經歷多次分析,如果最終得到的結果能夠滿足以上標準,則說明維度劃分比較合理,具有良好的結構效度。
SPSSSAU會自動標出載荷係數絕對值大於0.4,共同度小於0.4的數據,便於研究者進行處理。
驗證性因子分析
驗證性因子分析可用於驗證聚合效度和區分效度。
操作方法:同一因子下的所有題項需放入同一個分析框裡,以此類推,有幾個維度就分別放入幾個分析框。
判斷標準:AVE和CR是聚合效度常用指標,通常情況下AVE大於0.5且CR值大於0.7,則說明聚合效度較高。
區分效度可通過對比AVE平方根與相關關係值進行檢驗。如果AVE平方根大於相關係數值,則說明區分效度良好。
3. 常見問題
確定問卷具有良好的效度是問卷研究的必要前提,但同時想要得到良好的效度並不容易。
有一些在做效度分析時的常見問題,SPSSAU在這裡進行統一整理:
同時可以查看SPSSAU-效度分析幫助手冊,裡面有更詳細地介紹效度不達標時應該如何處理。
4. 分析思路
從分析角度看,為保證問卷質量,通常會在正式調研前,進行預調查,即小規模發放問卷,根據調研的信效度結果對問卷題項做調整,然後在進行正式調研。
預調研和正式調研中均需要進行效度檢驗。
總結
效度分析一般需要經歷多次重複分析。在題項與維度對應基本清晰,且符合專業意義時,才能說明問卷有較為良好的效度。
如果使用的是已有的成熟量表,理論維度都是已知的,建議直接使用驗證性因子分析CFA檢驗效度。