問卷效度可以理解為問卷的有效性,也就是問卷題目在多大程度能夠反應測量內容的。如果一份問卷的效度不好,那這份問卷可能是調查不到你需要研究的內容。常用的問卷效度包含:內容效度(也稱邏輯效度)、效標效度和構念效度。
1、內容效度
內容效度反映的是問卷內容與廣度的適合程度,換句話說,內容效度就是研究者設計的問卷是否能夠測量到研究內容,有沒有存在跑題的現象。
內容效度常用的評價方法是「專家評定法」,即尋找多位該領域的專家對設計的問卷進行評價,並提出意見。專家評定法是在問卷調查之前進行的。
2、效標效度
效標效度是問卷與效標之間的相關係數,表示問卷有效性的高低。效標是問卷測量結果有效性和意義的參照標準,其必須能夠反映測量內容的內涵。如,要調查學業自我效能感,那可以採用一般自我效能感作為效標,因為學業自我效能感屬於具體領域的概念,而一般自我效能感數據一般領域的概念,一般領域的概念包含了具體領域的概念。同時,效標的測量工具還需要是被普遍認可的,這樣才具有權威型。
效標可以分為兩類:內容效標和關聯效標。內容效標主要是針對測量內容,關聯效標主要是針對結果。如上面的一般自我效能感就是學業自我效能感的內容效標,如果選用學業成績作為學業自我效能感的效標,那麼學業成績就是關聯效標。
效標效度的量化計算方法是計算兩個問卷的相關係數。
3、構念效度
構念效度是指問卷能夠測得一個抽象概念或特質的程度。最常用的分析方法是因素分析。
在SPSS中,使用因素分析的操作如下:分析→降維→因子分析。在因子分析界面,將問卷題目選入到「變量」中,在「描述」裡面選擇「KMO和Bartlett的球形度檢驗」,在「旋轉」中選擇「最大方差法」或者是「Promax」(本例中選擇最大方差法)。設置完成之後,點擊確定運行分析。
在輸出結果中,首先看到的是KMO檢驗的結果,如下圖所示:
因子分析首先需要檢驗數據是否適合進行因素分析,檢驗的方法就是KMO檢驗,要求為KMO值≥0.7,Bartlett具有顯著性(<0.05)。在本例中,KMO檢驗的結果表明,數據適合進行因子分析。
因子分析是為了提取維度,提取維度的方法是根據特徵值是否大於1進行判斷,這一部分的結果是「總方差解釋」表格,如下圖所示:
從上表中可以看到,特徵值大於1的因子有2個,因此可以提取兩個因子。因子1的解釋率為41.749%,因子2的解釋率為14.49%,總共解釋了56.239%的變異。方差的解釋率要求是越高越好,但有些學科定的標準是80%,有些則比較低,這個要看具體要求,並綜合因子分析的其他結果進行考慮。
每個因子包含的題目需要根據表「旋轉後的成分矩陣」進行判定。旋轉後的成分矩陣給出的值因素負荷值,要求問卷的題目在一個因素上的負荷值越高越好,一般要高於0.4,在不同因素上的負荷值不能相近。在下表中,題目A1在因素1上的負荷值為0.68,在因素2上的負荷值為0.193,符合上述兩個要求,因此A1是符合標準,如果有題目不符合上述標準,則該題目需要考慮刪除。
從上表中可以看到,自尊量表的10道題目均符合要求,都可以保留。根據上表可以看到,因素1報告的題目有A1、A3、A4、A7、A8、A10,因子2包含的題目有A2、A5、A6、A9。
到此為止,因子分析的內容基本完成了。但問卷分析的內容還沒有完,還差最有一步,就是對各個因子進行命名。因子1包含的6道題目分別為:「A1大體來說,我對我自己十分滿意」、「A3 我覺得自己有許多優點」、「A4我自信我可以和別人表現的一樣好」、「A7我覺得自己和別人一樣有價值」、「A8 我十分地看重自己」、「A10 我對我自己保持積極的態度」,通過這6道題目可以看到,他們都是對自己的一個正面肯定的描述,據此我們可以將因子1命名為「正面肯定」。因子2包含的4道題目分別為:「A2 有時我會覺得自己一無是處」、「A5 我時常覺得自己沒有什麼好驕傲的」、「A6 有時候我的卻感到自己沒有什麼用處」、「A9 我常會覺得自己是一個失敗者」,從這4道題目可以看到,都是對自己的一個負面否定的描述,因此可以命名為「負面評價」。
因子分析完成之後,一般還需要採用AMOS進行一個驗證性因素分析,分析問卷的擬合度如何(詳見之前的文章)。當這些分析都完成了,一份問卷的分析工作也就完成了,剩下的就是研究者對問卷的使用了。