效度分析在學術研究中非常常見,其用於分析『測量項是否真實有效的測量自己希望測量的變量』,效度分析的研究方式有多種,通常包括內容效度,結構效度(探索性因子分析法)和區分效度或聚合效度(驗證性因子分析法)。可見下表格:
第一種內容效度是指使用文字敘述形式對問卷的合理性、科學性進行說明,比如問卷中測量量表題有著嚴謹的參考依據,問卷設計得到專家的認可等,如果有參考依據,也或者有著專家認可,那麼即是說測量項確實可以測量自己希望測量的變量;比如測量『美麗』這個變量,用了三個量表題,分別是『看起來很年輕』,『看上去五官端正』,『看上去心情很好』,這3個測量題是有著參考依據,也或者專家認為此3項確實可以測量『美麗』這個關鍵變量,那麼就說明具有內容效度。
第二種結構效度通常使用探索性因子分析(EFA)進行驗證,即通過探索性因子分析對題項進行分析,如果輸出結果顯示題項與變量對應關係基本與預期一致,則說明結構效度良好。即在收集好數據後,讓軟體運行下,軟體會運行出來『變量』與『測量項』之間的對應關係情況,而自己也有著『變量』與『測量項』之間的對應關係,如果說二者基本吻合,那麼說明自己想的,與軟體出來的結果基本一致,那麼就說明結構上數據具有有效性,即具有結構效度。此種測量方式最為普遍,在實際研究中最常使用。當然很可能結果為『變量』與『測量項』之間的對應關係情況,與自己預期不一致,此時需要自行分析,通常是刪除掉對應關係出錯的『測量項』,最終讓餘下的『測量項』與『變量』的對應關係,與預期保持一致。
第三種效度叫區分或聚合效度,其實質也是一種結構效度。區分效度強調本不應該在同一因子的測量項,確實不在同一因子下面。聚合效度強調本應該在同一因子下面的測量項,確實在同一因子下面。區分效度的具體測量方式是使用AVE值,以及聚合效度是使用AVE開根號然後再與相關分析結果進行對比,除此之外還可以使用HTMT異質-單質比率法測量聚合效度,在SPSSAU中均有默認提供。
下表格展示各種效度與測量方式等:
在實質研究中,內容效度較為基礎基本上所有的研究均會涉及到內容效度。一般使用探索性因子分析EFA進行效度研究的情況最為常見。
在效度分析過程中,通常會出現『變量』與『測量項』之間的對應關係嚴重偏離,即效度不達標。此種偏離可具體分為兩種情況,分別是『張冠李戴』和『糾纏不清』,『張冠李戴』指對應關係完全出錯,此種情況需要直接把『測量項』刪除掉;如果是出現『糾纏不清』,即『測量項』歸到兩個或更多個『變量』裡面都可以,但是一定在自己希望測量的『變量』裡面有出現,那麼這種情況就是『糾纏不清』,此種情況一般可以不處理。
接下來會以一個具體的例子講解如何做效度分析,便於刪除掉不合理的『測量項』,最終數據效度達標。
1、剖析思路『全進入效度法』和『步進效度法』
首先說明下案例數據背景,總共有收回634份樣本數據。數據從專業預期上是分為A、B、C、D、E共5個因子共33個測量項。其中4個因子預期對應著6個量表題 ,還有1個因子預期對應著9個量表題 。預期對應關係如下:
現希望使用探索性因子分析進行結構效度分析。分析的思路有兩種,分別是『全進入效度法』和『步進效度法』,如下:
(1)直接把總共33個測量項進行因子分析,SPSSAU稱其『全進入效度法』。
直接把33項放入因子分析框中進行分析,然後按照流程下述流程進行分析,此種操作方法SPSSAU稱其為『全進入效度法』:
首先設置維度個數為5個數,並且接著把『共同度』值較低(一般小於0.4或0.5)移除掉,『共同度值』低意味著『測量項』的信息沒有被提取出來,說明根本不適合對『測量項』進行測量;接著移除掉『張冠李戴』的項,似情況而定,一般一次移除儘量少的『測量項』;重複第2步和第3步操作,直到最終『測量項』與『變量』之間的對應關係情況與預期符合。
當然最終還可以進行一些微調整,但最終目的都在於『測量項』與『變量』之間的對應關係情況與預期符合,這樣才能說明餘下的『測量項』確實可以有效的測量『變量』,即數據有效。
此種操作流程較為常見,可在SPSSAU官網幫助手冊裡面找到詳細的例子。但此種流程有個前提,即數據質量還比較OK的時候較為有效,如果說數據質量比較糟糕,出現非常多的『張冠李戴』,也或者很多『測量項』的共同度值都很低。
那麼就會出現調整很多次也調整不好,比如本次的案例數據就是這樣,結果如下(連結):
因而建議可使用下一種辦法即『步進效度法』。
(2)分別每個『變量』做因子分析,然後組合回去,SPSSAU稱其為『步進效度法』。
當數據質量較差(當然很多時候會這樣),使用『全進入效度法』進行效度分析時均無果,原因在於數據對應關係很差,使用『全進入效度法』時,重複次數過多,容易出現誤刪除『測量項』,最終導致無論如何也不行。因而可使用『步進效度法』,具體操作思路流程如下圖:
『步進效度法』,其思想在於首先將非常糟糕的測量項直接『幹掉』,然後再進行『全進入效度法『分析流程。這樣可大大減少測量項的個數,減少分析難度。
其第1步時,先以『變量』為單位進行效度分析,那麼『測量項』僅測量一個『變量』,維度/因子個數自然就設置為數量1;多個『變量』就重複多次。刪除掉『共同度值』較低項。
接下來會使用案例講述『步進效度法』。
2、案例詳細說明
首先本案例如果直接進入『全進入效度法』時,結果較糟糕,如下圖(連結):
那麼按照『步進效度法』的思想,先分別進行5次效度分析,第1次針對因子A,SPSSAU操作截圖如下:
SPSSAU輸出結果如下圖(連結):
明顯的可以看出:A4,A5,A6這3個『測量項』的共同度值小於0.4,因此將此3項刪除後再次分析。結果如下:
此時顯示因子A餘下3個『測量項』(A1,A2,A3),而且『測量項』的共同度值均大於0.6,且載荷係數值均大於0.8,說明餘下3個『測量項』還可以。
針對因子B,因子C,因子D,因子E均一樣的操作流程。
因子B餘下B5,B6共2項;因子C餘下C1,C3,C5,C6共4項;因子D餘下D5和D6共2項;因子E餘下E1,E2,E3共3項。最終餘下項如下表格:
當前餘下共14項,進入『步進效度法』的第4步,即進行『全進入效度法』。操作如下圖:
最終結果如下圖,而且全部對應關係均良好,沒有『張冠李戴』現象。
相對『全進入效度法』,『步進效度法』首先以『變量』為單位進行分析,首先將完全不合理項進行刪除,這樣做的目的在於進行最後『全進入效度法』時,先過濾掉不合理項,減少進行『全進入效度法』的分析難度。SPSSAU建議『新手』或者『測量項』很多時使用『步進效度法』。
3、『步進效度法』後依舊不達標如何辦?
如果使用『步進效度法』,數據依然不達標,即效度依舊很糟糕,可有3種處理或者簡易方式。
第一種:直接使用KMO值來表述效度
直接使用KMO值來測量效度水平,這種方式非常粗糙,原因在於KMO值實質上是測量『測量項』之間的相關關係程度,即KMO值越高,意味著『測量項』之間的關係程度高,當然此種測量方式也在一定程度上說明數據有著效度,只是比較簡單而已。
第二種:以一個因子作為單位分析後組合結果
以一個因子作為單位進行分析,即進行『步進效度法』的前3步,但不進行『步進效度法』的最後一步。即只考慮每個『變量』的效果可行,並不考慮所有變量放在一起時的效度。此種方式在一定程度上可行,但其沒有考慮到『所有變量之間的測量項的幹擾性』,實質上沒有考慮『區分效度』問題,僅考慮『聚合效度』問題。當前此種方式使用也較多,思路上也可行。
第三種:內容效度
一般來說量表數據才能做結構效度分析,如果數據並不適合進行結構效度,那麼直接使用內容效度分析就好。很多數據是非量表結構,從分析方法上並沒有對應的分析方法。那麼如何論證數據的有效性,此時可使用內容效度即可。
4、關於CFA做效度分析
如果在使用探索性因子分析之後,還想進一步研究區分效度或聚合效度,此時需要使用驗證性因子分析進行。特別提示:驗證性因子分析和探索性因子分析,二者實質測量的『核心底層』範疇一致,如果說探索性因子分析沒有完成,直接進行驗證性因子分析,很難使數據達標。正確的操作流程如下:
一般來說,驗證性因子分析對於數據質量的要求明顯更高,一定需要嚴格按照EFA後再CFA這種流程進行檢驗,否則數據基本不可能達標。也或者直接進行CFA分析時,也需要刪除掉非常多不合理『測量項』。