「乾貨分享」效度分析的幾點思考

2021-01-08 SPSSAU

效度分析在學術研究中非常常見,其用於分析『測量項是否真實有效的測量自己希望測量的變量』,效度分析的研究方式有多種,通常包括內容效度,結構效度(探索性因子分析法)和區分效度或聚合效度(驗證性因子分析法)。可見下表格:

第一種內容效度是指使用文字敘述形式對問卷的合理性、科學性進行說明,比如問卷中測量量表題有著嚴謹的參考依據,問卷設計得到專家的認可等,如果有參考依據,也或者有著專家認可,那麼即是說測量項確實可以測量自己希望測量的變量;比如測量『美麗』這個變量,用了三個量表題,分別是『看起來很年輕』,『看上去五官端正』,『看上去心情很好』,這3個測量題是有著參考依據,也或者專家認為此3項確實可以測量『美麗』這個關鍵變量,那麼就說明具有內容效度。

第二種結構效度通常使用探索性因子分析(EFA)進行驗證,即通過探索性因子分析對題項進行分析,如果輸出結果顯示題項與變量對應關係基本與預期一致,則說明結構效度良好。即在收集好數據後,讓軟體運行下,軟體會運行出來『變量』與『測量項』之間的對應關係情況,而自己也有著『變量』與『測量項』之間的對應關係,如果說二者基本吻合,那麼說明自己想的,與軟體出來的結果基本一致,那麼就說明結構上數據具有有效性,即具有結構效度。此種測量方式最為普遍,在實際研究中最常使用。當然很可能結果為『變量』與『測量項』之間的對應關係情況,與自己預期不一致,此時需要自行分析,通常是刪除掉對應關係出錯的『測量項』,最終讓餘下的『測量項』與『變量』的對應關係,與預期保持一致。

第三種效度叫區分或聚合效度,其實質也是一種結構效度。區分效度強調本不應該在同一因子的測量項,確實不在同一因子下面。聚合效度強調本應該在同一因子下面的測量項,確實在同一因子下面。區分效度的具體測量方式是使用AVE值,以及聚合效度是使用AVE開根號然後再與相關分析結果進行對比,除此之外還可以使用HTMT異質-單質比率法測量聚合效度,在SPSSAU中均有默認提供。

下表格展示各種效度與測量方式等:

在實質研究中,內容效度較為基礎基本上所有的研究均會涉及到內容效度。一般使用探索性因子分析EFA進行效度研究的情況最為常見。

在效度分析過程中,通常會出現『變量』與『測量項』之間的對應關係嚴重偏離,即效度不達標。此種偏離可具體分為兩種情況,分別是『張冠李戴』和『糾纏不清』,『張冠李戴』指對應關係完全出錯,此種情況需要直接把『測量項』刪除掉;如果是出現『糾纏不清』,即『測量項』歸到兩個或更多個『變量』裡面都可以,但是一定在自己希望測量的『變量』裡面有出現,那麼這種情況就是『糾纏不清』,此種情況一般可以不處理。

接下來會以一個具體的例子講解如何做效度分析,便於刪除掉不合理的『測量項』,最終數據效度達標。

1、剖析思路『全進入效度法』和『步進效度法』

首先說明下案例數據背景,總共有收回634份樣本數據。數據從專業預期上是分為A、B、C、D、E共5個因子共33個測量項。其中4個因子預期對應著6個量表題 ,還有1個因子預期對應著9個量表題 。預期對應關係如下:

現希望使用探索性因子分析進行結構效度分析。分析的思路有兩種,分別是『全進入效度法』和『步進效度法』,如下:

(1)直接把總共33個測量項進行因子分析,SPSSAU稱其『全進入效度法』。

直接把33項放入因子分析框中進行分析,然後按照流程下述流程進行分析,此種操作方法SPSSAU稱其為『全進入效度法』:

首先設置維度個數為5個數,並且接著把『共同度』值較低(一般小於0.4或0.5)移除掉,『共同度值』低意味著『測量項』的信息沒有被提取出來,說明根本不適合對『測量項』進行測量;接著移除掉『張冠李戴』的項,似情況而定,一般一次移除儘量少的『測量項』;重複第2步和第3步操作,直到最終『測量項』與『變量』之間的對應關係情況與預期符合。

當然最終還可以進行一些微調整,但最終目的都在於『測量項』與『變量』之間的對應關係情況與預期符合,這樣才能說明餘下的『測量項』確實可以有效的測量『變量』,即數據有效。

此種操作流程較為常見,可在SPSSAU官網幫助手冊裡面找到詳細的例子。但此種流程有個前提,即數據質量還比較OK的時候較為有效,如果說數據質量比較糟糕,出現非常多的『張冠李戴』,也或者很多『測量項』的共同度值都很低。

那麼就會出現調整很多次也調整不好,比如本次的案例數據就是這樣,結果如下(連結):

因而建議可使用下一種辦法即『步進效度法』。

(2)分別每個『變量』做因子分析,然後組合回去,SPSSAU稱其為『步進效度法』。

當數據質量較差(當然很多時候會這樣),使用『全進入效度法』進行效度分析時均無果,原因在於數據對應關係很差,使用『全進入效度法』時,重複次數過多,容易出現誤刪除『測量項』,最終導致無論如何也不行。因而可使用『步進效度法』,具體操作思路流程如下圖:

『步進效度法』,其思想在於首先將非常糟糕的測量項直接『幹掉』,然後再進行『全進入效度法『分析流程。這樣可大大減少測量項的個數,減少分析難度。

其第1步時,先以『變量』為單位進行效度分析,那麼『測量項』僅測量一個『變量』,維度/因子個數自然就設置為數量1;多個『變量』就重複多次。刪除掉『共同度值』較低項。

接下來會使用案例講述『步進效度法』。

2、案例詳細說明

首先本案例如果直接進入『全進入效度法』時,結果較糟糕,如下圖(連結):

那麼按照『步進效度法』的思想,先分別進行5次效度分析,第1次針對因子A,SPSSAU操作截圖如下:

SPSSAU輸出結果如下圖(連結):

明顯的可以看出:A4,A5,A6這3個『測量項』的共同度值小於0.4,因此將此3項刪除後再次分析。結果如下:

此時顯示因子A餘下3個『測量項』(A1,A2,A3),而且『測量項』的共同度值均大於0.6,且載荷係數值均大於0.8,說明餘下3個『測量項』還可以。

針對因子B,因子C,因子D,因子E均一樣的操作流程。

因子B餘下B5,B6共2項;因子C餘下C1,C3,C5,C6共4項;因子D餘下D5和D6共2項;因子E餘下E1,E2,E3共3項。最終餘下項如下表格:

當前餘下共14項,進入『步進效度法』的第4步,即進行『全進入效度法』。操作如下圖:

最終結果如下圖,而且全部對應關係均良好,沒有『張冠李戴』現象。

相對『全進入效度法』,『步進效度法』首先以『變量』為單位進行分析,首先將完全不合理項進行刪除,這樣做的目的在於進行最後『全進入效度法』時,先過濾掉不合理項,減少進行『全進入效度法』的分析難度。SPSSAU建議『新手』或者『測量項』很多時使用『步進效度法』。

3、『步進效度法』後依舊不達標如何辦?

如果使用『步進效度法』,數據依然不達標,即效度依舊很糟糕,可有3種處理或者簡易方式。

第一種:直接使用KMO值來表述效度

直接使用KMO值來測量效度水平,這種方式非常粗糙,原因在於KMO值實質上是測量『測量項』之間的相關關係程度,即KMO值越高,意味著『測量項』之間的關係程度高,當然此種測量方式也在一定程度上說明數據有著效度,只是比較簡單而已。

第二種:以一個因子作為單位分析後組合結果

以一個因子作為單位進行分析,即進行『步進效度法』的前3步,但不進行『步進效度法』的最後一步。即只考慮每個『變量』的效果可行,並不考慮所有變量放在一起時的效度。此種方式在一定程度上可行,但其沒有考慮到『所有變量之間的測量項的幹擾性』,實質上沒有考慮『區分效度』問題,僅考慮『聚合效度』問題。當前此種方式使用也較多,思路上也可行。

第三種:內容效度

一般來說量表數據才能做結構效度分析,如果數據並不適合進行結構效度,那麼直接使用內容效度分析就好。很多數據是非量表結構,從分析方法上並沒有對應的分析方法。那麼如何論證數據的有效性,此時可使用內容效度即可。

4、關於CFA做效度分析

如果在使用探索性因子分析之後,還想進一步研究區分效度或聚合效度,此時需要使用驗證性因子分析進行。特別提示:驗證性因子分析和探索性因子分析,二者實質測量的『核心底層』範疇一致,如果說探索性因子分析沒有完成,直接進行驗證性因子分析,很難使數據達標。正確的操作流程如下:

一般來說,驗證性因子分析對於數據質量的要求明顯更高,一定需要嚴格按照EFA後再CFA這種流程進行檢驗,否則數據基本不可能達標。也或者直接進行CFA分析時,也需要刪除掉非常多不合理『測量項』。

相關焦點

  • 【乾貨分享】效度分析的幾點思考
    效度分析在學術研究中非常常見,其用於分析『測量項是否真實有效的測量自己希望測量的變量』,效度分析的研究方式有多種,通常包括內容效度,結構效度(探索性因子分析法)和區分效度或聚合效度
  • SPSS中的數據分析—信度效度檢驗「1」
    最後我們只需要針對問卷所取得的數據進行分析,就基本上能夠得到我們所需要的調查結果了。 信度效度檢驗其實是兩個檢驗,一個是信度檢驗,另一個是效度檢驗。兩個檢驗方式是相互獨立的,但是檢驗結果又是相輔相成的,需要一起拿來做分析才能得出我們想要的結果。
  • 問卷信度效度之間有什麼關係如何分析
    基本上所有問卷信度分析均會使用此類分析。通過軟體計算出α信度係數值,並且用其進行信度水平判斷。一般來講:α係數最好在0.8以上,0.7~0.8之間屬於可以接受範圍,而分量表的α信度係數希望在0.7以上, 0.6~0.7之間可以接受。如果α信度係數低於0.6則考慮修改量表。
  • 招聘渠道效度分析
    知此解彼,熟諳招聘渠道的特點及效度,方能遊刃有餘、最為高效地利用好招聘渠道助力甄選人才工作。通常每年年終,招聘團隊都會對一年來招聘整體工作成效進行復盤與總結,分析研判並對下一年工作提出優化舉措建議。其中一項重點工作就是制定《年度招聘費用預算規劃及招聘渠道(組合)使用指導意見》。
  • 數據分析技術:信度與效度分析;信度和效度不僅僅能用於問卷分析!
    信度的分析類型信度分析的目的是檢驗受訪者是否真實的回答了問卷的問題,收集上來的數據是否真實可靠。根據測量工具的不同,信度指標可以分成四類,如下圖所示:效度分析類型效度是指測量工具能夠準確測量出事物所要測量特性的程度,效度越高表示測量真實性越高,由於真實值往往未知,所以我們對於效度的評價也不可能永恆不變的,隨著設定和對比的「真實值」變化,效度指標也會發生變化。也就是說,效度的指標的種類會有很多。
  • 效度分析完整總結!你一定要知道的分析流程
    在問卷研究中,分析問卷信效度總是不可避免的環節之一。尤其是效度分析過程,常常令研究人員頭痛不已。如何更有效得到效度分析結果,避免無用功,今天我們就一起來探討討論。本文從分析思路角度進行全面梳理,希望能夠讓大家對效度分析有更深入地理解。
  • AMOS分析技術:驗證性因子分析介紹;信度與效度指標詳解
    2、新的潛在變量一定要根據實際研究情況來對其定義(到底什麼因素會同時影響內容評價、功能評價和用戶感知價值),如果實在無法定義,那麼也就沒有必要做二階驗證性因子分析了。所有驗證性分析都需要特別注意,不能完全依靠數據來建立和修改模型,而應該把數據結果作為線索,指引分析者思考在模型是否有遺漏的關係沒有考慮到,再根據實際情況修正模型。
  • 你一定要知道的效度分析攻略
    如何更有效得到效度分析結果,避免無用功,今天我們就一起來探討討論。 本文從分析思路角度進行全面梳理,希望能夠讓大家對效度分析有更深入地理解。 1.
  • 怎麼做好效度分析?
    (內容效度並非統計軟體進行的統計方法,對於問卷研究來講,基本上均需要進行內容效度說明。)(2)結構效度,指測量題項與測量維度之間的對應關係。測量方法有兩種,一種是探索性因子分析,另外一種是驗證性因子分析。其中,探索性因子分析是當前使用最為廣泛的結構效度測量方法。使用探索性因子分析進行效度驗證時,應該以量表為準,對變量或者量表分別進行分析。
  • SPSS | 說說效度分析
    上周提到了信度分析,收到了很多小夥伴的催促,求更效度分析。因為量表的好壞評價標準中,信效度分析一般是分不開的。今天就來聊聊效度分析。我爭取用最簡單的語言把它說清楚。萬一如果還是有不清楚的地方,歡迎留言評論嗷。
  • 問卷設計與分析:效度分析
    如果一份問卷的效度不好,那這份問卷可能是調查不到你需要研究的內容。常用的問卷效度包含:內容效度(也稱邏輯效度)、效標效度和構念效度。    1、內容效度    內容效度反映的是問卷內容與廣度的適合程度,換句話說,內容效度就是研究者設計的問卷是否能夠測量到研究內容,有沒有存在跑題的現象。
  • 數據分析技術:信度與效度;信度和效度代表什麼?
    很多人知道信度和效度是因為問卷數據分析需要用到它們,其實信度和效度的應用範圍遠遠不止於問卷的數據分析,今天我們就來聊聊數據的信度和效度。
  • 《量表信效度分析》系列文章
    為了解決這一問題,學堂推出了量表信效度系列,超詳細的為大家講解如何對問卷進行試測,調整問卷結構,設計更為優質的問卷。為讓大家更加方便的學習信效度分析的基礎知識與應用,學堂現將《 量表信效度分析》系列文章匯總起來呈現給大家。此系列文章專門為信效度分析的初學者準備,內容全面、豐富,大家可以根據自己的需要慢慢學習,後續文章將持續更新中!
  • SPSS中的數據分析—信度效度檢驗
    ——信度效度檢驗。最後我們只需要針對問卷所取得的數據進行分析,就基本上能夠得到我們所需要的調查結果了。信度效度檢驗其實是兩個檢驗,一個是信度檢驗,另一個是效度檢驗。兩個檢驗方式是相互獨立的,但是檢驗結果又是相輔相成的,需要一起拿來做分析才能得出我們想要的結果。
  • 【乾貨】雅思高頻詞彙,「使能夠」可以這樣表達
    歡迎關注都妹「乾貨日曆」實用語料|當季新題|高分詞彙每日分享託福雅思備考乾貨讀法音頻:常考釋義:vt.使能夠變形詞:來源於:劍雅8-Test4「熱詞玩梗」「IM」IM 即:Instant Message.意思為:即時通信; 即時消息舉例:She sent him an instant message.她給他發送了一條即時消息。
  • 「網易蝸牛閱讀」和「微信讀書」的寫書評功能分析
    本文主要分析「網易蝸牛閱讀」和「微信讀書」的寫書評功能,來看看網易蝸牛讀書的寫書評功能有哪些值得借鑑的地方。「全新記事本模式」捲軸模式下右滑可寫批註,帶著思考享受閱讀。「全新共讀功能」新版本獨創共讀功能,隨時組隊讀書、共享批註。「個性化閱讀器」極簡風格,支持自定義設置主題、字體、翻頁方式等。
  • 思考| 如何通過產品思維解決「點菜困難症」
    本文將從產品思維架構(即用戶需求場景出發到用戶體驗要素)的角度,討論商家在設計「菜單」產品時應考慮哪些因素,最後給出了幾點切實的腦洞建議(核心)。全文結構如下,部分圖片來自網際網路:3.1.3 需求分析完用戶和場景,那用戶在使用菜單時的核心需求是什麼呢?一句話來講,就是怎樣使用戶能快速找到自己想買的東西、想吃的菜,並在能接受的價格範圍內儘可能快地完成購買。總結起來就是「快速」、「最合適」、「買得起」。
  • 問卷信效度分析的步驟
    問卷設計是科研工作中的常見問題,如何設計出高信效度問卷,臺灣學者吳明隆給出了很好的答案。應採用幾點量表法,學者Berdie(1994 )根據研究經驗,綜合提出以下參考:1.在大多數的情況下,5 點量表(points)是最可靠的,選項超過5 點,一般人難有足夠的辨別力。
  • 【乾貨】雅思高頻詞彙,「表明」這樣表達
    歡迎關注都妹「乾貨日曆」 實用語料|當季新題|高分詞彙 每日分享託福雅思備考乾貨 讀法音頻: 常考釋義
  • 奇蹟MU「裝備技巧」全是乾貨!數據分析弓箭手各階數裝備屬性
    奇蹟MU「裝備技巧」全是乾貨!數據分析弓箭手各階數裝備屬性 【裝備技巧】全是乾貨!