「乾貨分享」效度分析的幾點思考

2021-01-09 SPSSAU

效度分析在學術研究中非常常見,其用於分析『測量項是否真實有效的測量自己希望測量的變量』,效度分析的研究方式有多種,通常包括內容效度,結構效度(探索性因子分析法)和區分效度或聚合效度(驗證性因子分析法)。可見下表格:

第一種內容效度是指使用文字敘述形式對問卷的合理性、科學性進行說明,比如問卷中測量量表題有著嚴謹的參考依據,問卷設計得到專家的認可等,如果有參考依據,也或者有著專家認可,那麼即是說測量項確實可以測量自己希望測量的變量;比如測量『美麗』這個變量,用了三個量表題,分別是『看起來很年輕』,『看上去五官端正』,『看上去心情很好』,這3個測量題是有著參考依據,也或者專家認為此3項確實可以測量『美麗』這個關鍵變量,那麼就說明具有內容效度。

第二種結構效度通常使用探索性因子分析(EFA)進行驗證,即通過探索性因子分析對題項進行分析,如果輸出結果顯示題項與變量對應關係基本與預期一致,則說明結構效度良好。即在收集好數據後,讓軟體運行下,軟體會運行出來『變量』與『測量項』之間的對應關係情況,而自己也有著『變量』與『測量項』之間的對應關係,如果說二者基本吻合,那麼說明自己想的,與軟體出來的結果基本一致,那麼就說明結構上數據具有有效性,即具有結構效度。此種測量方式最為普遍,在實際研究中最常使用。當然很可能結果為『變量』與『測量項』之間的對應關係情況,與自己預期不一致,此時需要自行分析,通常是刪除掉對應關係出錯的『測量項』,最終讓餘下的『測量項』與『變量』的對應關係,與預期保持一致。

第三種效度叫區分或聚合效度,其實質也是一種結構效度。區分效度強調本不應該在同一因子的測量項,確實不在同一因子下面。聚合效度強調本應該在同一因子下面的測量項,確實在同一因子下面。區分效度的具體測量方式是使用AVE值,以及聚合效度是使用AVE開根號然後再與相關分析結果進行對比,除此之外還可以使用HTMT異質-單質比率法測量聚合效度,在SPSSAU中均有默認提供。

下表格展示各種效度與測量方式等:

在實質研究中,內容效度較為基礎基本上所有的研究均會涉及到內容效度。一般使用探索性因子分析EFA進行效度研究的情況最為常見。

在效度分析過程中,通常會出現『變量』與『測量項』之間的對應關係嚴重偏離,即效度不達標。此種偏離可具體分為兩種情況,分別是『張冠李戴』和『糾纏不清』,『張冠李戴』指對應關係完全出錯,此種情況需要直接把『測量項』刪除掉;如果是出現『糾纏不清』,即『測量項』歸到兩個或更多個『變量』裡面都可以,但是一定在自己希望測量的『變量』裡面有出現,那麼這種情況就是『糾纏不清』,此種情況一般可以不處理。

接下來會以一個具體的例子講解如何做效度分析,便於刪除掉不合理的『測量項』,最終數據效度達標。

1、剖析思路『全進入效度法』和『步進效度法』

首先說明下案例數據背景,總共有收回634份樣本數據。數據從專業預期上是分為A、B、C、D、E共5個因子共33個測量項。其中4個因子預期對應著6個量表題 ,還有1個因子預期對應著9個量表題 。預期對應關係如下:

現希望使用探索性因子分析進行結構效度分析。分析的思路有兩種,分別是『全進入效度法』和『步進效度法』,如下:

(1)直接把總共33個測量項進行因子分析,SPSSAU稱其『全進入效度法』。

直接把33項放入因子分析框中進行分析,然後按照流程下述流程進行分析,此種操作方法SPSSAU稱其為『全進入效度法』:

首先設置維度個數為5個數,並且接著把『共同度』值較低(一般小於0.4或0.5)移除掉,『共同度值』低意味著『測量項』的信息沒有被提取出來,說明根本不適合對『測量項』進行測量;接著移除掉『張冠李戴』的項,似情況而定,一般一次移除儘量少的『測量項』;重複第2步和第3步操作,直到最終『測量項』與『變量』之間的對應關係情況與預期符合。

當然最終還可以進行一些微調整,但最終目的都在於『測量項』與『變量』之間的對應關係情況與預期符合,這樣才能說明餘下的『測量項』確實可以有效的測量『變量』,即數據有效。

此種操作流程較為常見,可在SPSSAU官網幫助手冊裡面找到詳細的例子。但此種流程有個前提,即數據質量還比較OK的時候較為有效,如果說數據質量比較糟糕,出現非常多的『張冠李戴』,也或者很多『測量項』的共同度值都很低。

那麼就會出現調整很多次也調整不好,比如本次的案例數據就是這樣,結果如下(連結):

因而建議可使用下一種辦法即『步進效度法』。

(2)分別每個『變量』做因子分析,然後組合回去,SPSSAU稱其為『步進效度法』。

當數據質量較差(當然很多時候會這樣),使用『全進入效度法』進行效度分析時均無果,原因在於數據對應關係很差,使用『全進入效度法』時,重複次數過多,容易出現誤刪除『測量項』,最終導致無論如何也不行。因而可使用『步進效度法』,具體操作思路流程如下圖:

『步進效度法』,其思想在於首先將非常糟糕的測量項直接『幹掉』,然後再進行『全進入效度法『分析流程。這樣可大大減少測量項的個數,減少分析難度。

其第1步時,先以『變量』為單位進行效度分析,那麼『測量項』僅測量一個『變量』,維度/因子個數自然就設置為數量1;多個『變量』就重複多次。刪除掉『共同度值』較低項。

接下來會使用案例講述『步進效度法』。

2、案例詳細說明

首先本案例如果直接進入『全進入效度法』時,結果較糟糕,如下圖(連結):

那麼按照『步進效度法』的思想,先分別進行5次效度分析,第1次針對因子A,SPSSAU操作截圖如下:

SPSSAU輸出結果如下圖(連結):

明顯的可以看出:A4,A5,A6這3個『測量項』的共同度值小於0.4,因此將此3項刪除後再次分析。結果如下:

此時顯示因子A餘下3個『測量項』(A1,A2,A3),而且『測量項』的共同度值均大於0.6,且載荷係數值均大於0.8,說明餘下3個『測量項』還可以。

針對因子B,因子C,因子D,因子E均一樣的操作流程。

因子B餘下B5,B6共2項;因子C餘下C1,C3,C5,C6共4項;因子D餘下D5和D6共2項;因子E餘下E1,E2,E3共3項。最終餘下項如下表格:

當前餘下共14項,進入『步進效度法』的第4步,即進行『全進入效度法』。操作如下圖:

最終結果如下圖,而且全部對應關係均良好,沒有『張冠李戴』現象。

相對『全進入效度法』,『步進效度法』首先以『變量』為單位進行分析,首先將完全不合理項進行刪除,這樣做的目的在於進行最後『全進入效度法』時,先過濾掉不合理項,減少進行『全進入效度法』的分析難度。SPSSAU建議『新手』或者『測量項』很多時使用『步進效度法』。

3、『步進效度法』後依舊不達標如何辦?

如果使用『步進效度法』,數據依然不達標,即效度依舊很糟糕,可有3種處理或者簡易方式。

第一種:直接使用KMO值來表述效度

直接使用KMO值來測量效度水平,這種方式非常粗糙,原因在於KMO值實質上是測量『測量項』之間的相關關係程度,即KMO值越高,意味著『測量項』之間的關係程度高,當然此種測量方式也在一定程度上說明數據有著效度,只是比較簡單而已。

第二種:以一個因子作為單位分析後組合結果

以一個因子作為單位進行分析,即進行『步進效度法』的前3步,但不進行『步進效度法』的最後一步。即只考慮每個『變量』的效果可行,並不考慮所有變量放在一起時的效度。此種方式在一定程度上可行,但其沒有考慮到『所有變量之間的測量項的幹擾性』,實質上沒有考慮『區分效度』問題,僅考慮『聚合效度』問題。當前此種方式使用也較多,思路上也可行。

第三種:內容效度

一般來說量表數據才能做結構效度分析,如果數據並不適合進行結構效度,那麼直接使用內容效度分析就好。很多數據是非量表結構,從分析方法上並沒有對應的分析方法。那麼如何論證數據的有效性,此時可使用內容效度即可。

4、關於CFA做效度分析

如果在使用探索性因子分析之後,還想進一步研究區分效度或聚合效度,此時需要使用驗證性因子分析進行。特別提示:驗證性因子分析和探索性因子分析,二者實質測量的『核心底層』範疇一致,如果說探索性因子分析沒有完成,直接進行驗證性因子分析,很難使數據達標。正確的操作流程如下:

一般來說,驗證性因子分析對於數據質量的要求明顯更高,一定需要嚴格按照EFA後再CFA這種流程進行檢驗,否則數據基本不可能達標。也或者直接進行CFA分析時,也需要刪除掉非常多不合理『測量項』。

相關焦點

  • 問卷信度效度之間有什麼關係如何分析
    基本上所有問卷信度分析均會使用此類分析。通過軟體計算出α信度係數值,並且用其進行信度水平判斷。一般來講:α係數最好在0.8以上,0.7~0.8之間屬於可以接受範圍,而分量表的α信度係數希望在0.7以上, 0.6~0.7之間可以接受。如果α信度係數低於0.6則考慮修改量表。
  • 效度分析完整總結!你一定要知道的分析流程
    在問卷研究中,分析問卷信效度總是不可避免的環節之一。尤其是效度分析過程,常常令研究人員頭痛不已。如何更有效得到效度分析結果,避免無用功,今天我們就一起來探討討論。本文從分析思路角度進行全面梳理,希望能夠讓大家對效度分析有更深入地理解。
  • 你一定要知道的效度分析攻略
    尤其是效度分析過程,常常令研究人員頭痛不已。 如何更有效得到效度分析結果,避免無用功,今天我們就一起來探討討論。 本文從分析思路角度進行全面梳理,希望能夠讓大家對效度分析有更深入地理解。 1.
  • 《量表信效度分析》系列文章
    為了解決這一問題,學堂推出了量表信效度系列,超詳細的為大家講解如何對問卷進行試測,調整問卷結構,設計更為優質的問卷。為讓大家更加方便的學習信效度分析的基礎知識與應用,學堂現將《 量表信效度分析》系列文章匯總起來呈現給大家。此系列文章專門為信效度分析的初學者準備,內容全面、豐富,大家可以根據自己的需要慢慢學習,後續文章將持續更新中!
  • 問卷信效度分析的步驟
    問卷設計是科研工作中的常見問題,如何設計出高信效度問卷,臺灣學者吳明隆給出了很好的答案。應採用幾點量表法,學者Berdie(1994 )根據研究經驗,綜合提出以下參考:1.在大多數的情況下,5 點量表(points)是最可靠的,選項超過5 點,一般人難有足夠的辨別力。
  • 你會進行標準關聯效度分析嗎?| 量表的信效度分析(4)
    上圖中,標準量表為CS(結局為鎮靜過深和鎮靜不足二分類),分別於CBS和SBS量表(結局也為鎮靜過深和鎮靜不足二分類)進行校標關聯效度分析,此時使用的是kappa一致性檢驗。譚蓉, 胡德英, 劉義蘭, 等. 住院患者自殺風險評估量表的編制及信效度檢驗[J]. 中華護理雜誌, 2018,53(09):1096-1099.
  • 行上行下|2019年心理學乾貨合集
    以後有條件的話,可以考慮線下分享會~分享完喜悅之後,下面開始進入正題啦。在2019年的565天內,我們一共寫了78篇推文,展示總結68篇,其中累計原創文章74篇,累計粉絲量9996人。1.同步EEG-fMRI融合及NIT軟體簡介2. 3種高生態效度的雙腦神經反饋3. letswave教程:腦電數據圖形繪製、批處理以及腳本生成4. letswave教程:腦電數據的時頻分析/組平均與統計分析5. Letswave 教程:腦電數據預處理與疊加平均6. EEG/ERP研究中如何獲得穩定可信的結果或效應7.
  • 問卷一定要做效度分析嗎
    結構效度,指測量題項與測量維度之間的對應關係。測量方法有兩種,一種是探索性因子分析,另外一種是驗證性因子分析。其中,探索性因子分析是當前使用最為廣泛的結構效度測量方法。使用探索性因子分析進行效度驗證時,應該以量表為準,對變量或者量表分別進行分析。效標效度,如果以前有一份權威且標準的量表數據,現在依舊使用該量表進行研究,並且收集回來一份數據。
  • 問卷數據分析——區分效度
    前面介紹了合成信度相關內容,現在我們來看區分效度部分。同樣先簡介定義,然後介紹操作計算部分。由於區分效度也是伴隨因子分析進行的,其畫圖、建模以及運行等過程,與合成信度的過程一模一樣,本文中案例所用的數據與合成信度也是同一數據,文中關於畫圖等過程就省略了,大家自行參照合成信度相關內容。
  • 「行業研究專題」如何應用MECE原則來分析問題
    所以這條原則翻譯過來,可以是「相互獨立,完全窮盡」,也可以翻譯成「不重複,無遺漏」。講到這裡,你肯定會說,好,我知道MECE是什麼意思了。那具體怎麼用呢?接下來我們舉幾個例子來詳細闡述。02案例一:公司用戶研究組接到一個任務:分析公司的消費人群的特徵。在分析之前,要先對人群進行拆分,並擬定調研的方案。
  • 「Mclass」Bloom's Taxonomy布魯姆的思考技能分層在中文閱讀的運用
    「小編寄語」布魯姆在教育學領域可是一位響當當的大神吶,讀書是可是被他的各種理論研究折騰的可以,所以現在看到這個名字還有種刻骨銘心的感覺,真正到了教學實踐的時候才發現什麼叫做理論源於實踐
  • 四大維度,全方位剖析APP「分享功能」
    分享動機、分享場景4個維度來聊聊「社交分享」的那些事兒。得到結果或完成任務時分享在遊戲勝利或闖關成功時,用戶是處於一個比較興奮的狀態,這時候提醒用戶「炫耀」一下,往往會有不錯的效果。圖片分享圖片分享時一種很常用的形式,直擊重點,節約閱讀時間,如果圖片設計得好,一圖勝千言。並且由於圖片比文字有了更多的視覺信息,能夠向外傳達一種產品的氣息,俗稱「範兒」,比如「設計範兒」、「科技範兒」和「文藝範兒」,能夠體現產品本身的格調。
  • 品一杯「經濟學人」咖啡 – The Economist Espresso #iOS #Android
    可「經濟學」不同,願意了解,不斷積累,能夠以開放和前瞻性的眼光看待市場變化,那麼即使不是「家」,你也可以進入「經濟學者」的行列。所以三個步驟中最重要的「積累」,就得從每一天的開始而開始。—— The Economist Espresso,是清晨一杯象徵活力和新鮮的濃縮咖啡,也是一則儘是精華和乾貨的經濟新聞。
  • 一文掌握效度分析所有知識點!
    通常情況下,效度分析只能分析量表題。 針對效度分析,通常會使用內容效度分析、結構效度分析(探索性因子分析)和結構效度分析(驗證性因子分析)進行效度分析。效度分析類型如下所示。結構效度分析通常使用探索性因子分析(EFA)進行驗證,即通過探索性因子分析對題進行分析,如果輸出結果顯示題和變量的對應關係基本與預期一致,則說明結構效度分析良好。 1效度分析基本說明 效度分析的目的在於判斷研究題是否可以有效地測量研究人員需要測量的變量,通俗來講就是測量問卷題是否準確有效。
  • SPSSAU數據分析入門教學03:信效度分析指標
    信效度是衡量一份問卷測試結果的準確性和穩定性的依據。問卷設計完成之後到分析結束,一般要經過兩次信效度分析。一次是預調查時,一次是正式分析。效度分析(1)效度種類針對效度分析,通常會使用內容效度,或者結構效度,或者驗證性因子分析(CFA)進行效度驗證。
  • 歐洲地緣與公考備戰的「高度」(上)
    大學生和中學生相比,應當建立起成熟的世界觀,對於很多事物應有深入分析能力——這也是公考的考察重點。西瓜在之前曾多次強調在公考備戰時不要死記硬背,要學會串聯知識點並舉一反三,但可能由於說的比較虛,很多小夥伴還是有疑問。今天就結合前段時間推送的「地緣看世界」這一知識點,從較為淺顯的角度來談談怎樣從本質上來分析事物。
  • 「競品分析」的理念、流程、方法、工具
    2,競品分析與市場分析其實是有區別的。市場分析、競品分析、產品分析、產品體驗分析在「分析目的」、「產品數量」、「分析維度」三個方面都是有所區別的,是一個從宏觀到微觀的過程。可以用來做產品商業模式規劃,也可以用來做產品商業模式分析。通過精益畫布可以幫助產品經理更全面地思考、決策,從系統、商業的角度來規劃產品、分析產品,建立產品的全局觀。
  • 「對話·真假巖板」——2020行業大咖共話優質巖板標準高峰論壇...
    但你是否思考過,眼前的巖板真的是巖板嗎?你知道它跟大板瓷磚的區別嗎?就此,粵強聯合製造聯盟、廣東省陶瓷協會及騰訊家居,於10月19日舉辦了「對話·真假巖板」——2020行業大咖共話優質巖板標準高峰論壇。
  • 「深度思考」什麼是批判性思維?如何培養一個人的批判性思維?
    在爆炸的資訊時代,我們大多數的人缺少理性分析和判斷的能力。更是對批判性思維的本質知之甚少?更多的是人云亦云,跟著情緒,臉紅脖子粗。明白了我們為什麼需要批判性思維,以及為什麼批判性思維這麼重要,我們也要避免流於「為反對而反對」,那麼如何培養一個人擁有批判性思維去批判性思考呢?1、 學會提問。
  • 行測備考誤區之四:無意義的「概念詞」
    一看似高大上的「概念詞」幾乎所有考生都在備考時遇到過很多高大上的「概念詞」,以「資料分析」板塊為了,這些詞包括:基期、現期、年均增長率、拉動增長、增長貢獻率……行測的「做題速度」極為重要,尤其是「資料分析」板塊的題目量非常大,雖然題目難度不高,但需要找的數據多、計算步驟多,做題速度不夠快就會導致行測做不完。然而那些「概念詞」在講什麼呢?