效度檢驗

2021-12-10 統計家園

收錄於話題 #統計基礎 21個內容

一、理論知識

(一)效度的概念及性質

效度即有效性,是指測量工具或手段能夠準確測出所需測量的事物的程度。效度是指所測量到的結果反映所想考察內容的程度,測量結果與要考察的內容越吻合,則效度越高;反之,則效度越低。

基本上,效度具有以下性質:

1效度是指測驗結果的正確性或可靠性,而非指測驗工具本身。

2效度並非全有或全無,只是程度上有高低不同的差別。

3效度具有目標功能性即其是針對某一特殊功能或某種特殊用途而言的,一份具有高效度的測驗工具施測於不同的受試者,可能會導致測驗結果的不正確。

4效度無法實際測量,只能從現有信息作邏輯推論或從實證資料作統計檢驗分析。

(二)效度的分類

1內容效度(content validity)

是指測驗或量表中題目的適切性與代表性,即測驗內容能否反映所要測量的心理特質,能否達到測量的目的或行為構念。內容效度的檢驗通常會通過雙向細目表,以檢視測驗內容的效度,內容效度常以題目分布的合理性來判斷,屬於一種命題的邏輯分析,因此內容效度也被稱為邏輯效度(logical validity)。

2效標關聯效度(criterion-related validity)

是指測驗與外在效標間的相關程度,測驗與外在效標間的相關程度愈高,表明此測驗的效標關聯效度愈高。作為外在效標的工具,本身必須具備良好的信度與效度,如1)標準化的學業成績、智力測驗;2)通常建立的人格量表、態度量表;3)實際的工作表現等。效標關聯效度通常是求實際測驗分數與效標間的關係,屬於實證統計分析,因此效標關聯效度又被稱為實證性效度(empirical validity)。

3建構效度(construct validity)

是指能夠測量出理論的特質或概念的程度,即實際的測驗分數能解釋多少某一心理特質。我們根據理論的假設架構,編制一份量表或測驗,經實際測試結果,受試者所得實際分數經統計檢驗能有效解釋受試者的心理特質,則成此量表或測驗具有很好的建構效度。

(三)建構效度檢驗與因子分析

1建構效度

建構效度以理論的邏輯分析為基礎,又根據實際資料檢驗理論的正確性,因此檢驗建構效度是一種相當嚴謹的效度檢驗方法。建構效度檢驗步驟通常包括:1)根據已有研究結果和實際經驗等建立假設性理論;2)根據建立的假設性理論編制適切的測驗工具;3)選取適當的受試者進行施測;4)以統計檢驗的實證方法去檢驗此測驗工具是否能有效解釋所關注的心理特質。

統計學上,檢驗建構效度最常用的方法是因子分析(或稱共同因子分析common factor analysis;CFA),若使用者以因子分析去檢驗測驗工具的效度,有效抽取出共同因子且共同因子與理論架構的心理特質極為接近,則說此測驗工具具有建構效度。因此使用者會將項目分析完後的題項作因素分析,以求得量表的建構效度。

2因子分析

因子分析的基本原理此處不再贅述,簡單回憶一下因子分析的主要步驟和篩選原則。

進行因子分析的步驟包括:1)計算變量間相關矩陣;2)估計因子載荷(factors loading),估計方法有主成分分析法(principal components analysis)、主軸法、極大似然法等;3)對因子載荷矩陣進行旋轉,以能更好地解釋公共因子;4)對公共因子作出解釋。

因子分析中的一項重要工作是保留多少個公共因子,常用的確定方法有:1)特徵值:保留特徵值大於1的因子;2)陡坡圖:以因子數目為橫軸、以特徵值為縱軸繪製陡坡圖,若圖形呈現由斜坡轉為平坦,則去掉平坦狀態後的共同因子;3)累計貢獻率:當所萃取額共同因子所能解釋全部因子的累計貢獻率達到某一預設值後(通常為80%)就停止抽取公共因子。

此外,是否適合進行因子分析,可通過KMO檢驗進行判斷。進行因子分析前,KMO統計量值的判斷準則如表1,可大致認為KMO統計量值大於0.6時進行因子分析,否則應該另尋分析方法。此外,還可通過巴特利特(Bartlett’s)球形檢驗判斷是否適合因子分析,Bartlett球度統計量越大越好,當其對應的p值<0.05時,表明數據適合做因子分析。在SPSS中,KMO檢驗與Bartlett球形檢驗同時進行。

(一)研究問題介紹

某使用者在一項中學學校知識管理與學校效能關係的研究中,自編了一份「學校知識管理量表」,此量表原有20題,經項目分析後刪除第20題,保留19題,試分析此19題的建構效度。

在編制「學校知識管理量表」時,依三大板塊--「知識創新」、「知識分享」、「知識獲得」來編制題項,為進一步求出量表的建構效度而進行因子分析。在變量名稱編碼時,19題的題項變量名稱依序為c1、c2、c3、…、c18、c19。

(二)操作步驟

1點擊「Analyze(分析)」→「Dimension Reduction(降維)」→「Factor(因子分析)」,打開「Factor Analysis(因子分析)」對話窗口,將左邊變量清單中的全部變量選入Variables下。

2選擇「Factor Analysis」對話窗口中的「Descriptives」,在「Correlation Matrix」中勾選「KMO and Bartlett’s test of sphericity」(KMO檢驗&Bartlett’s球形檢驗),點擊「Continue」。

3選擇「Factor Analysis」對話窗口中的「Extraction(萃取)」,在「Method」中選擇「Principal components」,在「Display」中勾選「Unrotated factor solution(未旋轉因子解)」,其餘默認,點擊「Continue」。

4選擇「Factor Analysis」對話窗口中的「Rotation(轉軸法)」,在「Method」中選擇「Varimax(最大變異法)」,在「Display」中勾選「Rotated solution(轉軸後的解)」,其餘默認,點擊「Continue」。

5選擇「Factor Analysis」對話窗口中的「Options」,在「Missing Values」中選擇「Exclude cases listwise(完全排除觀察值)」,在「Coefficient Display Format」中勾選「Sorted by size(依據因素負荷排序)」,其餘默認,點擊「Continue」。

6點擊「OK」。

(三)運行結果分析

1結果的第一部分(見表2)顯示了KMO統計量的值為0.855,由表1可知,「學校知識管理量表」適合進行因子分析,同時Bartlett球形統計量的p值遠小於0.05,也說明該量表適合做因子分析。

表2 KMO檢驗和Bartlett球形檢驗的結果(部分)

2結果的第二部分(見表3)展示了每個變量的初始共同性以及用主成分分析法抽取主成分後的共同性(此為最終共同性)。共同性低,表示該變量不適合進行主成分分析;共同性高,表示該變量與其它變量可測量的共同特質多。最終共同性的高低可作為項目分析時篩選題項是否保留的指標之一,若共同性低於0.2則可考慮將該題項刪除。由表2知「學校知識管理量表」中的各題項都不應被刪除,說明之前進行的項目分析沒有出錯。

結果的第三部分(表4)呈現了採用主成分分析法抽取共同因子後的解釋總方差(Total Variance Explained)表,轉軸方法為直交轉軸的最大變異法。這一部分的結果包括:「成分」、「初始特徵值」、「平方和載荷萃取」和「轉軸平方和載荷」。「初始特徵值」中的「總和」列時每一主成分的特徵值,特徵值越大表示該主成分在解釋19個變量的變量時越重要;「方差的%」為每一個抽取因子可解釋變量的方差;「累計%」為解釋變量方差的累計百分比。以主成分分析法抽取共同因子,其「Initial Eigenvalues」(初始特徵值)與「Extraction Sums of Squared Loadings」(平方和負荷量萃取)兩欄中的值完全相同,本量表中四個因子可以解釋全量表69.253%的方差。

表4 解釋總方差

結果的第四部分(表5)為19個變量在四個因子上為轉軸的因子矩陣(即原始因素負荷量矩陣),因子矩陣中的數值為各題項變量在公共因子上的因子載荷,因子載荷數值越大表示題項變量與公共因子的關聯越大。由表5可知,第14題與公共因子的關聯最大,其次依次為第15題、第9題、,第12題與公共因子的關聯最小。

表5 因子載荷矩陣

結果的第五部分(表6)是轉軸後的因子載荷矩陣,按照因子載荷的大小降序排列,轉軸的主要目的在於重新安排題項在每個公共因子的因子載荷,轉軸前較大的因子載荷轉軸後將變得更大,而較小的因子載荷轉軸後將變得更小。從表六可知:公共因子a包含第7、8、9、10、11、13題,公共因子b包含第14、15、16、17、18、19題,公共因子c包含第1、2、3、4、5、6題,公共因子d只包含第12題。由於公共因子d只包含一題,題項數太少無法顯示公共因子代表的意義,因此刪除公共因子d較為適宜。

(二)結論

進行上述因子分析後,由於公共因子d只包含c12,包含的題項變量少於3題且因子構念無法命名,因此在刪除c12後再次進行因子分析。納入第二次因子分析的題項包含排除c12外的18個題項,軟體操作與上述類似。

第二次因子分析萃取了三個因子,且三個因子均可合理命名,三個因子被命名為:「知識創新」、「知識分享」、「知識獲取」,「知識創新」包括c1、c2、c3、c4、c5、c6六題;「知識分享」包括c7、c8、c9、c10、c11、c13六題;「知識獲取」包括c14、c15、c16、c17、c18、c19六題。

相關焦點

  • SPSS中的數據分析—信度效度檢驗
    信度效度檢驗其實是兩個檢驗,一個是信度檢驗,另一個是效度檢驗。兩個檢驗方式是相互獨立的,但是檢驗結果又是相輔相成的,需要一起拿來做分析才能得出我們想要的結果。大家都知道,在設計問卷的時候我們會列舉出很多個題目,而在題型設計上又分為單選題、多選題、填空題、問答題等等,不同的問題結構我們需要用不同的方法來進行分析。那我們今天說的信度效度檢驗又是針對哪種題型呢?
  • SPSS中的數據分析—信度效度檢驗[2]
    那針對這些數據我們又該如何進行效度檢驗呢?今天我們就繼續接著上一篇文章來看看如何對問卷數據進行效度檢驗。在分析之前,我們首先需要知道,對量表的效度檢測是為了更好的證明所用問卷適合此次實證研究。而效度檢測可以通過因子分析檢驗看量表結構歸類是否合理。
  • SPSS中的數據分析—信度效度檢驗「1」
    今天咱們換個口味,給大家講一下關於SPSS中的數據分析——信度效度檢驗。 現階段正處在畢業季階段,很多同學可能都正在忙著去弄自己的論文和答辯(不知道大家在翟天臨上熱搜這個事情上有沒有做出過一定貢獻),很多時候我們在寫論文答辯甚至於其他課題研究的時候都會選擇用問卷這種形式來收集數據。
  • 新傳名詞解釋全整理:效度/表面效度/準則效度/結構效度/內在效度和外在效度/信度與效度的關係
    由於表面效度基於個人主觀判斷之上,因而這種效度缺乏標準的、可重複性的程序保證。 3.結構效度(Construct validity)結構效度也稱構造效度或建構效度,它通過利用現有的理論或命題來考察當前測量工具或手段的效度。結構效度涉及一個理論的關係結構中其他概念或變量的測量。 5.
  • SPSS | 說說效度分析
    效度到底是啥效度(validity)就是有效性,是衡量一個量表準確測出我們想測的東西的程度。比如我們想測工作滿意度,採用了一個工作滿意度量表,如果效度得分越接近於1,說明測量結果與工作滿意度越吻合;效度越接近於0,就說明這個量表與工作滿意度越不相干。
  • SPSS教程11:相關分析與效度
    相關分析是回歸分析的前提條件,在具體的研究中,只有變量之間相關顯著,才有可能做進一步的回歸分析,這在中介作用檢驗中是必須的前提步驟。效度即是指數據測量的準確性。即測量結果的和所需要考察的內容的吻合度。一般在做研究時,要報告自己數據的信效度以確定接下來一系列研究是否可信可行。在統計學中,有很多種測量效度的標準和方法,比如效標效度、聚合(收斂)和區分效度、結構效度。
  • 驗證性因子分析(CFA)區分效度的計算方法
    使用結構方程式檢驗寫論文的時候,在驗證性因子分析階段,需要檢驗模型的效度。
  • 《量表信效度分析》系列文章
    為了解決這一問題,學堂推出了量表信效度系列,超詳細的為大家講解如何對問卷進行試測,調整問卷結構,設計更為優質的問卷。為讓大家更加方便的學習信效度分析的基礎知識與應用,學堂現將《 量表信效度分析》系列文章匯總起來呈現給大家。此系列文章專門為信效度分析的初學者準備,內容全面、豐富,大家可以根據自己的需要慢慢學習,後續文章將持續更新中!
  • 效度不達標的處理方式
    效度分析,簡單來說就是量表設計的有效性情況,其可分為三類,分別是:內容效度、結構效度和效標效度,建議研究人員使用內容效度和結構效度對問卷進行效度質量衡量。SPSSAU生成的結果為規範表格,表格中包括有意義指標比如:KMO值,巴特球形檢驗,特徵根,方差解釋率值,累積方差解釋率值,因子載荷係數值,共同度值。接下來一 一闡述。
  • 問卷設計與分析:效度分析
    如果一份問卷的效度不好,那這份問卷可能是調查不到你需要研究的內容。常用的問卷效度包含:內容效度(也稱邏輯效度)、效標效度和構念效度。    1、內容效度    內容效度反映的是問卷內容與廣度的適合程度,換句話說,內容效度就是研究者設計的問卷是否能夠測量到研究內容,有沒有存在跑題的現象。
  • 數據分析技術:信度與效度;信度和效度代表什麼?
    什麼是信度和效度?信度與效度是事物的兩個特徵指標,因此它們描述的對象可以是任何事物,例如,可以是人和動物,也可以桌子和椅子,而我們這裡要描述的對象是數據,研究的是數據的信度與效度。熟悉一個人,首先看他/她的外表;了解一個概念,首先從名字入手。以上內容可以通過下面這張打靶圖來表示:數據越集中,信度越高;數據離靶心越近,效度越高。
  • 數據分析技術:信度與效度分析;信度和效度不僅僅能用於問卷分析!
    我們國家有專門的設備計量研究院對企業的各種計量設備進行信度和效度的檢驗,這是我們國家硬性要求的。B.問卷的效度是用來研究題目的設置是否能夠有效的測量問卷設計者當初設計的初衷,也就是說檢驗問卷題目的設計是否合理。如果題目是合理的,那麼它就能夠有效地測量出問卷設計者的設計目的和初衷。
  • 問卷數據的效度與信度分析
    對於這種量表數據,我們一般會先對其進行信度、效度的分析,然後判斷得到的數據是否能夠進行下一步的因子分析。下面以一個實例講解如何對李克特量表進行信度與效度的檢驗。  效度分析的作用是,檢驗被調查者是否理解了問卷設計者的意圖,也就是問卷是否有效達到了調查的目的。本節使用SPSS中的KMO 和Bartlett 檢驗對文問卷的數據進行分析。KMO統計量是為了檢驗變量間的偏相關性。KMO值越接近於1,說明變量間相關性越大。Barlett 球體檢驗用於檢驗相關陣是否為單位陣。
  • 科研方法:問卷的信度和效度
    【問卷表的效度】又稱準確度,是指問卷對於要調查問題的有效程度。問卷的效度可分為內容效度和結構效度。如不便用數學方法計算時,簡便易行的檢驗方法是表面效度檢驗,也稱為邏輯分析檢驗。它是請對本課題熟悉的有關專家、學者,全面審核、評價問卷的內容性能,進行邏輯有效性分析。從問題內容和邏輯關係上看問卷是否符合調查目的任務與研究需要。如果專家認為問卷的項目校好地代表了調查需要的內容範圍,那麼問卷具有內容效度。可請專家對問卷內容效度作定性評價,如效度很高、效度高、有效、較有效等。
  • 考試的測量學基礎知識(八):效度
    傳統意義上,效度(validity)是指一項測試測量到了它所想要測量的東西的程度。由於效度反映的是測驗的正確與有效性,效度被認為是測量工具本身的一項特徵,因此效度的檢驗可說是測驗開發最關鍵的步驟。  隨著測量理論和實踐的發展,效度概念近些年發生了很大變化,從單一的相關係數指標到三元分立(內容效度、效標關聯效度、構念效度),最終發展成為內涵豐富、一元多維的整體概念系統。效度整體觀(the unified conception of validity)研究的代表人物是美國學者Sam Messick,他對教育考試的效度問題進行了長期而卓有成效的研究。
  • 超級糟糕的問卷效度,要如何調整?
    做量表研究的人,或多或少都曾因為量表效度不達標困擾過,尤其在很多研究領域並沒有特別權威的經典量表可以引用。使用自製的量表來研究,容易信效度不達標,那麼如果遇到效度非常糟糕的情況時應該怎麼辦呢?一、效度的標準在解決效度低的這個問題之前,我們不妨一起來回顧下,判斷效度達標的指標都有哪些。
  • 效度的標準
    效度的標準關  鍵  詞:效度,標準Validity refers to the degree to which標準1.0應針對測驗結果的各種用途分別闡明測驗分數的解釋方式,應為每種解釋提供恰當的效度證據。
  • 問卷數據分析——區分效度
    前面介紹了合成信度相關內容,現在我們來看區分效度部分。同樣先簡介定義,然後介紹操作計算部分。由於區分效度也是伴隨因子分析進行的,其畫圖、建模以及運行等過程,與合成信度的過程一模一樣,本文中案例所用的數據與合成信度也是同一數據,文中關於畫圖等過程就省略了,大家自行參照合成信度相關內容。
  • 你一定要知道的效度分析攻略
    為什麼要做效度分析 效度檢驗即檢驗問卷有效性,簡單講,就是要確定設計的題項是否合理,是否能有效反應研究人員的研究目標。 需要注意一點,問卷中會有多種類型的問題,比如單選題、多選題、填空題等。而效度分析主要針對量表題。 2.
  • 2、問卷數據——問卷量表的效度分析
    一份設計量表應同時具有較高的信度與效度,則該量表具有較高的內在質量。信度是效度的必要不充分條件,有信度才有效度,但有了信度不一定有效度。信度低,效度不可能高;信度高,效度未必高;效度低,信度可能高;效度高,信度必然高。具體信度度量參考:1、問卷數據——問卷量表的信度分析。  效度包含兩層含義,一是測量的是所要研究的概念而不是其他概念,二是該概念能夠被準確的測量。