信度不達標的處理方式

2020-12-05 SPSSAU

在進行問卷研究時,特別是問卷中有非常多的量表題時,數據質量是基礎保障,問卷研究中排在最前面的即為數據質量分析,通常包括信度和效度分析。本身進行信度或者效度分析並非難事,但最難的事情在於如果信度或者效度不達標應該如何處理。

接下來慢慢闡述信度分析(下一篇文章闡述效度分析),以及信度分析時的處理方法,如何解決出現的問題等。本書中使用的較多內容參考於「問卷數據分析-破解SPSS的六類分析思路」一書,以及使用網頁版本在線spss軟體spssau進行操作說明等。

信度分析,即研究樣本數據是否真實可靠,通俗來講即研究樣本是否真實回答各個題項。如果樣本沒有真實回答,信度肯定不達標,而有時即使樣本真實回答,信度也不一定達標。信度分析可以分為四類,分別是:α信度係數、折半信度、複本信度和重測信度。

(1) α信度係數,即內部一致性係數。此類信度分析最為常見,基本上所有問卷信度分析均會使用此類分析。通過軟體計算出α信度係數值,並且用其進行信度水平判斷。進行此分析前,首先需要對反向題進行反向操作,並且α信度係數的測量通常以最小的維度為準,而非大維度。

一般來講:α係數最好在0.8以上,0.7~0.8之間屬於可以接受範圍,而分量表的α信度係數希望在0.7以上, 0.6~0.7之間可以接受。如果α信度係數低於0.6則考慮修改量表。從α信度係數計算公式來看,維度對應的題項越多,以及樣本量越多時,此值會越大。從筆者經驗來看,如果某個維度僅由三個或者兩個題項組成,並且樣本量在200以下時,那麼α信度係數通常會較小(低於0.6)。1個題項表達的維度無法進行α信度係數計算。

α信度係數是問卷信度分析中最為常見的分析方法,絕大多數時候使用α信度係數進行信度測量即可,筆者建議使用α信度係數進行問卷信度測量,問卷前測也類似,但問卷前測時會結合CITC和刪除某項後的信度係數值進行判斷是否修正或者刪除題項,通常來講,CITC值低於0.4,或者刪除某項後的信度係數值反而上升0.1左右時應該考慮對題項進行修正或者刪除處理。

特別提示:α信度係數(內部一致性係數)是最為常見的信度測量方法。

(2) 折半信度。折半信度是將維度對應的題項按照單雙號分成兩組,通過計算兩組題項間的相關係數,進而再通過公式計算得到折半信度係數值,並且進行衡量信度質量。心理學、教育學類經典量表常使用此類方法進行信度質量衡量。判斷標準可參考α信度係數的衡量標準。此類分析方法較為少見。

(3) 複本信度。複本信度是同樣一組樣本,一次性回答兩份問卷,比如同樣一組學生連續做兩份同樣難度水平的試卷。然後通過計算兩份樣本相關係數,從而進行信度質量衡量,由於實際操作過程中有諸多客觀條件限制,此類分析方法較為少見。

(4) 重測信度。重測信度指同樣的樣本,在不同的時間點回答同樣一份問卷。繼而計算兩份數據的相關係數,並且通過相關係數去衡量信度質量。重測信度可以評估時間差異帶來的誤差,但實際操作中有諸多不便,因而此類分析使用較少。

上述四種信度方法,正常情況下是使用第一種研究,第二,第三和第四種信度研究方法非常少見,使用場景上通常為實驗式或者非常複雜的研究中會使用到。第一種信度即α信度係數的測量最為常見。以網頁版本spssau軟體為例,將同一維度對應的題項拖拽到右側即可。特別提示下,信度分析是以維度為單位進行分析,一個維度一定需要對應多個題項才可以,一個題項無法做信度分析。以spssau為例,共1個維度叫做『課程質量』對應3項,進行操作如下:

點擊分析得到結果如下,包括表格和智能分析。

1.表格中共包括三列,分別是CITC值,刪除項後的信度係數值,整體信度係數值。事實上,我們進行信度分析時,更關注於整體信度係數值。首先分析α係數,如果此值高於0.8,則說明信度高;如果此值介於0.7~0.8之間;則說明信度較好;如果此值介於0.6~0.7;則說明信度可接受;如果此值小於0.6;說明信度不佳;

2.如果說有發現整體信度係數值不達標,此時此應該關注於CITC和刪除項後信度係數值這兩個指標。如果CITC值低於0.3;可考慮將該項進行刪除;如果「項已刪除的α係數」值明顯高於α係數,此時可考慮對將該項進行刪除後重新分析。刪除相關項後再次進行分析即可。直至信度係數高於0.6,當然這一過程在spssau中也可以直接智能化,可參考使用。

信度分析的操作非常簡單,但當數據出現問題之後如何處理,這才是關鍵。書籍中將解的內容都以高質量數據作為案例,但現實中數據質量通常會『出乎意料』。

本文總結出信度不達標的幾種情況,以及對應的處理辦法。

1.整體α信度信度係數值小於0;

2.整體α信度信度係數值介於0~0.5之間;

3.整體α信度信度係數值介於0.5~0.6之間。

接著對應講解三種情況的處理辦法:

1.如果說α信度信度係數值小於0,請查看是否有反向題。何為反向題?比如有5個題表示1個維度;其中4個題數字越大說明越喜歡運動,另外1個題數字越大說明越不喜歡運動,那麼此項即為反向題。需要先進行數據編碼,反向處理後,使用反向處理後的數據進行信度分析。

2.整體α信度係數值介於0~0.5之間時,此時說明信度有點'不可救藥',出現此類情況通常原因有3種。一是用錯方法,信度分析只針對量表題,但非量表題都放進去分析;二是問卷設計質量太糟糕,量表題的設計隨心所欲完全不帶一點參考;三是樣本量少(比如小於50)並且一個維度僅對應2個題項,樣本少信度係數值相對會較低。無論是那種情況,解決流程均是:結合CITC值和項已刪除後的信度係數值,先刪除掉很糟糕項,然後再接著依次循環,直至信度係數可接受可止。

3.整體α信度係數值介於0.5~0.6之間。如果說分析項僅2個,此時只能接受這種事實。如果分析項為3個或者更多,此時則需要結合CITC值進行處理,刪除掉CITC值小於0.3的項後再次進行分析,以及結合』項已刪除後的信度係數值『這個指標進行刪除分析項。如果說分析項僅為2個,此時沒有其它辦法,要麼接受要麼直接放棄掉該維度。

在進行信度分析時,如果說確實是量表項,而且數據真實,事實上很少會再現問題。但有兩種情況是需要提前注意:

1.不知道量表數據才能進行信度分析。這種情況最糟糕後續是無法進行分析的。即不能使用研究方法使用客觀數據指標描述清楚信度情況,可以考慮使用文字描述數據的收集過程和收集方式等,以證明數據真實可靠,即信度可靠。

2.量表數據自己亂設計,量表是相對規範的一種測量題項,需要有較強的參考文獻,而且一個維度對應的量表要來自於同一個參考出處。

相關焦點

  • 效度不達標的處理方式
    如同信度一樣,這是非常重要的問題。如果量表設計不合理,基於此量表的數據也會受到置疑。接下來闡述效度分析(上一篇文章闡述信度分析),以及效度分析時的操作方法,如何解決出現的問題等。本書中使用的較多內容參考於「問卷數據分析-破解SPSS的六類分析思路」一書,以及使用網頁版本在線spss軟體spssau進行操作說明等。
  • 信度分析超全步驟總結!
    SPSSAU裡面的操作地方為:數據處理-〉無效樣本或者異常值。3 信度不達標如何辦?其實信度的測量和SPSSAU軟體操作都是非常簡單的,SPSSAU上『拖拽點一下』就得到智能分析結果,指標值如何,是否達標等都直接分析出來了。但當出問題時,SPSSAU也只是告訴結果不達標,關鍵在於如何讓信度達標,因為如果說數據不達標,意味著數據不可靠不真實,那後續根本無法繼續分析下去。
  • 信度分析完整流程總結,一定有你需要的
    如果折半係數值介於0.7~0.8之間;則說明信度較好;如果折半係數值介於0.6~0.7;則說明信度可接受;如果折半係數值小於0.6;說明信度不佳。(3)複本信度複本信度是指設計兩份(或多份)功能一致內容不同的問卷,對同一批樣本進行測試,並兩次結果的相關性。
  • 新傳名詞解釋全整理:概念的具體化/概念的操作化/信度/再測信度複本信度/折半信度/評分者信度
    各種不同的操作化結果相互之間只是反映概念內涵的準確性和涵蓋性上存在著程度上的差別,唯一的、絕對準確、絕對完善的操作化指標時不存在的。 3.信度(Reliability)即可靠性,它指的是採取同樣的方法對同一對象重複進行測量時,其所得結果相一致的程度。
  • SPSS教學|信度分析
    克隆巴赫係數(Cronbch's α)指量表所有可能的項目劃分方法的得到的折半信度係數的平均值,它利用一個值介於0與1直接的測量系統來代表問卷的一致性,是目前最常用的信度測量的方法,最先被美國教育學家Lee Cronbach在1951年命名,具體的計算公式這裡不作贅述。
  • 信度和效度的關係和區別
    信度是什麼?效度是什麼?信度和效度的關係和區別是怎樣的呢?下面小編為大家一一介紹:【什麼是信度】信度指測驗結果的一致性、穩定性及可靠性,一般多以內部一致性來加以表示該測驗信度的高低。信度係數愈高即表示該測驗的結果愈一致、穩定與可靠。
  • 信度分析概述
    我們來具體說說什麼是信度分析。  信度分析,又稱可靠性分析,是一種檢驗測量工具是否具有一定的穩定性和可靠性的有效分析方法。一個好的測量工具,對同一事物反覆多次測量,其結果應該保持始終不變可信。於是我們認為硬塑料製成的尺子,在測量高度方面是可靠的,即信度很高。又比如,如果我們用鬆緊帶製作的「尺子」測量桌子的高度,由於鬆緊帶具有伸縮性,可以肯定測量結果會很不一致,基本屬於看心情的結果。於是我們認為鬆緊帶製成的「尺子」在測量高度方面不可靠,亦即信度很低。
  • 沒有信度和效度,還能叫問卷嗎?
    複本信度法要求兩個複本除表述方式不同外,在內容、格式、難度和對應題項的提問方向等方面要完全一致,而在實際調查中,很難使調査問卷達到這種要求,因此採用這種方法者較少。3、分半信度分半信度常用在不可能進行重複調査的情況下。
  • 測驗的效度和信度
    能測出來想測量東西的程度,則效度高;測不出來,則效度低。例如:想要測量小明的身高,測量工具是秤,那麼,測量不出想要測量的東西,則效度低。(二)效度的類型根據測量的問題不同,可以分為三類,即內容效度、構想效度、預測效度。1.內容效度內容效度指的是測驗所選取的項目是否符合所要測量的東西,其代表性是否適當。
  • 特殊問卷-量表「信度」的檢驗(SPSS:克隆巴赫α信度係數)
    上面三個問題結果的一致性程度,可以採用克隆巴赫α信度係數(Cronbach's alpha)描述。克隆巴赫α信度係數屬於內部一致性信度。在「初中足球隊員的運動情境動機調查分析」的研究中,採用《運動情境動機量表》對319名初中生進行了調查。
  • SPSS統計分析案例:信度分析之複本信度
    複本信度可在一定程度上避免重測信度的缺點,減少由於被試記憶和練習所帶來的誤差。某自我概念量表,有30個題目,答對一題可以得到1分,題本A與B 分別施測同一組12個人,分數愈高表示愈具有正向自我概念,施測結果如下圖所示,請計算測驗的信度。
  • 信度與效度的理論溯源
    二、測驗的信度測驗的信度又叫做測驗的可靠性,指的是測驗的一致性程度,即多次測驗結果要保持一致。信度指標通常以相關係數表示,即用同一被試樣本所得的兩組資料的相關係數作為測量一致性的指標,成為信度係數。估計信度係數的方法有多種,分別有:(1)再測法用同一組被試對同一測驗前後兩次施測的測驗得分的相關係數表示信度,它反應測驗分數的穩定程度。例如,用同一張智力測驗試卷對同一組被試進行測驗,前後兩次施測結果基本一致,或者穩定,則表示這張智力測驗試卷信度高。(2)分半法用同一組被試對同一測驗對等的兩半的測驗得分的相關係數表示信度。
  • 如何區分信度與效度之間的關係
    信度與效度兩者間的關係是歷年來的重要考點也是同學們做題時候的難點,常以單選、填空和簡答來考察大家,理解性去做題就比較容易得分,那麼今天就來為大家解讀一下這部分知識點
  • 考研心理測量知識點小結:信度
    1、信度是指:測量結果的可靠性和一致性。因為心理測驗通常測量人的行為,行為會由於各種各樣的原因,因時、因事、因地而產生變動,這些因素有些是偶然的,有些是固有的,人在完成心理測驗時的行為也會受上述因素的影響,從而使測驗結果與真實結果不完全一致,所以我們要用信度來衡量測驗的可靠性和一致性。
  • 筆記|《心測》C4 測量信度
    C4 測量信度一、信度概述信度定義及作用1.定義:信度是指測量結果的穩定性程度,即用同一測量工具反覆測量某人的同一種心理特質,則其多次測量結果間的--致性程度就叫作信度,也叫測量的可靠性。三種等價的信度定義:(1)信度(信度係數)是一個被測團體真分數的變異數與實得分數的變異數之比。即:(2)信度是一個被試團體的真分數與實得分數的相關係數的平方。即:(3)信度是一個測驗x(A卷)與它的任意一個「平行測驗」x』(B卷)的相關係數。
  • 心理學2016考研專業課心理測量知識點:信度
    1、信度是指:測量結果的可靠性和一致性。因為心理測驗通常測量人的行為,行為會由於各種各樣的原因,因時、因事、因地而產生變動,這些因素有些是偶然的,有些是固有的,人在完成心理測驗時的行為也會受上述因素的影響,從而使測驗結果與真實結果不完全一致,所以我們要用信度來衡量測驗的可靠性和一致性。
  • 乾貨分享:問卷信度分析及其SPSS實現
    除Alpha信度係數外,還有一些常用的信度係數,它們多數都可以在信度分析主對話框的「模型」下拉列表中找到,只要選擇相應的項,運行後就可以得到相應的結果。1.重測信度重測信度指的是用同樣的量表,對同一組受測者重複進行測量。
  • 單維測驗合成信度三種區間估計的比較
    推薦用 Delta 法估計合成信度的置信區間(使用Mplus 容易實現), 但不能直接用 LISREL 輸出的標準誤來計算。舉例說明了如何計算單維測驗的合成信度以及用 Delta 法計算其置信區間。 關鍵詞 合成信度; 置信區間; Bootstrap 法; Delta 法; LISREL心理與教育測驗中, 信度(reliability)是衡量測驗可靠性的指標, 人們習慣用α 係數作為測驗信度的估計。
  • 統計學最常用的「數據分析方法」清單(一)|信度|卡方|施測|統計量|...
    複本信度屬於等值係數。複本信度法要求兩個複本除表述方式不同外,在內容、格式、難度和對應題項的提問方向等方面要完全一致,而在實際調查中,很難使調查問卷達到這種要求,因此採用這種方法者較少。  3. 折半信度法編輯  折半信度法是將調查項目分為兩半,計算兩半得分的相關係數,進而估計整個量表的信度。折半信度屬於內在一致性係數,測量的是兩半題項得分間的一致性。
  • 問卷信度效度之間有什麼關係如何分析
    內部與外部可靠性信度可分為內在信度和外在信度兩類。內在信度:是指衡量研究問卷中的多個題目是否測量了同一概念或者內容,即題目之間是否具有內在一致性。這也就是大多數量表問卷所做的信度分析。外在信度:通常指不同時間測量時,是否測量結果具有一致性。比如說剛才舉例中提到的考試成績例子。衡量信度的方法有很多種,其中,常用的內在信度係數包括:克隆巴赫α係數和折半係數;常用的外在信度是重測信度。α信度係數,即內部一致性係數。