超級糟糕的問卷效度,要如何調整?

2020-11-30 SPSSAU

做量表研究的人,或多或少都曾因為量表效度不達標困擾過,尤其在很多研究領域並沒有特別權威的經典量表可以引用。使用自製的量表來研究,容易信效度不達標,那麼如果遇到效度非常糟糕的情況時應該怎麼辦呢?

一、效度的標準

在解決效度低的這個問題之前,我們不妨一起來回顧下,判斷效度達標的指標都有哪些。以使用探索性因子分析檢驗結構效度為例:

1KMO>0.6、通過巴特萊球形檢驗

SPSSAU效度分析中可自動輸出KMO 和 Bartlett 的檢驗結果。

如果KMO值高於0.8,則說明效度高;如果此值介於0.7~0.8之間,則說明效度較好;如果此值介於0.6~0.7,則說明效度可接受,如果此值小於0.6,說明效度不佳(如果僅兩個題;則KMO無論如何均為0.5)。

通過Bartlett 球形度檢驗意味著變量之間有一定的相關性,適合使用因子分析檢驗效度。

(2)分析項歸類清晰

結構效度分為兩種:一種是使用探索性因子分析的方法;另一種是使用驗證性因子性分析。其中探索性因子分析適合非經典量表使用。

比如說預期有5個維度,但是分析後得到3個公因子,可能就是某些分析項預期與實際分析時出現了偏差,這時可以適當刪減不合理的分析項,當分析項與維度的劃分與專業意義上的內在邏輯結構基本一致,此時則說明數據具有較好的效度。

通常分析項的在某個因子下的因子載荷係數絕對值>0.4,即認為該分析項可以歸屬於這個因子下。

比如上表中的分析項d1,預期歸屬於因子5裡,但實際在因子1裡。此時就應該移出d1重新分析。

(3)其他效度分析判斷指標:共同度、相關係數矩陣等

如果變量相關性過高,可能會存在共線性問題,區分效度較低等問題;如果相關性太低,則說明變量之間的內在聯繫比較弱,不適合進行因子分析。通常共同度值>0.4即可。

共同度值可在效度分析結果中獲得,相關係數矩陣可通過SPSSAU【通用方法】--【相關】得到。

二、什麼樣的數據是糟糕的數據

(1)怎麼都劃分不清維度

(2)實際分析項歸類與預期維度不同

(3)有很多共同度很低的題項

三、解決方案

(1)怎麼都劃分不清維度

建議每次放入一個維度的題項,移出共同度低的問題。重複以上操作,將每個維度分析一遍,確保每個維度內部沒有太糟糕的題。然後再放入全部的題目,整體分析。這樣就可以看到維度之間劃分得是否清晰。

(2)實際分析項歸類與預期維度不同

分析項歸類與預期維度不同,是一個非常常見的問題。

如果是採用經典量表,可以用驗證性因子分析CFA代替探索性因子分析EFA檢驗量表效度。

CFA檢驗流程輕參考:

https://spssau.com/helps/questionnaire/cfa.html

如果是自製量表,且有一定的理論支持。想保持量表維度劃分不變。

建議每次放入一個維度的題項,移出共同度低的問題。重複所有維度操作一遍,確保每個維度內部沒有太糟糕的題。然後再放入全部的題目,整體做一遍。這樣就可以看到維度之間劃分得是否清晰。

如果仍然無法解決建議可增加樣本量,或重新收集數據修改量表內容。

如果是自製量表,只是實現預測有幾個維度且處於探索階段。

如果結果的維度劃分比較清晰,且符合專業知識認知,建議以分析結果為準,根據假設和結果,修正量表。

同樣的樣本數據,不同的分析思路,有可能出現結果不相同,但只要符合效度的思維概念即可。

(3)有很多共同度很低的題項

有很多共同度低的分析項,意味著分析項之間的關聯性較低,通常這時候分析項歸類也不好。

此時建議可以從共同度最低的分析項開始移出,依次分析直至刪除所有共同度小於0.4的項,需要來回多次進行對比,找出最佳結果。

當然,最根本的改善效度的方法,還是要做好預調研工作,保證數據收集質量。設計量表時每個維度的題目最好有出處可尋。這樣做才能為後續分析工作提供便利。

相關焦點

  • 問卷一定要做效度分析嗎
    什麼是效度?效度分析,簡單來說就是問卷設計的有效性、準確程度。當我們在為研究主題設計問卷時,都會希望問題實際測量到的是我們希望測量的,這樣研究的數據才能準確的說明問題。效度分類效度又可分為內容效度、結構效度和效標效度。內容效度,指問卷題項對相關概念測量的合理性情況,通常是以文字來說明問卷的有效性。如通過參考文獻,或者權威來源說明問卷的權威性和有效性。還有就是通過對問卷前測並結合結果進行題項的修正等工作來充分說明問卷的有效性。(內容效度並非統計軟體進行的統計方法,對於問卷研究來講,基本上均需要進行內容效度說明。)
  • 問卷信度效度之間有什麼關係如何分析
    什麼是效度?效度分析,簡單來說就是問卷設計的有效性、準確程度。效度又可分為內容效度、結構效度和效標效度。內容效度,指問卷題項對相關概念測量的合理性情況,通常是以文字來說明問卷的有效性。如通過參考文獻,或者權威來源說明問卷的權威性和有效性。還有就是通過對問卷前測並結合結果進行題項的修正等工作來充分說明問卷的有效性。
  • 問卷信效度分析的步驟
    問卷設計是科研工作中的常見問題,如何設計出高信效度問卷,臺灣學者吳明隆給出了很好的答案。應考慮問卷量表是否進行因素分析。因為因素分析時,以較大樣本分析所呈現的因素組型(factor pattern),比一個只用較小樣本所出現的因素組型,要來得穩定。進行因素分析時,量表的題項數愈多及預期要有較多的因素層面的話,應包括愈多的受試者(DeVellis)。
  • 你一定要知道的效度分析攻略
    尤其是效度分析過程,常常令研究人員頭痛不已。 如何更有效得到效度分析結果,避免無用功,今天我們就一起來探討討論。 本文從分析思路角度進行全面梳理,希望能夠讓大家對效度分析有更深入地理解。 1.
  • 效度分析完整總結!你一定要知道的分析流程
    在問卷研究中,分析問卷信效度總是不可避免的環節之一。尤其是效度分析過程,常常令研究人員頭痛不已。如何更有效得到效度分析結果,避免無用功,今天我們就一起來探討討論。本文從分析思路角度進行全面梳理,希望能夠讓大家對效度分析有更深入地理解。
  • 效度不達標的處理方式
    在進行問卷研究時,特別是問卷中有非常多的量表題時,量表設計是否合適,量表設置有效嗎?如同信度一樣,這是非常重要的問題。如果量表設計不合理,基於此量表的數據也會受到置疑。接下來闡述效度分析(上一篇文章闡述信度分析),以及效度分析時的操作方法,如何解決出現的問題等。
  • 《量表信效度分析》系列文章
    轉載 | SPSS學堂各位小夥伴們,在推出《問卷設計與統計分析》系列後,有許多小夥伴來反饋怎樣設計更為優質的問卷?為了解決這一問題,學堂推出了量表信效度系列,超詳細的為大家講解如何對問卷進行試測,調整問卷結構,設計更為優質的問卷。
  • 「乾貨分享」效度分析的幾點思考
    可見下表格:第一種內容效度是指使用文字敘述形式對問卷的合理性、科學性進行說明,比如問卷中測量量表題有著嚴謹的參考依據,問卷設計得到專家的認可等,如果有參考依據,也或者有著專家認可,那麼即是說測量項確實可以測量自己希望測量的變量;比如測量『美麗』這個變量,用了三個量表題,分別是『看起來很年輕』,『看上去五官端正』,『看上去心情很好』,這3個測量題是有著參考依據,也或者專家認為此3項確實可以測量
  • 問卷調查:如何判斷設置的問題是有效的?
    當我們完成了問卷設計,如何判斷設置的問題是否有效呢?不妨先從問卷的質量的幾個標準來審視自己的問卷:1、我設置的問題和答案反映了理論變量嗎?2、多個答題者對問題的理解是否一致?3、答題者能否對問題作出可靠的答案?
  • 問卷數據分析——區分效度
    前面介紹了合成信度相關內容,現在我們來看區分效度部分。同樣先簡介定義,然後介紹操作計算部分。由於區分效度也是伴隨因子分析進行的,其畫圖、建模以及運行等過程,與合成信度的過程一模一樣,本文中案例所用的數據與合成信度也是同一數據,文中關於畫圖等過程就省略了,大家自行參照合成信度相關內容。
  • 一文掌握效度分析所有知識點!
    當信度分析不達標時,效度分析必然也不能達標。效度分析常見的有內容效度分析、結構效度分析,建議研究人員通過內容效度分析和結構效度分析這兩方面對問卷進行效度分析,如下圖所示。內容效度分析是指問卷題對相關概念測量的適用性情況,簡單來講,即題設計的合理性情況。內容效度分析可以從兩個方面進行說明。 第一,專家判斷。專家具有權威性,因此如果專家對問卷進行判斷並得出肯定,那麼可以說明問卷具有有效性。此處的專家是指行業內專家或參考量表、權威來源等。 第二,問卷預測試。
  • 如何看懂一篇學術文章的效度和信度
    比如,你想調查「流行音樂對人情緒的影響」,問卷中卻一直在問受試者對古典音樂的看法; 比如,你的研究問題是「如何提升政府部門績效」,卻只在與政府部門領導的訪談中問人家海外考察的經歷; 比如,你想理解「家花和野花對生長環境的不同需求」,卻被家花和野花的外觀吸引,只觀察了葉子和花瓣的區別而不是他們的生長環境
  • 沒有信度和效度,還能叫問卷嗎?
    三、提高信度的方法提高信度的方法問卷的信度越高,受到人、時、地物的幹擾就越低,其所能反應事實或讓人相信的程度越高,因此在問卷實施前如何有效提高信度是問卷測驗成敗的關鍵。但是問卷長度的增加與問卷的信度的增加並不總是成正比的,當信度係數較小時,延長問卷長度,問卷的信度係數增加較大;而當信度係數較大時,延長問卷長度對信度係數的影響就較小。2、問卷的難度要適中當問卷題目難度太大時,問卷得分普遍過低;當問卷題目難度太小時,問卷得分普遍較高。
  • SPSSAU數據分析入門教學03:信效度分析指標
    信效度是衡量一份問卷測試結果的準確性和穩定性的依據。問卷設計完成之後到分析結束,一般要經過兩次信效度分析。一次是預調查時,一次是正式分析。效度分析用於測量題項設計是否合理,通過因子分析方法進行驗證。2 信度與效度的關係信度是效度的基礎,必須要有信度才有效度。信度低,效度不可能高,但信度高不一定效度高。
  • 中天華溥:基於SPSS,如何設計問卷題項
    中天華溥:基於SPSS,如何設計問卷題項作者:中天華溥諮詢顧問 程龑企業管理諮詢是一個快節奏、高強度的行業,以項目進度為準則,往往對項目進度與項目計劃的誤差有著嚴格要求,因此對於各個階段的時間把控需要非常準確。客戶公司調研是一個項目的開端,通過調查問卷、個性訪談等方式進行數據收集。
  • 如何區分信度與效度之間的關係
    信度與效度兩者間的關係是歷年來的重要考點也是同學們做題時候的難點,常以單選、填空和簡答來考察大家,理解性去做題就比較容易得分,那麼今天就來為大家解讀一下這部分知識點
  • 怎麼用超級文檔免費製作調查問卷
    製作一個問卷簡單,但是製作一個比較好的調查問卷,就需要稍微花一些精力,問卷調查一般包括前導語、問題、結束語等幾部分,再加上一個好的工具。問卷需要做到幾點,首先儘量把題目設置得更「接地氣」一些,儘可能使用一些簡單的詞彙,然後提問要具體些,儘量讓用戶做選擇題而不是回答題,這樣會讓用戶的填表更輕鬆。這裡推薦使用「超級文檔」來製作調查問卷,超級文檔是一個多人協作工具,支持豐富欄位的表單(還支持思維導圖、投票等)。
  • 新傳名詞解釋全整理:效度/表面效度/準則效度/結構效度/內在效度和外在效度/信度與效度的關係
    信度與效度的關係1.效度(Validity)即測量的有效度或準確度。它是指測量工具或測量手段能夠準確測出所要測量的變量的程度,或者說能夠準確、真實地度量事物屬性的程度。 2.結構效度(Construct validity)結構效度也稱構造效度或建構效度,它通過利用現有的理論或命題來考察當前測量工具或手段的效度。結構效度涉及一個理論的關係結構中其他概念或變量的測量。 5.
  • 「心理量表」Beck抑鬱問卷
    聚合效度:BDI與臨床抑鬱評定相關顯著,相關係數為0.60-0.90,因樣本大小而異。BDI評分還與其它一些臨床指標相關,如生物學檢查,電生理檢查、心理社會學測驗以及睡眠障礙的程度。區分效度:BDI與臨床抑鬱評定的相關(0.59)大於與焦慮的相關(0.14)。
  • SPSS有話說:如何得出問卷或量表的結構或維度——探索性因素分析
    簡單來說,就是探索問卷的結構或維度。探索性因素分析也是在心理測驗編制過程中用來檢驗測驗結構效度的一種非常重要和有效的分析方法,通過檢驗變量(因子)與題項的對應關係。如果二者預期基本一致時,則說明具有良好效度水平。① 問卷的適當性運用KMO檢驗和Bartlett球形檢驗對量表適當性進行檢驗。