很多人知道信度和效度是因為問卷數據分析需要用到它們,其實信度和效度的應用範圍遠遠不止於問卷的數據分析,今天我們就來聊聊數據的信度和效度。
什麼是信度和效度?
信度與效度是事物的兩個特徵指標,因此它們描述的對象可以是任何事物,例如,可以是人和動物,也可以桌子和椅子,而我們這裡要描述的對象是數據,研究的是數據的信度與效度。熟悉一個人,首先看他/她的外表;了解一個概念,首先從名字入手。
以上內容可以通過下面這張打靶圖來表示:數據越集中,信度越高;數據離靶心越近,效度越高。
看到這裡,善於學習的你應該要提出這個問題:信度和效度之間的關係如何?可以用一句話來總結,效度高,信度一定高;信度高,效度卻不一定高。通過打靶圖,這句話還是很好理解的,如果一組數據的效度高,說明大部分的數據點都離靶心不遠,那麼數據當然也就比較集中啦,因此這組數據的信度也就低不了,結合第三和第四幅圖就很好理解了。
數據信度和效度的用途
數據存在於生活的方方面面,什麼犄角旮旯都可以產生和記錄數據,而生活的奧秘(規律)就蘊藏在這些看起來離散沒有規律的數據背後,這也是草堂君想要介紹給大家的東西。既然數據存在於各行各業,那麼反映數據特徵的信度和效度當然也會因為領域的不同,分析它們的方法也有很大差異。下面草堂君舉三個生活例子:
儀器設備的信度與效度;儀器設備的信度和效度可以通過這些設備測量得到的數據來表示,如果測量數據的信度和效度越高,計量設備的信度和效度就越高。例如,菜市場的電子秤,同一塊肉,測量100次,如果數據的波動(標準差或方差)很小,說明這臺電子秤的信度很好;將這塊肉用校準過的另一臺電子秤測量100次,發現前100次的平均值比後100次的平均值高了68克,說明前一個電子秤的效度很差,菜攤老闆有缺斤少兩的嫌疑。根據上面介紹的內容,儀器設備的信度與效度可以直接用測量數據的標準差(方差)和平均值表示。
評分者信度和效度;因為評分者的打分數據直接關係到運動員或學生等的比賽名次或考試成績,因此評分者的信度和效度分析異常重要。這裡的評分者包括各種打分裁判(跳水、花樣遊泳、公務員面試等)和改卷老師等。
例如,為了比賽的公平,奧運會的組委會會以合適的比例選擇來自不同地區和國家的裁判組成裁判小組,避免裁判有意識或無意識的傾向於來自於同一地區或國家的運動員。除了這樣人為安排以外,有沒有從數據上對裁判的打分進行監督和評價,從而保證公平比賽的方法呢?其實是有的,這就是評分者的信度和效度分析。
評分者信度主要考察評分者的打分尺度是否統一,不希望出現有些評分者的打分尺度寬鬆,而有些評分者的打分尺度嚴格,或者有些裁判對自己國家的運動員打高分,而對競爭對手打低分的現象。關於評分者信度分析的內容前面推送過專門的文章,可以點擊下方連結回顧:SPSS分析技術:裁判(打分者)的信度分析。
評分者效度可以通過考察所有評分者每次打分的區分度來表示,例如在跳水比賽中,10名運動員跳難度係數相同的動作,比較所有6名裁判的10次打分結果(這裡的10次打分表示10個運動員成績),如果10個數據集合(每個數據集合有6個數據)之間有顯著性差異,那麼可以說明這6個裁判的打分能夠有效區分不同運動員表現的差異,也就是6個裁判的打分效度好。評分者效度的分析可以採用方差分析進行。方差分析的內容可以回顧:SPSS分析技術:單因素方差分析。
問卷的信度和效度;問卷的信度在於評價收集上來的數據是否真實可靠,也就是檢查填寫問卷的這些人是不是認真的填寫了問卷,還是亂填的。問卷的效度是用來研究題目的設置是否能夠有效的測量問卷設計者當初設計的初衷,也就是說檢驗問卷題目的設計是否合理。
問卷的信度分析採用的是可靠性分析,前面已經寫過文章詳細介紹過,可以點擊下方連結回顧:SPSS分析技術:問卷的信度分析。問卷的效果分析主要採用的是因子分析,因子分析又包括探索性因子分析(EFA)和驗證性因子分析(CFA)。之前同樣推送過EFA的文章,可以點擊下方連結回顧:SPSS分析技術:因子分析;至於驗證性因子分析(CFA),需要用AMOS進行分析,後面會再詳細介紹。
總結一下
從前面介紹的內容可以知道,信度分析和效度分析其實不是一種分析方法的名稱,而是一類分析方法的總稱,在不同的生活領域,信度和效度分析選擇的具體分析方法是不同的(均值和方差、秩和檢驗、方差分析、相關分析等),上面的內容只是列舉了三個生活應用來解釋這個經常被學習者誤解的概念。
當然,能夠用來表示數據信度和效度的分析方法遠不止這些,因此選擇合適的分析方法成為分析者頭痛的問題,草堂君教給大家一個訣竅,只要能夠表示數據可靠性或統一性的分析方法都能夠用於信度分析;只要能夠衡量數據是否準確表示考察對象真實情況的分析方法都能夠用於效度分析;把握好這個原則就不會迷惑了。
溫馨提示: