當我們完成了問卷設計,如何判斷設置的問題是否有效呢?不妨先從問卷的質量的幾個標準來審視自己的問卷:
1、我設置的問題和答案反映了理論變量嗎?
2、多個答題者對問題的理解是否一致?
3、答題者能否對問題作出可靠的答案?
第一個問題是問卷的效度,後兩個問題是問卷的信度。
簡單來說,效度是指你是否問了該問的問題,而信度就是把該問的問題問好。只有把該問的問題問好了,才會形成一份好的問卷,因此,我們也常常把信度看做是效度的一部分。
而在判斷設置的問題是否有效時,我們也常常從問卷的信度和效度入手。
如何保障問卷的信度?
問卷的信度是指一個問題可以得到所有調查對象的真實可靠的答案的程度。
舉個簡單的例子,如問卷中出現的:「你每個月在這家商店購物超過50元的次數是?」答題者將進行兩次思考:我每個月去幾次?我花了超過50元的次數是?像這樣的問題分開來問會更明確。
再舉個例子,「過去一個月你向上司諮詢過幾次?」答題者可能會想,上司是指職級比我更高的所有人還是直屬上司?怎樣算是諮詢?電話還是當面諮詢?諮詢的內容只限工作嗎?還是生活和工作中的問題都可以?……信度較低的問題往往會讓答題者產生困惑。
因此,在檢驗問卷的信度時,我們應該先進行問題的自檢:
1、你的問卷措辭是否晦澀難懂
2、問題是否完整和語意明確
3、一個問題是否含有多重語義或變量
4、一個問題是否含有多個變量之間的關係
怎麼保證問卷的效度呢?
除了問卷措辭和邏輯的信度外,效度也是我們需要注意的方面,「問該問的問題」看似簡單,實則整個問卷的靈魂。
效度檢驗怎麼做?
1
研究者自檢
第一種方法是研究者自檢,當問卷完成後可以把它擱置一段時間,等你快要忘記問卷內容時,再按照定義判斷問題的好壞。
在判斷問題質量時,應該儘量明確行為和態度的定義。
假如你的問卷中有關於「態度」的問題,如「我常常向同事請教」,相應的行為意向應該是「向同事請教是個好主意」而不是「我的同事都很好」。
處理較複雜的態度和行為問題時,我們可以把近義詞放在一起,看看類似的問題是否可以「混過去」,當二者表述了同一個意思,你的問題就需要修改了。
2
焦點小組討論
第二種方法是對調查對象進行焦點小組討論,在大規模調查之前先抽取3-12人討論設計好的問卷。
在看過問卷後,請他們分享自己對這份問卷的理解,比如:「你每月所獲得的報酬是多少」,出題者指的報酬往往是既定工資,但答題者可能會產生困惑:「為什麼報酬指的是工資而不是綜合收入?」然後追問他們理解困難的原因,根據反饋意見修改問卷。
有時候也可以請有經驗的學者完成這個過程,即專家評審法。
這種方法反饋效率高,比較適用於組織中的研究。
3
問題分類法
第三種方法是問題分類法,主要分兩步。
第一步,研究者把問題一個一張列印在小卡片上,研究者邀請4位調查對象,不告訴他們任何問卷相關的解釋,讓他們對問題進行分類。這與你原本設置的問題架構可能會不同,需要記錄出錯的原因,並計算同意程度,這個程度反應了調查對象之間理解的一致性。
第二步,研究者根據之前的反饋修改問卷後,另外邀請4人進行調查,告訴他們題目個數和架構,讓他們把不同的問題放到各個架構中。根據他們的分類信息計算同意係數。係數越高,問卷的效度就越高。
把這兩個步驟重複進行,便可以不斷減少理解問題的誤差,直到研究者滿意為止。
4
預調查
第四種是預調查,即先做70-100人的小規模調查,將收集到的數據計算區別效度和聚合效度,根據統計結果,修改調查工具,再進行大規模的調查。這種方法往往成本更高,也無法得到出錯原因。
在實際調研中,如果調查樣本不易請到,專家評審法和焦點小組法是最常用的。如果問卷設計中引入如果新的概念和問題,那麼測度分類法和預調查法是比較合適的。
思考題
針對某網站做一份購買意願的用戶調研,想得到網站總體的有用性,問卷設計者的問題是這樣的:
1、這個網站上的產品價格信息對我非常有用
2、這個網站上的產品描述信息對我非常有用
3、這個網站上的產品多樣性對我非常有用
4、產品的多樣性對我是否在這個網站購買非常重要
請討論這些問題的不足之處。