原創作者:胡婧煒
在問卷調查中,設計者經常會遇到各種各樣的「坑」,一不小心就會犯錯誤。比如以下的各種效應(Effect)就是大量的研究者從他們做調查的經驗中總結出來的人們可能會踩的「坑」,讓我們來了解一下。
01首因效應(Primacy Effect)和近因效應(Recency Effect)
首因效應指受訪者在面臨一組選項時,更傾向於選擇排列靠前的選項;近因效應正好相反,指受訪者在面臨一組選項時,更傾向於選擇排列靠後的選項。
研究者發現,在以視覺形式呈現的問卷中,如紙筆訪問,經常會出現首因效應。
對此,一種合理的解釋是受訪者在從前往後讀選項時會儘量減少自己的工作量,當碰到一個差不多的答案時,便會停止讀取選項,而不會繼續往下直至讀到與自己更匹配的選項為止,從而導致排在前面的選項更可能被選中。
近因效應則更多地出現在以聽覺形式呈現的問卷中,如電訪。
在聽訪員讀問題時,受訪者理解問題的順序和視覺呈現的問卷是相反的,他們會從最後一個聽到的選項開始往前考慮,當碰到一個差不多的答案時,他們便會停止繼續思考更前面的可能與自己更匹配的選項,因而導致更多後面的選項被選擇的狀況。
對於近因效應還有一種解釋是受訪者會忘記前面的選項,而更多地記得後面的選項,因此選擇後面選項的可能性會更高。
02社會期望效應(Social Desirability Effect)
研究者發現,在回答一些敏感性問題時,受訪者會傾向於提供一個更符合社會期望的、能更好地表現其個人形象的答案,而非填報真實的情況。
這種敏感性問題分為兩類,一類是符合社會期望的問題,比如提問受訪者運動的頻率、去圖書館的頻率、是否系安全帶等,對於這類問題,受訪者傾向於高報其發生的頻率;另一類是不符合社會期望的問題,比如是否吸毒、酗酒、違規駕駛等,對於這類問題,受訪者往往傾向於低報其發生的頻率。
03訪問方式效應(Mode Effect)
調查中的訪問方式一般包括面訪、電話訪問、網絡訪問等。為了最大程度地提高應答率和降低調查成本,現在比較流行混合訪問的方式,即在一項調查中混合使用多種訪問方式,比如在同一項調查中,對一部分人採用電話訪問,另一部分人採用網絡訪問。訪問方式效應指的就是在混合訪問的過程中,不同的訪問方式所帶來的數據結果的系統性差異。
比如,如上文提到的,在選項的選擇上,視覺呈現的訪問方式(如網絡訪問)更容易出現首因效應,而聽覺形式呈現的訪問方式(如電訪)更容易出現近因效應。
再如,很多研究者發現,相比有訪員在場的訪問方式(如面訪、電訪),沒有訪員在場的訪問方式(如網絡訪問)能夠有效降低上文提到的社會期望效應,因為在沒有訪員在場的情況下,人們更容易說出實話。
因此,在一項調查中,如果一組人採用一種訪問方式,另一組人採用另一種訪問方式,當兩組人的答案存在差異時,我們需要考慮這種差異是這兩組人之間實際存在的差異,還只是因為訪問方式不同造成的差異,即所謂的訪問方式效應。
04訪員效應(Interviewer Effect)
在訪問過程中,訪員自身的一些屬性或者行為可能會對受訪者的答案造成系統性的影響,這種影響被稱為訪員效應。
很多研究發現訪員的性別和種族會導致訪員效應。
比如Kane和Macaulay(1993)發現,相比男性訪員,當訪員是女性時,男性和女性受訪者在答題過程中均表達出更強的性別平等的主張,如有更多的男性受訪者表示他們在家庭中分擔照顧孩子的工作,也有更多的女性受訪者表示她們支持女權主義政策。
訪員的一些行為,如訪員的資歷、經驗等,也會導致訪員效應。訪員經驗越豐富,受訪者的應答率就越高,但這並不意味著訪問的質量一定更高。
比如Hughes等(2002)在一項關於使用非法藥物的研究中發現,沒有經驗的訪員所訪問的人群非法使用藥物的比例比有經驗的訪員所訪問的人群高了21%,因為有經驗的訪員更可能會告訴受訪者在"是否非法使用過藥物"這一篩選題中回答「否」來避免回答更多相關的問題。
05上下文效應(Context Effect)
上下文效應指受訪者在一些問題上的觀點、態度受到前面問題的影響而發生了改變。
比如在一項經典的研究中(Schuman & Presser 1981; Schuman1992),研究者將受訪者分為A、B兩組,每組的問題分別是這樣子的:
A組:
你支持已婚女性因為不想要更多孩子而墮胎嗎?你支持因為胚胎缺陷而墮胎嗎?B組:
你支持因為胚胎缺陷而墮胎嗎?你支持已婚女性因為不想要更多孩子而墮胎嗎?可以看出,A、B兩組唯一的區別是A組先問因不想要更多孩子而墮胎一題,B組後問因不想要更多孩子而墮胎一題。研究者比對兩組受訪者支持因不想要孩子而墮胎的比例。
實驗結果顯示,在B組中,由於有胚胎缺陷這種墮胎原因在前面做對比,不想要孩子這一墮胎原因顯得很沒有說服力,因而支持因不想要孩子而墮胎的比例更低。
相比之下,A組將是否支持因不想要孩子而墮胎排在前面,由於沒有受到因胚胎缺陷而墮胎一題的影響,支持因不想要孩子而墮胎的比例相比B組更高。
06面板效應(Panel Effect)
面板效應發生在追蹤調查中,受訪者在後面輪次的調查中的答案受到前面輪次的調查的影響,導致研究者所觀察到隨時間發生的變化並不是真實環境下自然發生的變化,而是受訪者受之前調查的影響而發生的改變。
這種改變有時候是通過影響受訪者的填答行為而導致的。受訪者在經過多輪調查後,可能更加清楚答題的程序,對訪員更加信任,因而能夠或者願意提供更加精確的答案。
比如有研究者發現,在進行了若干輪的日常消費行為調查後,受訪者開始有意識地收集整理日常消費的票據,以便在作答時能夠提供更完整精準的答案。
當然,有時候這種改變也可能是負面的,比如在經過多輪的調查後,受訪者會逐漸發現一些走捷徑的方法,如對一些篩選題回答「否」相比回答「是」要更節省答題時間,因為回答「是」往往會導致展開很多新的題目。
還有些時候,追蹤調查並不只是簡單地影響了受訪者的填答行為,而是直接改變了受訪者的實際行為。
比如Zwane等(2011)發現,接受過一項關於健康和腹瀉狀況的調查導致受訪者更多地使用家庭淨水設備;另一項關於家庭健康狀況、健康風險行為與保險的調查則明顯地導致受訪者更多地購買醫療保險。
Crossley等(2017)在荷蘭的一項研究發現,一項調查中關於養老需求的模塊會影響人們實際的儲蓄行為,幹預組(即回答了該模塊)的存錢率相比控制組(即沒有回答該模塊)要低了3.5%。
07設備效應(Device Effect)
在網絡調查中,受訪者可以使用不同的設備作答,比如常見的有手機、平板和PC。
對於同一類設備,還會涉及到不同的機型和作業系統,比如手機有蘋果、華為、小米等多種機型,以及iOS 和Android等系統。
不同的設備、機型、系統之間的差異可能對受訪者的填答產生系統性影響,這種影響即設備效應。
比如,很多研究發現,相比在PC上作答,使用手機、平板等行動裝置作答時的中斷率(即中途退出的比例)更高,對開放性問題的回答越短,答題時間更長。
想了解以上效應產生的具體原因,以及如何減小或避免以上效應帶來的數據偏差,請繼續關注SurveyPlus後續的方法分享。
參考文獻:Crossley, Thomas F., Jochem deBresser,Liam Delaney, and Joachim Winter (2017), 「Can Survey Participation Alter HouseholdSaving Behaviour?」 The Economic Journal, 127(606), 2332-2357.Hughes, Arthur, James Chromy, Katherine Giacoletti,and Dawn Odom (2002), 「Impact of Interviewer Experience on Respondent Reportsof Substance Use,」 in Redesigning an Ongoing National Household Survey:Methodological Issues, eds.Joseph Gfroerer, Joe Eyerman, and James Chromy,pp.161-184, DHHS Publication No. SMA 03-3768, Rockville, MD.Kane, Emily W., and Laura J. Macaulay (1993),「Interviewer Gender and Gender Attitudes,」 Public Opinion Quarterly57(1): 1-28.Schuman, H. and S. Presser (1981),Questions and Answers in Attitude Surveys, New York: Academic Press.Schuman, H. (1992). 「Context Effects:State of the Art/State of the Past,」 in Context Effects in Social andPsychological Research, eds. N. Schwarz, and S. Sudman, pp.35-47, New York:Springer-Verlag.Zwane,A., J. Zinman, E.V. Dusen, W.Pariente, C. Null, E. Miguel, M. Kremer, D. Karlan,R. Hornbeck, X. Gine, E. Duflo, F.Devoto, B. Crepon, and A. Banerjee (2011), 「BeingSurveyed Can Change Later Behavior and Related Parameter Estimates,」 Proceedingsof the National Academy of Sciences, 108(1), 1821–1826.