那些年我們踩過的「坑」:淺談數據收集的各種效應(Effect)

2021-01-08 調研家

原創作者:胡婧煒

在問卷調查中,設計者經常會遇到各種各樣的「坑」,一不小心就會犯錯誤。比如以下的各種效應(Effect)就是大量的研究者從他們做調查的經驗中總結出來的人們可能會踩的「坑」,讓我們來了解一下。

01首因效應(Primacy Effect)和近因效應(Recency Effect)

首因效應指受訪者在面臨一組選項時,更傾向於選擇排列靠前的選項;近因效應正好相反,指受訪者在面臨一組選項時,更傾向於選擇排列靠後的選項。

研究者發現,在以視覺形式呈現的問卷中,如紙筆訪問,經常會出現首因效應。

對此,一種合理的解釋是受訪者在從前往後讀選項時會儘量減少自己的工作量,當碰到一個差不多的答案時,便會停止讀取選項,而不會繼續往下直至讀到與自己更匹配的選項為止,從而導致排在前面的選項更可能被選中。

近因效應則更多地出現在以聽覺形式呈現的問卷中,如電訪。

在聽訪員讀問題時,受訪者理解問題的順序和視覺呈現的問卷是相反的,他們會從最後一個聽到的選項開始往前考慮,當碰到一個差不多的答案時,他們便會停止繼續思考更前面的可能與自己更匹配的選項,因而導致更多後面的選項被選擇的狀況。

對於近因效應還有一種解釋是受訪者會忘記前面的選項,而更多地記得後面的選項,因此選擇後面選項的可能性會更高。

02社會期望效應(Social Desirability Effect)

研究者發現,在回答一些敏感性問題時,受訪者會傾向於提供一個更符合社會期望的、能更好地表現其個人形象的答案,而非填報真實的情況。

這種敏感性問題分為兩類,一類是符合社會期望的問題,比如提問受訪者運動的頻率、去圖書館的頻率、是否系安全帶等,對於這類問題,受訪者傾向於高報其發生的頻率;另一類是不符合社會期望的問題,比如是否吸毒、酗酒、違規駕駛等,對於這類問題,受訪者往往傾向於低報其發生的頻率。

03訪問方式效應(Mode Effect)

調查中的訪問方式一般包括面訪、電話訪問、網絡訪問等。為了最大程度地提高應答率和降低調查成本,現在比較流行混合訪問的方式,即在一項調查中混合使用多種訪問方式,比如在同一項調查中,對一部分人採用電話訪問,另一部分人採用網絡訪問。訪問方式效應指的就是在混合訪問的過程中,不同的訪問方式所帶來的數據結果的系統性差異。

比如,如上文提到的,在選項的選擇上,視覺呈現的訪問方式(如網絡訪問)更容易出現首因效應,而聽覺形式呈現的訪問方式(如電訪)更容易出現近因效應。

再如,很多研究者發現,相比有訪員在場的訪問方式(如面訪、電訪),沒有訪員在場的訪問方式(如網絡訪問)能夠有效降低上文提到的社會期望效應,因為在沒有訪員在場的情況下,人們更容易說出實話。

因此,在一項調查中,如果一組人採用一種訪問方式,另一組人採用另一種訪問方式,當兩組人的答案存在差異時,我們需要考慮這種差異是這兩組人之間實際存在的差異,還只是因為訪問方式不同造成的差異,即所謂的訪問方式效應。

04訪員效應(Interviewer Effect)

在訪問過程中,訪員自身的一些屬性或者行為可能會對受訪者的答案造成系統性的影響,這種影響被稱為訪員效應。

很多研究發現訪員的性別和種族會導致訪員效應。

比如Kane和Macaulay(1993)發現,相比男性訪員,當訪員是女性時,男性和女性受訪者在答題過程中均表達出更強的性別平等的主張,如有更多的男性受訪者表示他們在家庭中分擔照顧孩子的工作,也有更多的女性受訪者表示她們支持女權主義政策。

訪員的一些行為,如訪員的資歷、經驗等,也會導致訪員效應。訪員經驗越豐富,受訪者的應答率就越高,但這並不意味著訪問的質量一定更高。

比如Hughes等(2002)在一項關於使用非法藥物的研究中發現,沒有經驗的訪員所訪問的人群非法使用藥物的比例比有經驗的訪員所訪問的人群高了21%,因為有經驗的訪員更可能會告訴受訪者在"是否非法使用過藥物"這一篩選題中回答「否」來避免回答更多相關的問題。

05上下文效應(Context Effect)

上下文效應指受訪者在一些問題上的觀點、態度受到前面問題的影響而發生了改變。

比如在一項經典的研究中(Schuman & Presser 1981; Schuman1992),研究者將受訪者分為A、B兩組,每組的問題分別是這樣子的:

A組:

你支持已婚女性因為不想要更多孩子而墮胎嗎?你支持因為胚胎缺陷而墮胎嗎?B組:

你支持因為胚胎缺陷而墮胎嗎?你支持已婚女性因為不想要更多孩子而墮胎嗎?可以看出,A、B兩組唯一的區別是A組先問因不想要更多孩子而墮胎一題,B組後問因不想要更多孩子而墮胎一題。研究者比對兩組受訪者支持因不想要孩子而墮胎的比例。

實驗結果顯示,在B組中,由於有胚胎缺陷這種墮胎原因在前面做對比,不想要孩子這一墮胎原因顯得很沒有說服力,因而支持因不想要孩子而墮胎的比例更低。

相比之下,A組將是否支持因不想要孩子而墮胎排在前面,由於沒有受到因胚胎缺陷而墮胎一題的影響,支持因不想要孩子而墮胎的比例相比B組更高。

06面板效應(Panel Effect)

面板效應發生在追蹤調查中,受訪者在後面輪次的調查中的答案受到前面輪次的調查的影響,導致研究者所觀察到隨時間發生的變化並不是真實環境下自然發生的變化,而是受訪者受之前調查的影響而發生的改變。

這種改變有時候是通過影響受訪者的填答行為而導致的。受訪者在經過多輪調查後,可能更加清楚答題的程序,對訪員更加信任,因而能夠或者願意提供更加精確的答案。

比如有研究者發現,在進行了若干輪的日常消費行為調查後,受訪者開始有意識地收集整理日常消費的票據,以便在作答時能夠提供更完整精準的答案。

當然,有時候這種改變也可能是負面的,比如在經過多輪的調查後,受訪者會逐漸發現一些走捷徑的方法,如對一些篩選題回答「否」相比回答「是」要更節省答題時間,因為回答「是」往往會導致展開很多新的題目。

還有些時候,追蹤調查並不只是簡單地影響了受訪者的填答行為,而是直接改變了受訪者的實際行為。

比如Zwane等(2011)發現,接受過一項關於健康和腹瀉狀況的調查導致受訪者更多地使用家庭淨水設備;另一項關於家庭健康狀況、健康風險行為與保險的調查則明顯地導致受訪者更多地購買醫療保險。

Crossley等(2017)在荷蘭的一項研究發現,一項調查中關於養老需求的模塊會影響人們實際的儲蓄行為,幹預組(即回答了該模塊)的存錢率相比控制組(即沒有回答該模塊)要低了3.5%。

07設備效應(Device Effect)

在網絡調查中,受訪者可以使用不同的設備作答,比如常見的有手機、平板和PC。

對於同一類設備,還會涉及到不同的機型和作業系統,比如手機有蘋果、華為、小米等多種機型,以及iOS 和Android等系統。

不同的設備、機型、系統之間的差異可能對受訪者的填答產生系統性影響,這種影響即設備效應。

比如,很多研究發現,相比在PC上作答,使用手機、平板等行動裝置作答時的中斷率(即中途退出的比例)更高,對開放性問題的回答越短,答題時間更長。

想了解以上效應產生的具體原因,以及如何減小或避免以上效應帶來的數據偏差,請繼續關注SurveyPlus後續的方法分享。

參考文獻:Crossley, Thomas F., Jochem deBresser,Liam Delaney, and Joachim Winter (2017), 「Can Survey Participation Alter HouseholdSaving Behaviour?」 The Economic Journal, 127(606), 2332-2357.Hughes, Arthur, James Chromy, Katherine Giacoletti,and Dawn Odom (2002), 「Impact of Interviewer Experience on Respondent Reportsof Substance Use,」 in Redesigning an Ongoing National Household Survey:Methodological Issues, eds.Joseph Gfroerer, Joe Eyerman, and James Chromy,pp.161-184, DHHS Publication No. SMA 03-3768, Rockville, MD.Kane, Emily W., and Laura J. Macaulay (1993),「Interviewer Gender and Gender Attitudes,」 Public Opinion Quarterly57(1): 1-28.Schuman, H. and S. Presser (1981),Questions and Answers in Attitude Surveys, New York: Academic Press.Schuman, H. (1992). 「Context Effects:State of the Art/State of the Past,」 in Context Effects in Social andPsychological Research, eds. N. Schwarz, and S. Sudman, pp.35-47, New York:Springer-Verlag.Zwane,A., J. Zinman, E.V. Dusen, W.Pariente, C. Null, E. Miguel, M. Kremer, D. Karlan,R. Hornbeck, X. Gine, E. Duflo, F.Devoto, B. Crepon, and A. Banerjee (2011), 「BeingSurveyed Can Change Later Behavior and Related Parameter Estimates,」 Proceedingsof the National Academy of Sciences, 108(1), 1821–1826.

相關焦點

  • SPC實戰中踩過的那些坑
    過程能力模塊較為全面,基本上囊括了在實際工作當中所能碰到的各種場景,可以根據具體問題從中找到問題的答案。這裡只是介紹目前較為主流的休哈特常規控制圖知識。感興趣的朋友可以自行通過下面連結查閱學習。=>過程能力系列:①原創|從變差談Cp、Cpk和Pp、Ppk③原創|當Cp、Cpk遭遇單邊公差?
  • 扒一扒那些年交過的「智商稅」 2020年你又踩了多少雷?
    今年,您購買產品時,有過「被收智商稅」的經歷嗎?那些被神化了的商品人們生活水平提高了,就開始追求健康長壽、追求美。由此,各種被賣家炒作成靈丹妙藥的保健品應運而生。傳統的、與燕窩齊名的保健品,包括水煮驢皮阿膠糕、蝙蝠蛾幼蟲殭屍冬蟲夏草。
  • 這些年在英語啟蒙上踩過的坑
    哥哥的英語經常被周圍的人誇,但我們真的不是學霸,可能有一點突出的就是孩子的發音和口語表達。 因為有著兩個孩子跌跌撞撞的經驗,加上自己也累積了一些關於啟蒙的知識,總結一些我們掉進過的那些坑,幫助你們節約時間,避掉這些坑,這篇文章的意義就在於此吧。
  • Snowball effect 滾雪球效應
    Snowball effect 滾雪球效應 今日短語  表達 「snowball effect」 描述 「一個情況或事件的規模、重要性就像滾雪球一樣不斷擴大,變化的速度也在加快」。「Snowball effect」 有時會被用來描述 「一個失控的情況」。
  • GREENHOUSE EFFECT 溫室效應
    WORDS AND EXPRESSIONSThe green house effect 溫室效應greenhouse/'griːnhaʊs/ 溫室trap /træp/ 收集;吸收atmosphere /'ætməsfɪə/(圍繞地球的)大氣,大氣圈,大氣層carbon dioxide
  • 你踩過的大電流晶片測試座的坑
    下面我們來聊下這種大電流測試座,可以給很多朋友避開這個大電流的「坑」。電流傳感器晶片,圖片來自網絡2)IGBT晶片:IGBT(Insulated Gate Bipolar Transistor),絕緣柵雙極型電晶體,是由BJT(雙極型三極體)和MOS(絕緣柵型場效應管
  • 雙語:各種"效應" 的英文怎麼說?
    效應」的原義是「物理的或化學的作用所產生的效果」,也可泛指「某個人物的言行或某種事物的發生和發展在社會上所引起的反應或效果」。英語的對應詞是effect。自然界和人間社會存在各式各樣的效應。其中「溫室效應」 (green-house effect)是我們最常見的一種大氣保溫效應,與地球變暖(global warming)有關。例如:   1.
  • 養娃路上這些坑,你有沒有踩過?
    但是前天遇到一個高手,賣課不顯山不露水,卻差點讓我入坑。 有一句話真是印象深刻: "看您形象氣質很好,這是您對自己投資的結果,其實對孩子投資才是最保值的,將來孩子會感謝您。
  • 面板數據裡處理多重高維固定效應的神器, 還可用工具變量處理內生性
    今天,我們「面板數據研究小組」將為計量經濟圈的圈友引薦一個處理多重高維固定效應的方法(multiple high dimensional fixed effects)。我們經常聽說面板數據相對於截面數據有更大的空間去控制異質性,尤其是那些看不見的卻不隨著時間變動的異質性。
  • 住宅建築師規劃強排系列-10 日照核算(上)—這些年踩過的坑
    01 日照規範只憑經驗,不好好看規範,是最大的坑。踩過坑的都應該知道,怎一個驚心動魄,心驚膽戰!)註:以上只是經驗數據,僅供參考,遇到實際項目,需和甲方確認現狀的日照條件。並不會一塵不變,可能出現各種各樣的驚喜。
  • 這些貌似健康的蔬菜,熱量堪比葷菜,有你曾經踩過的坑嗎?
    我們總說人不可貌相,海水不可鬥量,很多事情不能片面妄斷,這種道理放在我們的一日三餐當中也未必無法成立。就好比很多看起來明明熱量很低,沒有什麼脂肪含量的蔬菜,偏偏在我們吃下去之後就開始長肉。所以呀,即使是選擇小小一顆蔬菜,我們也不能大意哦。這些貌似健康的蔬菜,熱量堪比葷菜,有你曾經踩過的坑嗎?
  • 語言遮蔽效應(Verbal Overshadowing Effect)
    結果發現,前一個人在複述事實時出現了偏差,而之前沒有講述過這件事的另一個位,對事實的描述相對更準確。研究人員因此發現,重新講述會讓敘述的準確度會下降。也就是說,複述的過程會干擾最初以知覺的形式編碼的記憶。
  • 【科普營養】各種食用油有什麼區別?哪種更健康?這4個坑千萬別踩
    這4個坑千萬別踩 一日三餐烹飪食物,都離不開油,這吃進嘴裡的東西,每個人都想吃好的,健康的。 可是,市面上的油種類繁多,消費者挑花了眼,到底哪種油更好更健康呢? 本篇文章,」涵涵營養」將死磕各種食用油,仔細跟大家說說: 1. 各種食用油有什麼區別?
  • 量子波動速讀走紅,家長常踩5大教育坑,每一條都映射無盡的焦慮
    今天,我們一起來列5條逐個戳破!避免家長踩坑。育兒路上家長常踩的5個坑第1條 :量子波動速讀 波動速讀 能鍛鍊閱讀能力我們的眼睛並不能一次性看到那麼多東西,聚焦也只能看到小範圍,利用快速翻閱書本就能夠吸收書本內容真正認識幾萬字,更是無稽之談,提高閱讀能力,就要多讀書,精讀書。孩子不太理解的內容,就鼓勵他來回看,精讀。閱讀是為了求知,不是求速度。
  • 曼德拉效應 我們那些被篡改的記憶
    人類自誕生之日起,已經經過千萬年光陰,人類從出生到死亡,日復一日年復一年,那些說過的話做過的事,都會成為記憶的一部分,記憶也許會隨著時間推移漸漸淡忘模糊,卻永遠不會消失。隨著歐美科幻電影腦洞大開,那些利用高科技篡改和刪除記憶的電影,開始慢慢的影響了部分人群,所以很多人也提出一個問題,現實中的我們,那些存在大腦中存在記憶,是否也會被篡改或者刪除,那些我們自以為發生過的事情,其實並不是我們真實經歷過的!
  • 再談催化中的量子尺寸效應(quantum size effect)
    負載型金屬催化劑的吸附以及反應活性與催化劑的尺寸密切相關,相應地,尺寸效應(size effect)作為催化研究中的一個重要的概念被廣泛使用。其中最典型的就是納米Au催化。之前我們通過多期推文介紹了Au催化中的活性位的問題, Goodman教授課題組認為CO氧化中存在量子尺寸效應,其中Au的厚度(bilayer thickness)是主要影響因素(見往期推文:Science:再論金催化的活性位點)。
  • 專欄 | Detectron精讀系列之一:學習率的調節和踩坑
    在這個過程中,我們也會幫大家提前踩坑,希望大家可以從 Detectron 函數庫學到更多通用的計算機視覺技能。Detectron 函數庫有一點複雜,在這次的解讀中我們主要介紹 multi-gpu 訓練的時候,學習率如何調節的問題。
  • 2020年,這些「坑」你踩過嗎
    來源標題:這一年,這些「坑」你踩過嗎 2020年,一場突如其來的疫情席捲全球,新冠病毒肆虐,無數人因此喪命。比病毒更可怕的,是與之相伴的謠言:吃大蒜可預防新冠肺炎、新冠病毒系人工合成……在舉國抗疫之時,它們卻在製造恐慌。
  • 養貓你踩過最大的坑是什麼?網友:給貓找了個媳婦
    我踩過最大的坑就是給家裡的公貓找了一個媳婦,起初!因為工作繁忙,幾乎沒有時間陪伴家裡的孤寡貓咪。 以上的內容不算是坑!接下來才算是真正的坑,兩隻貓順理成章的喜結連理,百年好合後。新貓孕後產下了6隻貓。
  • 米勒效應(Miller Effect)
    之前我們在介紹MOS和IGBT的文章中也有提到米勒電容和米勒效應的概念,在IGBT的導通過程分析的文章中我們也簡單提到過米勒平臺,下面我們來詳細地聊一聊。米勒電容:上圖是我們之前在講MOS和IGBT的輸入電容,輸出電容和米勒電容的概念時看到過,下面是對應的公式:Ciss= CGE+ CGC  輸入電容Coss= CGC+ CEC 輸出電容Crss= CGC   米勒電容其中柵極和射極之間的寄生電容就是今天我們所討論的主角。