那些年我們踩過的「坑」:淺談數據收集的各種效應(Effect)

2021-01-18 調研家

原創作者:胡婧煒

在問卷調查中,設計者經常會遇到各種各樣的「坑」,一不小心就會犯錯誤。比如以下的各種效應(Effect)就是大量的研究者從他們做調查的經驗中總結出來的人們可能會踩的「坑」,讓我們來了解一下。

01首因效應(Primacy Effect)和近因效應(Recency Effect)

首因效應指受訪者在面臨一組選項時,更傾向於選擇排列靠前的選項;近因效應正好相反,指受訪者在面臨一組選項時,更傾向於選擇排列靠後的選項。

研究者發現,在以視覺形式呈現的問卷中,如紙筆訪問,經常會出現首因效應。

對此,一種合理的解釋是受訪者在從前往後讀選項時會儘量減少自己的工作量,當碰到一個差不多的答案時,便會停止讀取選項,而不會繼續往下直至讀到與自己更匹配的選項為止,從而導致排在前面的選項更可能被選中。

近因效應則更多地出現在以聽覺形式呈現的問卷中,如電訪。

在聽訪員讀問題時,受訪者理解問題的順序和視覺呈現的問卷是相反的,他們會從最後一個聽到的選項開始往前考慮,當碰到一個差不多的答案時,他們便會停止繼續思考更前面的可能與自己更匹配的選項,因而導致更多後面的選項被選擇的狀況。

對於近因效應還有一種解釋是受訪者會忘記前面的選項,而更多地記得後面的選項,因此選擇後面選項的可能性會更高。

02社會期望效應(Social Desirability Effect)

研究者發現,在回答一些敏感性問題時,受訪者會傾向於提供一個更符合社會期望的、能更好地表現其個人形象的答案,而非填報真實的情況。

這種敏感性問題分為兩類,一類是符合社會期望的問題,比如提問受訪者運動的頻率、去圖書館的頻率、是否系安全帶等,對於這類問題,受訪者傾向於高報其發生的頻率;另一類是不符合社會期望的問題,比如是否吸毒、酗酒、違規駕駛等,對於這類問題,受訪者往往傾向於低報其發生的頻率。

03訪問方式效應(Mode Effect)

調查中的訪問方式一般包括面訪、電話訪問、網絡訪問等。為了最大程度地提高應答率和降低調查成本,現在比較流行混合訪問的方式,即在一項調查中混合使用多種訪問方式,比如在同一項調查中,對一部分人採用電話訪問,另一部分人採用網絡訪問。訪問方式效應指的就是在混合訪問的過程中,不同的訪問方式所帶來的數據結果的系統性差異。

比如,如上文提到的,在選項的選擇上,視覺呈現的訪問方式(如網絡訪問)更容易出現首因效應,而聽覺形式呈現的訪問方式(如電訪)更容易出現近因效應。

再如,很多研究者發現,相比有訪員在場的訪問方式(如面訪、電訪),沒有訪員在場的訪問方式(如網絡訪問)能夠有效降低上文提到的社會期望效應,因為在沒有訪員在場的情況下,人們更容易說出實話。

因此,在一項調查中,如果一組人採用一種訪問方式,另一組人採用另一種訪問方式,當兩組人的答案存在差異時,我們需要考慮這種差異是這兩組人之間實際存在的差異,還只是因為訪問方式不同造成的差異,即所謂的訪問方式效應。

04訪員效應(Interviewer Effect)

在訪問過程中,訪員自身的一些屬性或者行為可能會對受訪者的答案造成系統性的影響,這種影響被稱為訪員效應。

很多研究發現訪員的性別和種族會導致訪員效應。

比如Kane和Macaulay(1993)發現,相比男性訪員,當訪員是女性時,男性和女性受訪者在答題過程中均表達出更強的性別平等的主張,如有更多的男性受訪者表示他們在家庭中分擔照顧孩子的工作,也有更多的女性受訪者表示她們支持女權主義政策。

訪員的一些行為,如訪員的資歷、經驗等,也會導致訪員效應。訪員經驗越豐富,受訪者的應答率就越高,但這並不意味著訪問的質量一定更高。

比如Hughes等(2002)在一項關於使用非法藥物的研究中發現,沒有經驗的訪員所訪問的人群非法使用藥物的比例比有經驗的訪員所訪問的人群高了21%,因為有經驗的訪員更可能會告訴受訪者在"是否非法使用過藥物"這一篩選題中回答「否」來避免回答更多相關的問題。

05上下文效應(Context Effect)

上下文效應指受訪者在一些問題上的觀點、態度受到前面問題的影響而發生了改變。

比如在一項經典的研究中(Schuman & Presser 1981; Schuman1992),研究者將受訪者分為A、B兩組,每組的問題分別是這樣子的:

A組:

你支持已婚女性因為不想要更多孩子而墮胎嗎?你支持因為胚胎缺陷而墮胎嗎?B組:

你支持因為胚胎缺陷而墮胎嗎?你支持已婚女性因為不想要更多孩子而墮胎嗎?可以看出,A、B兩組唯一的區別是A組先問因不想要更多孩子而墮胎一題,B組後問因不想要更多孩子而墮胎一題。研究者比對兩組受訪者支持因不想要孩子而墮胎的比例。

實驗結果顯示,在B組中,由於有胚胎缺陷這種墮胎原因在前面做對比,不想要孩子這一墮胎原因顯得很沒有說服力,因而支持因不想要孩子而墮胎的比例更低。

相比之下,A組將是否支持因不想要孩子而墮胎排在前面,由於沒有受到因胚胎缺陷而墮胎一題的影響,支持因不想要孩子而墮胎的比例相比B組更高。

06面板效應(Panel Effect)

面板效應發生在追蹤調查中,受訪者在後面輪次的調查中的答案受到前面輪次的調查的影響,導致研究者所觀察到隨時間發生的變化並不是真實環境下自然發生的變化,而是受訪者受之前調查的影響而發生的改變。

這種改變有時候是通過影響受訪者的填答行為而導致的。受訪者在經過多輪調查後,可能更加清楚答題的程序,對訪員更加信任,因而能夠或者願意提供更加精確的答案。

比如有研究者發現,在進行了若干輪的日常消費行為調查後,受訪者開始有意識地收集整理日常消費的票據,以便在作答時能夠提供更完整精準的答案。

當然,有時候這種改變也可能是負面的,比如在經過多輪的調查後,受訪者會逐漸發現一些走捷徑的方法,如對一些篩選題回答「否」相比回答「是」要更節省答題時間,因為回答「是」往往會導致展開很多新的題目。

還有些時候,追蹤調查並不只是簡單地影響了受訪者的填答行為,而是直接改變了受訪者的實際行為。

比如Zwane等(2011)發現,接受過一項關於健康和腹瀉狀況的調查導致受訪者更多地使用家庭淨水設備;另一項關於家庭健康狀況、健康風險行為與保險的調查則明顯地導致受訪者更多地購買醫療保險。

Crossley等(2017)在荷蘭的一項研究發現,一項調查中關於養老需求的模塊會影響人們實際的儲蓄行為,幹預組(即回答了該模塊)的存錢率相比控制組(即沒有回答該模塊)要低了3.5%。

07設備效應(Device Effect)

在網絡調查中,受訪者可以使用不同的設備作答,比如常見的有手機、平板和PC。

對於同一類設備,還會涉及到不同的機型和作業系統,比如手機有蘋果、華為、小米等多種機型,以及iOS 和Android等系統。

不同的設備、機型、系統之間的差異可能對受訪者的填答產生系統性影響,這種影響即設備效應。

比如,很多研究發現,相比在PC上作答,使用手機、平板等行動裝置作答時的中斷率(即中途退出的比例)更高,對開放性問題的回答越短,答題時間更長。

想了解以上效應產生的具體原因,以及如何減小或避免以上效應帶來的數據偏差,請繼續關注SurveyPlus後續的方法分享。

參考文獻:Crossley, Thomas F., Jochem deBresser,Liam Delaney, and Joachim Winter (2017), 「Can Survey Participation Alter HouseholdSaving Behaviour?」 The Economic Journal, 127(606), 2332-2357.Hughes, Arthur, James Chromy, Katherine Giacoletti,and Dawn Odom (2002), 「Impact of Interviewer Experience on Respondent Reportsof Substance Use,」 in Redesigning an Ongoing National Household Survey:Methodological Issues, eds.Joseph Gfroerer, Joe Eyerman, and James Chromy,pp.161-184, DHHS Publication No. SMA 03-3768, Rockville, MD.Kane, Emily W., and Laura J. Macaulay (1993),「Interviewer Gender and Gender Attitudes,」 Public Opinion Quarterly57(1): 1-28.Schuman, H. and S. Presser (1981),Questions and Answers in Attitude Surveys, New York: Academic Press.Schuman, H. (1992). 「Context Effects:State of the Art/State of the Past,」 in Context Effects in Social andPsychological Research, eds. N. Schwarz, and S. Sudman, pp.35-47, New York:Springer-Verlag.Zwane,A., J. Zinman, E.V. Dusen, W.Pariente, C. Null, E. Miguel, M. Kremer, D. Karlan,R. Hornbeck, X. Gine, E. Duflo, F.Devoto, B. Crepon, and A. Banerjee (2011), 「BeingSurveyed Can Change Later Behavior and Related Parameter Estimates,」 Proceedingsof the National Academy of Sciences, 108(1), 1821–1826.

相關焦點

  • 心理學:巴納姆效應 Barnum effect
    、一般性的人格描述特別適合他。上述現象就是巴納姆效應 Barnum effect。是1948年由心理學家伯特倫·福勒通過試驗證明的一種心理學現象,以雜技師巴納姆的名字命名。正如一位名叫肖曼·巴納姆的著名雜技師在評價自己的表演時說,他之所以很受歡迎是因為節目中包含了每個人都喜歡的成分,所以他使得「每一分鐘都有人上當受騙」。20世紀50年代,心理學家保羅·米爾以著名的美國馬戲團藝人菲尼亞斯·泰勒·巴納姆的名字將弗瑞爾的實驗結果命名為「巴納姆效應」。
  • 眾多人會掉的坑——巴納姆效應(下)
    眾多人會掉的坑——巴納姆效應比如:你的左右腦分別有幾歲,《XX座的人,看完會流淚》十二篇,算算你的桃花運還能學到在心理學界以及生活中常見的幾個心理學效應,何不快哉?我們為什麼輕易掉進巴納姆效應的陷阱呢?
  • 心理科普 | 巴納姆效應
    巴納姆效應是什麼巴納姆效應(Barnum effect)是1948年由心理學家伯特倫·福勒通過試驗證明的一種心理學現象,以雜技師巴納姆的名字命名,認為每個人都會很容易相信一個籠統的、一般性的人格描述特別適合他。
  • 姚芊羽從苦情女主到網紅臉踩過哪些坑
    想大家都知道當時很火的苦情女王,姚芊羽 ,當初她演的電視劇我幾乎的 看過哈哈 一不小心就暴露的年紀她屬於甜美型的演員,雖然算不上是什麼傾國傾城的美人,但是她的非常的有辨識度,特別是她自己剛出道的時候演的古裝劇也是非常有靈氣的演技也非常的在線,在那時是真的大女主的人物在那時也才被人們認為是內地演藝界的玉女演中的最佳演員,當時楊冪和佟麗婭都給她做過配角
  • 心理學研究發現:能讓你在社交中獲得「好人緣」的5個心理學效應
    所以,為了回答上述問題,我們查閱了相關的心理學文獻,總結出了「討人愛」的原因,希望通過理解並學習5個心理學效應,能幫助我們在社交中獲得好人緣。1. 鏡像效應(mirroring)和變色龍效應(chameleon effect):通過巧妙的模仿可以讓對方喜歡你通過模仿他人,可以讓對方對我們產生好感。
  • 不打雜的實習總結:PM新人的踩坑心得與行業認知
    背景介紹:坐標上海,計算機專業大四學生,17年6月起在電商行業(D輪人數700+)當產品經理實習生,時長7個月。和另一位資深PM共同負責B2C微信商城的產品工作,有幸得到認可,深度參與產品全流程,獨立負責了10餘次產品迭代的落地,過程中通過大家幫助填了不少坑。
  • 神奇的曼德拉效應
    一、什麼是曼德拉效應曼德拉效應是一個心理學效應,指大眾對歷史的集體記憶與史實不符。曼德拉效應來源於一個歷史案件:2013年曼德拉去世的新聞發布之後,世界各地的人發現自己對曼德拉的記憶出現了混亂,從他死亡時間到死亡原因都出現了不同的記憶,許多互不相識的人回憶後說自己看過紀念曼德拉的電影,包括電影的名字和內容都大體一致,然而這部影片從未上映,甚至從未拍攝過……二、探尋曼德拉效應起初我還不相信,以為這只是大家記憶差,於是我上網查了一下資料,發現真有
  • 《倩女幽魂2》八卦來了 那些年我們追過的大神
    【本欄目由網易遊戲頻道蘭心坊出品,轉載請註明】上期回顧:《倩女幽魂2》八卦來了 那些年你經歷過的奇葩在上周的活動中,我們看到了不少玩家的吐槽,其中不乏各種奇葩,讓我們感嘆,原來,這個世界沒有最奇葩,只有更奇葩。
  • 有些事明明沒發生過,我們為什麼記得那麼清楚?
    自稱「超自然現象顧問」的菲奧娜·布魯姆(Fiona Broome)將這種現象命名為「曼德拉效應」(Mandela effect),因為她發現自己和另一些人都記得一件不真實的事——南非民權運動領袖尼爾森·曼德拉(Nelson Mandela
  • 比奸商更能帶人「入坑」的,是那些文玩核桃的「仙圖」
    但是,細細思量一下,帶我們「入坑」,或者說帶絕大多數文玩核桃愛好者「入坑」的,真的是奸商那些騙人的把戲嗎?其實,我覺得讓大家對文玩核桃感興趣,從無到有,從一對兒到很多的,並不是被奸商騙了的結果,反倒是相信自己朋友的結果。
  • 常見的各種效應,你知道多少?
    這種現象稱為社會刻板效應。(二)暈輪效應當我們認為某人具有某種特徵時,就會對其他特徵作相似判斷,這就是暈輪效應,也稱為光環效應。(三)首因效應在總體印象形成上,最初獲得的信息比後來獲得的信息影響更大的現象,稱為首因效應,也叫最初效應。
  • 其實這只是「巴納姆效應」在作怪
    納姆效應(Barnum effect),每個人都會很容易相信一個籠統的、一般性的人格描述特別適合他。即使這種描述十分空洞,仍然認為反映了自己的人格面貌,哪怕自己根本不是這種人。來源巴納姆效應又稱福勒效應,星相效應,是1948年由心理學家伯特倫·福勒通過試驗證明的一種心理學現象,人們常常認為一種籠統的、一般性的人格描述十分準確地揭示了自己的特點,當人們用一些普通、含糊不清、廣泛的形容詞來描述一個人的時候,人們往往很容易就接受這些描述,卻認為描述中所說的就是自己。
  • 考試中的各種效應
    2021年社區工作者備考方案2021年社區筆試課程免費領在目前的社區考試公基部分中,常識部門的考察範圍越來越廣、考察佔比越來越大。其中,「效應」相關的知識在試卷中也屢見不鮮。二、羅森塔爾效應1.別稱:皮格馬利翁效應、人際期望效應2.原理:人們基於對某種情境的知覺而形成的期望或預言,會使該情境產生適應這一期望或預言的效應。
  • 這些寶寶餵養的坑可別踩!
    這樣的問題其實很常見,家長明明在給孩子吃那些自己認為的「最好的東西」,為什麼孩子反而越來越瘦,一副營養不良的樣子呢? 那是因為你餵錯了!
  • 用勺子畫陰影,用衣架畫眉毛,這些不靠譜的美妝坑你踩過幾個?
    提起美妝相信大家都不陌生,雖然說好的美妝過程可以讓一個人發生脫胎換骨的變化,但是化妝的過程總是萬分艱辛,尤其是在現在這個節奏比較快的時代,很多小仙女都想要尋求簡單、高效又可以畫出完美妝效的化妝方式,於是越來越多的「奇葩」美妝手法就上線了,今天我們就來看看,那些關於化妝手法的坑,你有踩過多少。
  • 起點公開課分享總結 | 創業團隊從0到1,那些熱騰騰的「坑」
    (站長童鞋)為我們分享他在創業期間,遇到創業團隊從0到1的那些坑,和他們是如何面對和解決的經驗。以下是嘉賓的口述整理:創業期間踩了很多坑,取得了小成績,欣慰的是到現在開始發展比較順利了。之前遇到最大的問題是方向不定,一直在探索,因為沒有人做過這樣的東西,所以沒有競品,沒有參考,只能一步步摸索著走,當然好的是能做開拓者,做第一個,對我而言這件事比較有意義。
  • 古錢幣賣不出高價,可能是踩了下面這些坑?
    在古錢幣圈子裡,想要一夜暴富的泉友不在少數,有些人抱怨缺乏撿漏的機會,有些人抱怨玩不起那些稀罕的錢幣,也有些人入手新的錢幣之後,就幻想立刻高價賣出,賺取高額的差價。文瀚樂拍曾經見過不少人,他們覺得趕不上好的銷售時機,很可能是踩中了下面這些坑。
  • iPhone12 PRO保護配件入坑與踩坑分享
    ,兩年後的今天,PDD下單百億補貼過的iPhone12 PRO,主要還是想體會一下蘋果新手機的感(bi)覺(ge),Emmm,這次果斷選擇6.1寸的,拿在手裡剛剛好哈!那麼貴的手機,我希望使用時間能長久一點,比如兩三年嗯!所以同期入手了各種保護型配件,我不知道這世界上有多少人跟我一樣喜歡把手機包裹得嚴嚴實實的,但作為一個處女座,我肯定不願意讓這手機使用沒多久就留下劃痕的哼!
  • 解放軍專家進原子彈爆心收集數據 寧肯少活20年
    風過戈壁,吹散了老兵的滿頭銀髮……這一刻,距離讓炎黃子孫揚眉吐氣的「東方巨響」響起那一刻——1964年10月16日15時,已經過去了50個年頭。這一刻,時間,空間,在老兵心中翻騰跳躍——遙想當年,這裡軍帳連營,呼號起伏。一支支神秘的部隊,紮根大漠,隱匿於世,用升騰的蘑菇雲攥緊了中華民族自強不息的拳頭!
  • 關於「網絡效應」,有太多的誤會和一知半解
    因為商業基礎和GAFA對經濟(以及我們注意力)的鉗制,我們至少對網絡效應都有一個基本的了解。 問題是,很多創業者都假設自己理解並且能預測網絡效應,這給他們挖下了邁向失敗的坑。 2、有獎推薦 ≠ 網絡效應 這裡也是同樣的道理。激勵是很好的獲取策略但並非可防禦的,絕大部分情況下是產品增強了網絡效應(加密數字貨幣除外)。 3、數據 ≠ 網絡效應 數據本身並不能定義網絡效應。