網絡問卷調查90%都不合規範

2020-11-23 199IT

問卷設計不簡單,是一個耗時耗力的活,而且往往會出現各種失敗,所以不要迷信各種問卷調查結果,其中至少有90%是不合規範的。問卷的終極目標是驗證或提供某個問題的因果解釋,即解決問題,其次才是描述情況。問卷設計是一個項目,不是一張紙上寫幾道問題。這其中包含許多程序。目前實際情況是,問卷設計實際操作門檻實在太低,找個人來編幾個問題就可以稱之為問卷,人為不可控影響太大;二是低門檻導致粗製濫造大行於世,反過來又導致很多企業管理層並不信任。 

問卷設計流程

首先,歷數一下問卷調查中的幾個問題

最直觀的:其一,亂答問卷,或置之不理;其二,問卷題目過於泛泛,不切中要理,最明顯的表徵就是,問卷作出來的結果拿到上司面前,上司看完就回一句:「哦」;其三,問卷題目設計有基本技術錯誤,如偏向性、選項不完備等等。

不直觀的:其一,問卷不能反映實際人群,不具有代表性,問卷沒有價值;其二,問卷設計的題目和選項有誤,沒有統計價值;其三,問卷沒有邏輯,只局限於描述情況,不能解決問題,問卷價值不大。這些問題的出現都與對問卷理解偏差,設計問卷沒有走規範流程,沒學過統計有關。

其次,介紹問卷設計流程問卷設計的前期工作

1.主持問卷設計者,必是深入了解情況者

要做問卷,自然要圈定一個問題範圍,即想了解哪些方面?要解決什麼問題?

這是問卷大方向,如果這裡出現偏差,那此後的工作基本就是無用功。

比如,現在我們要做「金坷垃」牌口香糖,那問卷設計的主持者自己首先得非常了解口香糖這個產品的市場情況。

2.文獻鋪墊

可閱讀相關的行業研究報告或類似靠譜的問卷研究,這有助於避免走錯方向,也能提供新思路。如有條件,可以找到相關的數據,先刨一下數據,做些數據分析,這非常有利於問卷將來設計和發放。既然我們做金坷垃口香糖,屬於快銷領域,那就先拿尼爾森的數據刨一刨。

3.了解被訪者

你得去和被訪者聊天,專業點叫「訪談」。在這個階段最重要的是:去了解他們對於你想了解的領域和想解決的問題,怎麼想?怎麼看?哪些才是你要發問卷的對象,如何發問卷,才不會出現高概率拒絕——嚴格地說,如果一個問卷出現高概率拒絕,那麼這個問卷設計是失敗的且沒有意義的。

其次才是問卷語言怎麼設計,才會比較貼近被訪者的情況。

訪談最好分為兩個階段:

第一階段,小組訪談(Focus Group)

找十個左右各有特點的被訪者坐在一起,圍繞著你想理解的主題,大家進行閒聊。這種方式有助於快速全面的了解信息,但信息真假和權重是不明確的;

第二階段,深度訪談

找有典型意義的被訪者深度聊天,你可以把之前的了解的信息與這位被訪者共享,看他的態度和想法,一般做3-5個足矣。

以上只是建議,如果精力和財力不足,做一次小組訪談。但是訪談必須是要做的。

4.形成前期(定性)研究報告:提出假設

你需要根據你目前了解的定性材料(報告和訪談),做一個全面的剖析,提出假設,舉個開玩笑的假設,「因為情侶要經常打KISS,所以女性消費者最關心口香糖能否清除口氣」。你提出的假設是至關重要的,你的將來問卷設計將是圍繞這一假設而來。

5.將你的假設,轉變成一個公式,形成一個邏輯

還是以「金坷垃」牌口香糖市場調查為例,口香糖的銷量=性別+年齡+銷售場所+口味,翻譯成大白話就是,口香糖受性別,顧客年齡,銷售場所以及口味的影響。而你的假設內涵,舉個例子,則是:年輕女性對口香糖銷量貢獻較多,她們喜好在街邊購買,對口味也有自己的特殊要求。

6.圍繞假設,設置題目

有了前面的鋪墊,這個階段的題目設置倒不費心思。

至於如何撰寫題目和選項。這裡就不詳細展開。另外註明敏感隱私問題是可行的。只要你前期的工作考慮足夠周到。

根據上面的討論,我們的問卷自然而然會偏重去了解性別、年齡、銷售場所、口味選擇、銷售頻次和數量。我個人經驗,在這個環節,除以上領域外,最好能夠多設置一些問題,以了解其他方面,畢竟誰也不能保證我們提的假設就一定是準確無誤的,如果出了問題,還可以在一定程度上補救。

設計重複性的題目,能極大幫助你分辨哪些是胡亂填的,哪些不是。

這算是我自己的經驗總結,主要借鑑了一些心理學量表的做法。還是以口香糖為例:1.你喜歡什麼口味的口香糖,選項A、B、C;2.以下哪種味道的口香糖你最願意購買,選項A、B、C,注意兩道題之間的選項內容要打亂,比如上一題的A是下一題的C。

7.確定問捲髮放方式和發放量

「一門百發百中的大炮勝過一百門百發一中的大炮」,同理,一百份精確的具有代表性的問卷遠勝過隨意填答的上千份問卷。

在問卷領域,最關注的是「代表性」,而非數量。

國內很多媒體經常會用樣本數量來證明為自己調查結果是真實的。比如多少網友表示。這其實是錯誤,你的樣本再大,調查人數再多,如果是有偏頗的,那也是沒有意義的。比如一個村莊有老人和小孩。調查一萬個老人也絕沒有調查一百個老人和小孩來的更有意義,更反映現實。有興趣的可以看一下蓋洛普靠總統選舉預測發家的故事。

很遺憾,由於條件所限,一般商業問卷常常是街邊發放或者網上問卷,在統計學上都屬於非概率抽樣,其統計價值相對不高;如有可能最好採用概率抽樣,那樣你的結果將具有很大的實際價值。如何概率抽樣,很複雜,這裡處於行文長度考慮,暫且不表。

就企業和工作實際情況而言,如果是做問卷,儘量別搞路遇抽樣——隨意發放,起碼做整群抽樣,按被訪者類別發放問卷。一份包含15個問題的問卷,有效問卷,即沒有隨意填答且所有問題都回答的問卷,數量至少達到200份以上。

問卷設計的中期工作

1.試發放和修改階段

嘗試性的發放一些問卷,推薦是在100-200份左右。通過回收,分析答案填答情況,可以及時修正問卷的錯誤。如有效問卷回收過低,部分答案總是不填,剔除部分效力不高的題目等等。

2.發放和回收階段

這裡面又牽扯到網絡回收、防止調研員胡亂填答等等問題,這不屬於問卷設計,我就不細講。

問卷回收分析

1.數據分析

通過一些數據分析軟體,如SPSS、STATA等,分析數據。實在不行,用Excel也可以實現,只是複雜點,需要些寫一些公式。

首先,可能是我個人閱歷較少,做的問卷案例不夠多。實在沒有碰到過問卷設計,特別是封閉性問題設計,導致用統計軟體刨起來麻煩無比。我個人是SPSS、STATA兩個串聯著用。在做學生的階段,因為經常要刨美帝的人口數據,這些數據又是如此精確完善以至於可以用各種複雜的數據分析方法,所以用STATA會很多。恰恰是做商業課題,個人比較Low,一般只用SPSS,如果條件不具備,也用Excel刨數據。一方面是對方要求沒有那麼高深,SPSS最近幾個版本功能也強大很多(帝都大學社會學專業高級統計已經不再教授STATA);另一方面,就那點數據的質量(樣本來源和數量、定量化程度)實在不堪複雜的統計,刨當然也能刨,也能出一個漂亮結果來,但確實沒有什麼意義——因為並不符合這些統計方法的數據要求,越是複雜的統計方法對數據的要求是越高的。

其次,統計軟體是工具,是服務於問卷設計的,而不是問卷設計服務於工具,這是本與器的問題。如果實在嫌某個軟體易用,那就換一個吧。

2.形成研究報告

此時,展現在你上司面前,將不只是幾個餅圖,條形圖,而是包含一套關於問題的詳細描述的解決方案,而且是用數據詳細論證的方案。

題外話

說到這裡,相信很多人能理解,問卷設計還是一項需要一定腦力的工作,對人員專業素養也有一定的要求。。我在這裡只是展現了其中一小部分,這個過程中出錯的機率很大,能完成目標的問卷並不多,說句沒有數據驗證的話,市面上90%的調查問卷結果都是不合規範,只能當作一種意見或者聲音,而不能當作事實。

但很多企業,包括諮詢公司們,卻不這麼認為。已經見識了太多拿幾張紙,找幾個新兵,甚至是實習生(臨時工)拍著腦袋想問題,然後問卷隨意一發,最後算個眾數、平均數就了事的問卷調查了。許多問卷調查,與其說是去調查,不如說是製造數字來驗證自己大腦中已有的判斷。

原因有四:一是問卷設計實際操作門檻實在太低,找個人來編幾個問題就可以稱之為問卷,人為不可控影響太大;二是低門檻導致粗製濫造大行於世,反過來又導致很多企業管理層並不信任,拿我個人求職的慘痛經歷而言,每次我對著應聘的公司,有神有色地敘述在商業領域,問卷調查如何如何的不一般,應當如何如何做,換來的總是茫然,然後回一句你這個專業(本人社會學)和商業沒有關係吧,so你還是不適合做市場研究的崗位;三是按流程走問卷設計,實在過於費時費力,這又是那些靠做項目的諮詢同志們所不願意做的;四是真正了解並熟練操作問卷設計流程的人才並不多。以社會學,這門以問卷設計為核心的專業為例,如果一個本科生、碩士生乃至部分博士生不是一心向學,或者因領域偏好需要一心要做定性的話,說實在畢業的時候也不是十分的明白,我就見過部分教授們坦言不會刨數據,更有部分學人以此自豪。而且很痛心的是即使在學術領域,同仁們都在用國內調查資料庫,質量也是層次不齊,充滿著雲泥之別,起步晚缺乏歷時性數據,而往往是學術研究,對數據的質量要求又是最高的。當年學術小青年的我深感這裡水太深,到時數據有問題,論文結果做出來被呵呵了怎麼辦……所以,最後有時自己做點科研想自娛自樂,還只好刨美帝的調查數據,做美帝的研究問題,現在想起來還滿眼都是淚。

當然,數據也會說謊,統計也能非常安全地製造假象,但是這些問題和數據分析的真假以及有效性至少是可觀測的,在這一點是要比不可觀測的很大程度依靠「理解」的定性研究要優越。最後說明一下,個人既不是定量黨,也不是定性黨,是徹底實用主義,按研究內容來選方法才是準確之道吧。

來自:質化研究

 

相關焦點

  • 論文的調查問卷都是複製粘貼?大家的論文都是怎麼寫的?
    無論是應用於教育中的學術研究、論文需要,還是商業市場,問卷調查幾乎都能算得上是一種最常見的信息和數據收集方式。學生們在做論文調研時,用於學術研究的問卷,其真正目的是為了解科學和社會現象,為社會研究提供理論依據和有價值的學術參考,由此得出富有成果的學術研究論文。
  • 建立網絡倫理規範 構建文明網絡生態環境
    據報導,澳洲一名 14 歲少女因不堪多年的網絡欺凌,於2018年1月3日自殺身亡。這是一起典型的因網絡人身攻擊造成嚴重後果的極端案例,值得人們反思。2017 年下半年,中國網際網路信息中心(CNNIC)曾進行過一次專項調查,調查結果表明,70% 的調查問卷填寫者有時遭遇過網絡人身攻擊,20% 的填寫者很少遭遇過網絡人身攻擊,10% 的填寫者沒有遭遇過網絡人身攻擊。在網絡世界中,每個人都有發表看法的自由和權力,也不同程度地存在受到他人評論的可能。
  • 《英雄聯盟手遊》KDA女團問卷調查填什麼 KDA女團問卷調查問題一覽
    英雄聯盟手遊KDA女團問卷調查怎麼選?相信還有很多lol手遊玩家不知道如何完成KDA問卷任務,尤其是英語基礎較差的同學。下面是編編為大家整理的KDA問卷翻譯及選項介紹,大家都來圍觀吧!
  • 調查失業率統計方法科學規範
    從指標定義、調查內容、抽樣設計、調查方法等方面看,我國調查失業率統計方法科學規範,符合國際慣例,我國調查失業率數據可以全面、準確、及時地反映我國勞動力市場運行狀況,也具有國際可比性。國際勞工組織為規範世界各國勞動力市場統計,保證各國勞動力市場數據可以相互比較,制定了標準的就業、失業指標定義。
  • 問卷調查:如何判斷設置的問題是有效的?
    而在判斷設置的問題是否有效時,我們也常常從問卷的信度和效度入手。如何保障問卷的信度?問卷的信度是指一個問題可以得到所有調查對象的真實可靠的答案的程度。還是生活和工作中的問題都可以?……信度較低的問題往往會讓答題者產生困惑。
  • 問卷紅包 | 填掃黑除惡專項鬥爭調查問卷,抽現金紅包
    問卷紅包 | 填掃黑除惡專項鬥爭調查問卷,抽現金紅包 2020-11-27 17:00 來源:澎湃新聞·澎湃號·政務
  • 【投票】想強化的角色問卷調查
    將進行直播「周末的記憶重組in北九州」及日本版記憶重組3周年時公告的「想強化的角色問卷調查」。想強化的角色問卷調查在各稀有度的問卷調查中,投給喜歡的角色一票吧!!在各問卷調查裡投選喜歡的角色,我們之後將強化得票數前幾名的角色!!
  • Excel調查問卷:調研千萬種,問卷是一種!調研不做好,分析兩行淚!
    大家對調查問卷想必都不陌生,特別是最恐怖的一種調查問卷——考卷!周末帶兒子逛商城,碰到某英語培訓機構的市場調查促銷活動,這個英語培訓機構恰好是我已經種過草的,索性我就積極配合了她,只見她在手機上打開一個類似如下的調查表:另外,最近我參與到一個供應鏈協同雲平臺的項目中,需要針對這個平臺,在老客戶群裡做一些需求調研,所以要設計一份客戶需求調研問卷。那麼,我們要做這樣一份問卷,最關鍵的是什麼呢?
  • 設計調查問卷要注意四個問題
    ■ 田波    問卷調查作為基層統計調查工作中獲取信息的重要手段,廣泛應用於季度經濟信息要點調研、快速調研等。專業人員通過制定詳細周密的問卷,便可短時間內得到想要了解的真實信息。但在實際操作過程中,由於諸多因素影響,問卷調查結果很容易與真實情況發生偏差,影響調查結論,進而影響相應的決策。
  • 常州市關於大學校園安全問題調查問卷的結果反饋
    為了更好的了解大學校園安全知識,在2020年12月03日至2021年1月11日期間做了關於大學生校園安全問題的調查問卷。現將調查結果匯總如下: 一、調查結果 1、你的性別? 單選題 男佔 77.78% 女佔 22.22% 2、你所在的年級是?
  • 機電與汽車工程學院 疫情防控期間線上教學問卷調查分析報告
    為了進一步了解目前線上教學的現狀、面臨的困難和問題,以便於及時總結經驗,提高網上教學質量,學院於3月18日對全院學生分別發布了《天水師範學院機電與汽車工程學院疫情防控期間在線學習情況調查(學生版)》,現將問卷以及學生反饋的情況分析報告如下: 一、線上教學概況 截止目前
  • 詳細解析:「新產品」和「成熟產品」的調查問卷設計
    成熟產品:針對新產品的調查,主要是為了新的功能點是否得到了用戶的認可,如果有必要的話我們可以怎樣進行優化設計。 所以呢,這兩種情況下的調查問卷的設計自然就是不同的。新產品的調查問卷相對來說更具發散性,而成熟產品的調查問卷則更具有針對性。也正因如此,一份標準的統計信度高的調查問卷對於成熟產品來說則成為了一種可能性。
  • 關於參與網絡公共生活的狀態的調查——網絡暴力現象探究
    網絡暴力能對當事人造成名譽損害,而且它已經打破了道德底線,往往也伴隨著侵權行為和違法犯罪行為,亟待運用教育、道德約束、法律等手段進行規範。針對這個問題,我們設置了一組調查問卷[3],並對這些問題進行了簡要分析。第9題 您認為網絡暴力產生的原因是什麼 [多選題]從本問題得到的數據中可以看出,網絡的匿名性是最重要的原因。
  • 怎麼用超級文檔免費製作調查問卷
    製作一個問卷簡單,但是製作一個比較好的調查問卷,就需要稍微花一些精力,問卷調查一般包括前導語、問題、結束語等幾部分,再加上一個好的工具。問卷需要做到幾點,首先儘量把題目設置得更「接地氣」一些,儘可能使用一些簡單的詞彙,然後提問要具體些,儘量讓用戶做選擇題而不是回答題,這樣會讓用戶的填表更輕鬆。這裡推薦使用「超級文檔」來製作調查問卷,超級文檔是一個多人協作工具,支持豐富欄位的表單(還支持思維導圖、投票等)。
  • 中國最具幸福感城市推選調查問卷
    最具幸福感城市投票開始  投票有三種方式,截止到9月10日  本報訊(記者郭宏穎)由新華社《瞭望東方周刊》、中國市長協會、中國社會經濟調查所、幸福工程委員會等單位主辦的「中國最具幸福感城市推選活動」投票正式開始。通過手機簡訊投票、網上投票和問卷調查,將從全國35個候選城市中推選出10個「中國最具幸福感城市」,瀋陽是候選城市之一。
  • 企業問卷調查|關於海關應對新冠疫情系列措施實施情況的調查問卷
    為進一步評估和完善相關政策,增強下一步措施針對性,現就疫情以來海關各項穩外貿穩外資政策措施的實施效果情況開展調查。此問卷一共17題,請企業依照自身情況提供真實信息以保證調查質量。問卷調查結束時間為2020年7月20日。我們鄭重承諾,您所填寫的信息僅做評估研究使用,不用於其他任何目的,並保證不以任何方式對外披露貴企業填寫的具體信息。
  • 如園開展群眾安全滿意度調查問卷宣傳
    為了有效提高如園小區居民安全感滿意度,全面完成省統計局群眾安全感滿意度測評任務,保障群眾對綜治工作的知情權、參與權,今日上午,如園居委會在轄區內組織黨員志願者開展居民安全感和滿意度調查問卷宣傳活動。此次調查問卷宣傳活動緊緊圍繞治安熱點和居民群眾普遍關注的穩定問題進行。
  • 調查問卷
    一、河南省高等教育品牌影響力調查(可多選)    1.您在選擇高校的時候,更看重什麼?    ()()()()()()()()()()    6.2016年度十大創新創業典範院校:    ()()()()()()()()()()    7.2016年度十大科技創新人物:()()()()()()()()()()    8.2016年度河南高等教育突出貢獻人物:    (   )(  )    三、調查問卷填寫說明
  • 實用乾貨:如何製作一個「有效的用戶調查問卷」?
    其實,製作一個「有效的用戶調查問卷」就是很好的方式。 為何強調「有效的」這三個字? 因為現實中,很多人僅僅是會做調查問卷,但是做出來的調查結果是無效的。 這篇文章就來告訴你,如何製作一個有效的調查問卷。
  • 瞿靖鎮禁毒工作滿意度調查問卷活動
    11月27日上午,瞿靖鎮社區戒毒康復中心聯合派出所在集市上開展禁毒工作滿意度調查問卷,目的是為了更清楚的了解本鎮居民對毒品的知曉率和禁毒工作滿意度活動中,禁毒專幹進行逐戶問卷,主動與群眾進行交流溝通,了解禁毒工作中的短板和群眾對禁毒工作的意見和建議,力求全面真實反映群眾對禁毒工作的態度。