問卷調查法的應用

2021-01-07 人人都是產品經理

一、為何選擇問卷調查法

產品方對於此次用研項目提出的需求如下:

初看上去,需求比較多、比較雜,似乎無法用一個方法解決所有問題。經過反覆和產品方的溝通交流,就能挖掘出他們心中最希望了解的內容。再整理一下,就變成下面的表格:

最終結果除了要展示出網易XX用戶的上述情況,還涉及對調查對象的多種分類,以及不同類別用戶在具體題目上的橫向比較——這可能更為重要。

問卷調查法特別適用於調查:用戶的使用目的、使用行為習慣態度和觀點人口學信息;不適合探索用戶新的、模糊的需求。

所以,此次調研項目適宜於選擇問卷調查法作為主要方法(同時選用訪談法、運營數據作補充參考)。

二、問卷素材的來源和依據

1.二手資料(已有的理論、報告及行業資訊)

2.自己的使用體驗、競品分析

需要把自己培養成產品的深度用戶,並且還要堅持使用競爭產品。這樣有助於形成自己對產品的直覺和感性認識。

而競品分析能幫助自己對產品有更充分的理解,讓我們從感性認識中提煉出理性看法,同時確保能全面地細緻地審視(不會遺漏重要細節)。

3.對產品設計人員、普通用戶的簡單訪談

「三人行,必有吾師」,自學完了,再讓產品設計人員、普通用戶教你一些知識吧。

此時的訪談採用輕鬆聊天的形式(半結構式),訪談的對象也是方便取樣、就近選擇——目的不在於得出什麼結論,更多地是幫助自己進一步加深理解、窮盡多種可能性,為編寫問卷做準備。

而且對於產品設計人員的訪談,還能順便獲悉產品部門工作流程、組織架構、人員配置、可動用的資源等信息——看似無關緊要,其實能使我們最終調查報告的建議更有針對價值!

三、問卷細節

1.指示性說明

社會調查類的教科書裡通常要求我們寫上長長的一大段說明文字,但在網際網路上有多少人會認真看一大坨文字?看看《don’t make me think》作者如何做的:從103個單詞刪減到41個單詞(該書中文第二版,P34)!非必要信息不得出現在問卷的指示性說明中

需要提及的核心信息無非就這幾個:A.目的:幫助改進網易XX,也歡迎非網易用戶作答   B.時間:3-5分鐘  C. 匿名和保密  D.有獎:通過質量檢核的完整答卷可參與抽獎

2.題目編制思路

3.題目設置需注意的細節

1) 簡潔、明確:有時這兩者是個矛盾,但儘量做到平衡。

【例子】 您使用XX的歷史多久?——簡潔

您第一次使用XX是什麼時候?——簡潔、通俗

您第一次使用XX(不一定是目前最常用的這個)是什麼時候?——稍微犧牲了「簡潔」,但是更「明確」!

2) 態度中立、無誘導性

【例子】 您對目前常用的XX滿意嗎?

您對目前常用XX的滿意程度為?

4.選項設置需注意的細節

1) 選項互斥

【例子】 您平時上網較常瀏覽的內容為?

A.熱點/頭條新聞    B.娛樂八卦  C.時事政治   D.遊戲/動漫 ……

選項A原本是為了對應於「每天都會看新聞頭條、但對於內容領域沒有特別偏好」的這樣一部分人的行為;但A選項與後面選項存在著重疊,尤其A與C重疊的程度非常高。於是,刪除C選項,把A選項改為「時事新聞」。

2) 包含所有的可能

能否做到這一點,就反映出準備階段的工作是否充分。當懷疑選項設置可能不全時,可以再去找產品、設計、運營人員探討、核對。

此外,可以設置【其它________】選項,以確保用戶始終可以作出選擇;同時,選擇【其它_______】選項的比例高低也反映了選項設置是否全面。

3) 用戶易理解

【例子】詢問用戶使用的手機作業系統時,選項「iOS(iPhone)、symbian(塞班)」就比「iOS、symbian」更容易理解,雖然前一種表達貌似不倫不類。

4) 變量的測量類型

實際工作中,只大體區分為「類別變量」和「連續變量」兩大類。就統計測量層次上來說, 「連續變量」比「類別變量」級別高,包含信息豐富,也可以使用稍高級的統計方法。所以,可能的情況下,儘量讓選項「變為連續變量」。

【例子】 想了解用戶平時分享站外內容的情況,兩種選項設置(後一種更好):

A.分享    B.不分享

A.頻繁    B.經常    C.一般    D.很少    E.從不

5)  態度中立、無誘導性

【例子】選項「時事政治」改為「時事新聞」;「憤青」改為「熱衷點評時政的普通人」

6) 隨機順序呈現

若選項為事實性的、類別變量,而非按程度順序遞進的連續變量,那麼選項應該隨機順序呈現給答題者,這樣可以排除首尾選項或中間選項更易被選擇的傾向

5.避免反應心向

反應心向是指回答問卷的人具有一種比較固定的作答傾向。有時可能是有意識的:討好出題者;給別人留下好印象。有時可能是無意識的:習慣回答「是」、「同意」;社會讚許性——避免社會文化規範裡不贊同、或負面的評價;迴避、防衛敏感隱私問題或社會禁忌話題。

在線下、面對面、有獎品的答題環境下,更易發生有意識的反應心向的問題。在網際網路上、匿名的情況下,有意識的反應心向會減弱很多,無意識的反應心向也可以通過以下努力得到緩解。具體做法如下:

1) 指示性說明部分:強調匿名和保密;強調認真、如實回答才能參與抽獎。

2) 問卷中:非必要情況下,不要求用戶填寫收入狀況、手機號碼。即便確實是調查所需,也要說明緣由,且保留用戶自主決定是否回答的權利。

3) 問卷中:設計一些呼應的題目互相印證;並且可以適當採用反向計分的方式。

4) 數據分析時:涉及自家產品和別家產品的滿意度、好感度等這些態度評價的比較時,一定要小心得出結論(可能存在反應心向,用戶對自己產品的評價很好)。

6.建立不同問題、選項間的呼應

一方面,可以互相印證,提升問卷的信度(當然,沒必要僅僅為此而增加題量——得不償失)。另一方面,便於在統計分析時採用交叉分析/列聯表的方法——這會為你的調查報告在「豐富、準確、有價值」方面提升很多!

【例子】「選擇目前這家XX作為您最常用的XX的主要原因為?」、「您對目前最常用這個XX主要不滿之處為?」這兩個題目的結果可以用來互相印證

【例子】「您在XX上比較關心什麼類型的人?」「您在XX上感興趣的內容為?」這兩個題目可以用來做交叉分析能找出「人」和「內容」最典型、最具代表性的組合

7.題目的排序

總體的題目排序原則如上,有時也要考慮一些特殊情況,比如「接觸產品時間有先後關係、操作流程有特定的順序」,此時局部的題目則按「時間/流程先後」排序。

8.問卷題量

先看問卷法和量表法的區別:

可以這樣通俗地理解:量表是許多專家、花了大量精力在編制環節(工具本身的信效度很高);測試時需要的樣本量稍小一些,就能達到研究目的。問卷原本就需要大量代表性的樣本才能實現目的,況且問卷本身的信效度還欠佳,更需要大量樣本了。

為了得到大量的樣本,且希望數據質量較高,問卷本身就會受到限制——題量要偏少。實際工作中,將問卷總題目數控制在25題之內,平均答題時間不超過300秒(事後統計)。

四、預測試

經過了這麼細緻和長久的準備,似乎不會再有問題,迫不及待地想要投放問卷了。且慢!智者千慮,必有一失。此時應該再找一些產品/設計人員、普通用戶來預測試一下(方便取樣、最好找之前沒有參與過討論的人)。依據個人經驗,這個環節還是能檢查出一些遺漏問題的。

【例子】問卷中的一題:「您在XX上查找他人的方式為?」自我感覺選項中已經列舉了各種常用方式,一位互動設計師在預測試時問我:為何沒有「直接搜索找人」選項?原來我忽略了這個最直接、原始的查找方式。

五、問卷投放

除了問卷本身的質量,直接影響調查成敗的因素就是樣本質量(實際也就是問卷投放策略的考慮)。順便總結一下,量表調查法最重要的是工具本身(量表的質量、常模指標)和高級統計方法實驗法最重要的是控制和操控(對無關變量的控制、對自變量的操控);而問卷調查法最重要的是樣本(樣本量足夠大,且具有代表性)。想要樣本量大,就儘可能多地動用投放渠道,當然還有些投放小技巧(越處於操作流程結束後、入口文案的排版越獨立,反饋問卷的打開率越高,詳見taobao UED渡劫的《賣家反饋的影響因素的量化研究》)。

這邊著重談一下樣本代表性的問題。首先得承認,網上投放問卷不是完全隨機抽樣,我們無法苛求調查對象的各種特徵完全匹配現實生活中的總體,但是,我們要儘可能爭取覆蓋到不同類別用戶群,以具有更大代表性。

【例子】此次調查,我們除了想知道網易XX用戶的情況,我們還希望能夠了解新浪、騰訊、其它XX用戶的情況。為此,我們做了以下努力:

1)  除了在網易門戶投放問卷,我們希望儘可能擴大站外投放渠道比例,比如:全國各大論壇、一些搜尋引擎頁面、視頻網站頁面等,甚至最好能投放到其它門戶網站(當然實際上不可能花這麼多代價)。

2) 當推廣和市場部門的同事希望問卷的點擊圖片包含「網易XX」的字眼(可順便起到廣告宣傳的作用)。對此,我堅決反對,因為這樣無疑會嚴重影響「新浪、騰訊、其它XX用戶」的點擊。

3) 在論壇投放問卷連結,市場的同事採用軟文帖的形式,大意是「目前XX產品很火,大家可以去通過此問卷能了解XX產品」,寫得幽默風趣、激發看帖人的好奇心。有同事不認可這種做法,認為不符合問卷指示說明的規範,可能會對用戶作答產生影響。但我個人反而認為這是個比較好的技巧。首先,在工作中是不可能完美地遵循到所有的原則,一定要有「主要矛盾、和矛盾的主要方面」的辯證思維方式,必要的時候須權衡利弊綜合考慮。比如,此時我們最重要的目標是一定要覆蓋到「新浪、騰訊、其它XX的用戶群」,且數量還不能少。其次,看那種帖的時候,用戶是採用的「掃描」而非「仔細閱讀」的方式,頂多動用的是瞬時記憶,等跳轉了頁面、再閱讀正式的問卷指示說明及填寫問卷時,之前的瞬時記憶的影響很小。第三,問卷中讓用戶表達直接態度的題目較少,更多地是事實性的問題,這些問題本身難以受到誘導出現系統性的偏差。第四,我們整理數據時,還有一系列事後的數據檢核手段。

4) 設置自動的隱含題目,能區分來自各投放渠道的樣本量(尤其是區分網易站內、站外)。

六、數據整理

通常數據的檢核需刪除不完整答卷、多選題全選的答卷、邏輯矛盾的答卷;準確且豐富的篩查手段有助於進一步提高數據的質量(這一步可以在excel或者SPSS上完成)。

另外,還需要根據「答題時長」來篩除問卷(太短反映了不認真,太長反映了答題時受外界幹擾較多)。採用SPPS中箱形圖的分析,可以清楚地看到「答題時長」這個指標上的偏離值和極端值,及它們對映的問卷ID編號,這樣就能很方便地刪除了。

七、統計分析

問卷調查法因為變量的測量類型限制,可用的統計方法比較低級,描述性統計居多,有時會用到交叉分析、卡方檢驗(偶爾還可以用到相關分析、方差分析)。回過頭來,再次說明問卷編制階段就要考慮好可能用到的統計方法、以及如何儘可能地讓選項設置為連續型的變量。

這個環節雖不像前面的環節直接關係調查的成敗(因為有反覆嘗試的機會),但若能夠合理且充分地利用統計技術,將會給最終報告的價值帶來很大的提升。這與用研人員的專業素養有很大關係,需長期不斷努力才能提升,此處不細談。

八、總結

看似簡單的問卷調查,要能做好且讓它發揮最大價值,確實有很多細緻的、值得推敲之處。一次用研項目(不管是不是問卷調查法),前期的準備和計劃都非常重要,磨刀不誤砍柴工!

說明:出於對公司產品保密的考慮,隱去有關信息。

相關焦點

  • 問卷法在教育課題中的應用
    一、問卷法問卷(Questionnaires)是指對所有的抽樣對象提出若干個同樣問題的書面調查材料。一般而言,問卷調查的主要有兩類內容,一是態度,即對某個主題的看法;二是行為,即關於某個主題的行為。問卷法適合於以下情況:當需要調查的樣本分布的範圍比較廣時需要使用問卷法,郵寄問卷可以避免大量費用的浪費;當調查的數據是標準化數據時適合使用問卷法;當被試非常容易理解研究者提出的問題而不需要研究者過分地講解時適合使用問卷法。
  • 市場研究工具之問卷調查
    是否採用問卷法作為研究工具,應考量是否能順利達成研究目標以及注意研究樣本在問卷上的配合度,另外,問卷調查也有其優缺點,檢視其特性配合研究主題,方能達成其目標。
  • 數據收集中訪談法與問卷調查法分別要怎麼做?
    訪談法所謂訪談法就是通過單獨訪談、小組訪談、電話訪談等,從工作場所的工作人員,以及各種方式與組織產生聯繫的相關人員處直接獲取信息。這種方法,要求分析人員要具備較高的訪談技巧,並高度投入。在工作場所對員工進行訪談,雖然要花費很長的時間,但效果都不錯。通過這種訪談,可以發現組織、流程、團隊及個人工作崗位上究竟發生了什麼。
  • 調查問卷的主要類型
    在上篇推文《調查研究法之——問卷調查》中,向大家分享了調查問卷的定義、特點和優缺點,今天我們來繼續了解調查問卷的主要類型。 在實際社會調查中,由於不同的研究者有著不同的調查目的、調查內容、調查方式和使用場景,因此,我們所採用的問卷類型也不完全相同。
  • 論文的調查問卷查重嗎?
    調查問卷在論文中一般是作為論文附錄內容的其中一部分,在論文寫作之前,首先需要確定論文的課題研究方向,通常是會通過一些研究方法來進行對應理論的探究和驗證,而其中運用問卷調查法就比較常見。那麼,論文的調查問卷查重嗎?
  • 問卷調查應該怎麼做?很多人一開始就做錯了……
    這兩類的問卷在設計程序、設計原則、內容與結構等方面相似,只是在設計與使用方法上有區別。一般情況下,企業的市場調查廣泛應用自填式,訪問式則被學術研究偏好使用。根據開放式問題與封閉式問題的不同特點,研究人員常常把他們用於不同的調查中。比如在探索性調查中,常常用開放式問題構成的問卷;而在大規模的正式調查中,比如市場調研,則主要採用以封閉式問題構成的問卷。
  • 社會調查問卷格式和調查方法
    什麼是問卷調查問卷調查就是根據調查研究的成果寫出來的正確反映客觀事物及其規律,一個研究者想通過社會調查來研究一個現象時點擊此處添加圖片說明(比如什麼因素影響顧客滿意度),他可以用問卷調查收集數據,也可以用訪談或其它方式收集數據。
  • 這裡有一份人臉識別應用安全調查問卷,期待您的參與!
    來源:21世紀經濟報導導讀:希望通過本次問卷調查活動,了解廣大網友關於人臉識別應用安全方面的觀點和建議,非常期待您的作答和回復。你會主動使用人臉識別嗎?你覺得人臉識別好用嗎?你擔心人臉識別可能帶來隱私風險嗎?
  • 除了問卷星,設計調查問卷你還需要知道這些(下)
    封城的第50天,是植樹節,繼續分享調查問卷的相關知識。問卷設計的基本流程為準備,明確所需信息、調查目的和調查主要內容,確定調查方法、問卷類型;設計問題形式、措辭與順序、備選答案、版面格式;評估,預測試,問卷星有這個功能;定稿,發放。
  • 問卷調查全流程:如何做好一次問卷調查?
    問卷調查作為收集信息和意見的重要手段,在日常工作和學習中非常普遍。在小學時,雖然不懂問卷調查是什麼,但一定填過「心理健康調查表」、「老師滿意度調查表」等表格。等慢慢長大了,我們從問卷的填寫者,變成了問卷的設計者。最典型的莫過於每年肝論文的時節,為了畢業論文統計數據,朋友圈、QQ空間以及各大聊天群中一定會出現「跪求填寫畢業問卷」的呼聲。當然,這些問卷都是簡單的收集數據。
  • 調查黨必備:哪些問卷調查軟體免費又好用?
    簡道云:目前在用的一款軟體,退可做問卷調查,進可做團隊管理應用;優點是功能非常強大,數據搜集和報表分析很棒,裡面各種各樣的公式、流程學會了感覺可以橫著走;缺點是無法更換問卷背景。  經常用的是以上這幾個,還有一些有體驗過/大概了解過的可用於問卷調查的軟體還有(可自行體驗):    輕流:應用表單|流程引擎|數據管理|團隊協作    久其格格:自由定製|多人編輯|數據錄入|垂直管理|    申請通:項目建表|申請審批|問卷調查    班牛:自主搭建|多人編輯
  • 問卷調查全部完成~問卷審核全部完成~
    自第四期中國婦女社會地位調查工作開展以來,海南省婦聯根據全國婦聯、國家統計局有關文件要求,同步開展入戶調查、問卷審核和入戶回訪工作,嚴密部署抽樣、精心安排入戶、嚴謹客觀審核,以高度的政治責任感和使命感對待此次調查任務。
  • 2020網民網絡安全感滿意度調查線上問捲來了!
    為切實落實《網絡安全法》及相關法規,關注網民網上心態及情緒,貼近網情民意,積極探索網絡社會治理規律,不斷提升人民群眾的安全感、獲得感和幸福感。2020年全國網民網絡安全感滿意度調查活動由公安部網絡安全保衛局指導,全國135家網絡社會組織聯合發起。
  • 調查問卷使用說明書,問卷就要這麼設計!
    提到調查問卷,不知它在大家心裡的地位如何?其實我們工作中,需要用到它的場景還很多:比如推出一款新產品,我們會做一個市場調研,探探市場;對已運營中的產品進行更新迭代,我們會通過用戶調研了解對方的真正需求…可以說,有了調查問卷的結果做支撐,行動時才更有理有據,而不是靠猜。
  • 小白學調查:問卷設計的基本流程
    我們首先要明確自己在調查中想要了解什麼。這時候要注意,我們想要了解的問題一定是具體的問題。以諸如我們想了解「新型冠狀病毒疫情下的中國社會」的主題為例,這樣一個寬泛的主題會讓問卷設計無從做起。只有研究問題足夠具體時,將主題設為我們關心「新型冠狀病毒肺炎疫情對中國人的心理健康(或是諸如企業運營、家庭關係等方面)的影響」——這時候我們的問卷設計才能聚焦到我們想要測量的概念與變量。
  • 柯尼卡美能達DTCC現場調查問卷
    【問卷調查】 尊敬的觀展嘉賓您好。在今年的DTCC大會「柯尼卡美能達」展臺上,相信您一定已經感受過了柯尼卡美能達先進文印管理解決方案的魅力。希望您能夠了解的是,這僅僅是柯尼卡美能達推出的眾多的文印管理解決方案的一少部分。
  • 調查問卷怎麼問?13種問句類型讓你看清那個「它」!
    調查問卷是收集一手資料最常用的工具。但是不同的提問方式卻會對問卷結果產生很大的影響。所以對問句的格式、詞序和問句的順序進行調整是很有必要的。接下來我們就一起來看看不同的問句類型都有哪些吧!回答:□沒有□伴侶□孩子□朋友□親戚□旅遊團□其他3、李克特量表(Likert scale )調查受訪者同意或不同意我們說的話。比如:瑞幸咖啡比星巴克咖啡好喝。回答:□非常不同意□不同意□沒意見□同意□非常同意4、語義差別量表在兩個極端之間描述詞語,讓受訪者選擇。
  • 【問卷調查】關於2019年度延安市新型智慧城市建設評價問卷調查
    【問卷調查】關於2019年度延安市新型智慧城市建設評價問卷調查 2020-05-21 04:15 來源:澎湃新聞·澎湃號·政務
  • 兼職問卷調查二三事
    想必大家都有在大街上被人請求幫忙做份調查的時候吧,有時還會有些小禮品贈送。那大家是否有想以問卷調查作為一份兼職呢? 問卷調查是一部分商家以問卷的形式向被調查者了解情況或諮詢意見的調查方式。
  • Excel調查問卷:調研千萬種,問卷是一種!調研不做好,分析兩行淚!
    大家對調查問卷想必都不陌生,特別是最恐怖的一種調查問卷——考卷!周末帶兒子逛商城,碰到某英語培訓機構的市場調查促銷活動,這個英語培訓機構恰好是我已經種過草的,索性我就積極配合了她,只見她在手機上打開一個類似如下的調查表:另外,最近我參與到一個供應鏈協同雲平臺的項目中,需要針對這個平臺,在老客戶群裡做一些需求調研,所以要設計一份客戶需求調研問卷。那麼,我們要做這樣一份問卷,最關鍵的是什麼呢?