前言:問卷調研是一件有門檻的事
某一次開會,我讓團隊的其中一個同學就某一個問題去了解下用戶潛在的可能沒有被滿足的需求,該同學說,「好的,我們做個問卷調查「。
我有點崩潰。我想我應該找個時間好好跟大家講講:問卷調研是一門有門檻的學問,它不是一個隨手可以拿起的工具,做好一份問卷調研需要具備很多意識和能力。
這篇文章就是在我準備材料的過程中產生的。
問卷是獲取有效信息的一種工具,如果工具沒有被正確地使用,比沒有工具更可怕。工作幾年,見識了太多想幾個問題,然後把問卷一發,算個眾數和平均數,做個餅圖就結束的問卷調查了。甚至有一些時候,與其說是在做問卷調研,倒不如說是在尋找「用戶的聲音」來佐證自己的腦海中已有的想法。
我自己的感受,工作中問卷調研出來的結果大都無疾而終。原因有三:
一、前期的問卷設計考慮不周,導致收集回來的結果存在歧義不可用。這個問題相對容易發現。
二、問卷收集上來的數據沒有用合理的方式進行清洗,存在樣本偏差。發現這個問題要難一些,需要具備嚴格樣本控制的意識。
三、問卷分析的維度過於單一,信息挖掘不足,只能得到一些泛泛的信息,對工作的邊際價值很低。要解決這個問題最難,要求分析問卷的人同時具備業務思考和數據分析的能力。
下面從我的角度講講如何做好一份問卷調研。
問卷調研第一步:問卷設計
一份好的問卷必須具備基本條件:
一、要讓用戶,並且是所有的用戶都能夠以與你相同的方式理解問題。需要檢視問題中的每一個概念,確保沒有歧義。比如:「運動」是否包含「散步」?「月收入」是指稅前還是稅後、是否包含投資理財等其他收益?
二、確保用戶能夠回答你的問題。用戶可能因為不知道相關信息(你上周通過運動消耗了多少卡路裡?)、無法準確回憶起相關信息(你上個月有幾天沒吃早餐?)等原因而無法回答。
三、確保用戶願意回答你的問題。如果用戶不願意回答,他們可能隨便選擇一個答案來應付。如果涉及到比較敏感的問題,讓用戶知道為什麼你要問這個問題,並且讓他相信你會對此保密。
四、確保每個用戶都能找到適合自己實際情況的選項,並且避免誘導他們做出不符合實際情況的選擇。
除了這些必備的條件之外,我們在做問卷設計的時候還可以藏一點小心思。
每一個你認為重要的話題至少設置2個問題可以交叉佐證用戶的真實想法。有時候用戶對自己的想法沒有那麼堅定,在問卷中多設計幾個跟這個話題相關的問題,換一種問問題的方式,能讓你更精準地挖掘到用戶的真實訴求;
舉個例子,「以下幾種運動方式,您最喜歡那種?」,可以在問卷中再追加一個問題「運動方式1和運動方式2,你更喜歡哪一種?」
如果你調研的對象,本身已經是你的用戶了,那麼不妨讓其留下手機號或者其他你能在系統裡面定位到其身份的關鍵信息,你可以去看看他的數據表現。有時候,用戶告訴你的,和他實際行動的並不一致,尤其當其對平臺上有一些利益訴求的時候。
舉個例子:外賣小哥/網約車司機對平臺的反饋中,經常出現的情況是吐槽越多的人活躍度越高。這個時候,你應該花點時間關心下沒有吐槽但默默離開的那些人,在他們身上發生了什麼,這就是「警惕倖存者偏差」。
問卷調研第二步:問捲髮放
「一門百發百中的大炮勝過一百門百發一中的大炮」,同理,一百份精確的具有代表性的問卷遠勝過隨意填答的上千份問卷。
在問捲髮放過程能夠中,最關注的是「代表性」,而非數量。這裡你需要提到一個概念「概率抽樣」:概率抽樣是指在調查總體樣本中的每個單位都具有同等可能性被抽中的機會。
如果我們調研的目的是了解用戶的痛點,那麼總樣本中必須包含所有用戶,並通過隨機抽取的方式抽取調研樣本。舉一個在這方面做得沒有那麼好的例子:我所在的團隊,之前做過一個用戶NPS調研,選取的總樣本人群是「過去兩周有過完單行為的用戶」,這個總樣本選擇忽略了龐大的近期未完單的用戶。因此這個樣本是有偏頗的。
國內很多媒體經常會用樣本數量來證明為自己調查結果是真實的。比如多少網友表示。這其實是錯誤,你的樣本再大,調查人數再多,如果是有偏頗的,那也是沒有意義的。比如一個村莊有老人和小孩。調查一萬個老人也絕沒有調查一百個老人和小孩來的更有意義,更反映現實。有興趣的可以看一下蓋洛普靠總統選舉預測發家的故事。
問卷調研第三步:數據清洗
問卷收集回來了,第一件事要想做數據清洗。如果不做數據清洗,前面做的問卷設計和樣本選擇都可能功虧一簣。
先做「數據質量」的篩查,下面這幾種情況的數據不建議採納:
一、問卷漏答數過多的不宜採納:一般以漏答總題數的2/3為準,例如有10個問題卻漏答6題以上者即為無效問卷;或者規定漏答3項以上的,這個可以視具體情況而定。
二、填寫時間異常的不宜採納:填寫時間太長,被調查者可能中斷過,填寫時間太短;被調查者可能填寫隨意。這些都會影響統計分析誤差;
三、前後題目的回答矛盾的不宜採納:說明用戶的反饋置信度不高,會影響判斷。
在數據質量沒有問題的情況下,需要確保有效樣本的分布和總樣本的分布保持一致。
舉個例子:總樣本的年齡分布是1:1:3:3:1:1,如果做完上述清洗之後調研樣本的年齡分布是1:1:2:4:1:1,則需要剔除掉一些樣本,把有效樣本的年齡分布也調整1:1:3:3:1:1。
一個問卷的有效樣本數量控制在1000到2000份之間是比較合適的,如果做完上述清洗之後,有效樣本量不足1000份,建議追加調研樣本。
問卷調研第四步:數據分析
問卷數據分析有幾個常規的角度:
首先是「信效度分析」:這一步主要是看數據的可信度;
其次是「描述性統計」:常用的指標有平均值、中位數、眾數、方差、標準差等;
一般的問卷分析,到這裡就結束了,其實我們還能做一些更深入的分析,比如差異性分析、相關分析、回歸分析等,這個時候咱們就可以把用戶在系統內的真實行為數據放進來了。我自己的經驗,兩個變量之間的分析很難發現未知的信息,這時候就要引入第三種變量。多變量分析,結果就會有所不一樣。
最後,再推薦個做數據分析的工具:SPSS。很簡單,傻瓜式操作。
題外話
如果你的目的是通過問捲來定性調研,建議直接做用戶訪談,直面用戶直接感受,比通過冷冰冰的文字去探究一個陌生人的想法來得更有效。如果要做定量調研,建議周期性做,比如NPS。相比於NPS的分數,NPS的分數的周期性變化來得更有價值。
以上,希望問卷調研真的能幫你解決問題。