想要做好用戶調研,你要學會這九種定量用戶研究的方法

2021-01-10 人人都是產品經理

當你需要關於自己產品的用戶體驗數據時,然而,你卻不知道從哪裡獲取?那麼首先,你需要選擇正確的研究方法。接下來,我們來看看這些當下最流行的定量研究方法。

許多用戶體驗專家傾向於採用定性的研究方法,原因在於他們認為:定性的研究方法要比定量的研究方法更容易操作和節約成本。其實,他們忽略了與定量分析聯繫緊密的大樣本量以及數據統計的巨大前景。

如果你也是這樣認為的,那你也就錯了!定量的研究方法是任何有經驗的UX研究人員必須掌握的重要技能。定量用戶研究的方法允許你做以下事情:

用一個數值來表示你產品的可用性。數值有時比質量檢測的結果和視頻更有說服力(特別是當你試圖說服像高管這樣的人)時。比較不同的設計(比如,你的產品的新舊版本,或者是你的產品與競爭對手的產品相比),並且確定你觀察到的差異是否具有統計學意義,而不是隨機的。改進用戶體驗權衡決策。比如,如果預期的設計改進成本很高,那麼它值得做嗎?如果你已經想到這種改變會提高可用性,那麼定量研究方法可以幫助你驗證重新設計是否值得。將用戶體驗的改進與企業目標以及關鍵績效指標結合起來(從而證明你的投資回報並且證明你的用戶體驗團隊存在的價值)。

這篇文章可以讓你清楚的知道,用戶研究的第一步是:確定要使用哪種定量的研究方法。接下來,我們將會給大家介紹一些當下最流行的定量研究方法:

定量可用性測試(基本測試)網站分析(或APP分析)A/B測試或者多變量測試卡片分類法樹狀測試調研或者問卷調查聚類定性評價滿意度調研眼動測試

以上每種方法都會產生有價值的定量數據,但是這些方法在收集的數據類型以及所需的資源和工作量方面差別很大。

一、九種定量用戶研究方法概述

本文列出了這些方法最常見的示例,並對每種方法的成本和難度進行了評估。與其它任何研究方法一樣,這些方法中的每一種都可以適用各種不同的需求。

根據具體情況,你的成本和困難可能與我們的粗略估計有所不同。此外,你應該意識到,這些方法中的每一種都需要不同的最小樣本量來確定統計的意義。

1.定量可用性測試(基本測試):

用途:隨著時間的推移跟蹤可用性;與競爭對手比較。成本:中等收集難度:中等分析難度:中等方法類型:行為(用戶做了什麼?)使用的情境:基於任務

儘管不常用,但是,定量可用性測試(有時也稱為可用性基準測試)與定性可用性測試其實非常相似:兩種方法都要求用戶使用產品去執行實際的任務。兩者的主要區別在於:定性可用性測試優先考慮如何觀察用戶行為,比如,識別可用性問題。相比之下,定量可用性測試的重點則是收集數據指標,比如任務時間或者成功率。

一旦你收集了相對較大的樣本量(大約35個或者更多),你就可以使用它們來跟蹤產品的可用性,或者將其與競爭對手產品的可用性進行比較。

如果在產品的迭代過程中,你一直追蹤著一些產品的可用性指標,那麼你就可以創建一張類似這樣的趨勢圖。這種類型的信息可以幫助你持續關注產品的用戶體驗,並確保它隨著時間的推移而逐步改進。

你所選擇的可用性測試的類型(現場測試、遠程引導測試或遠程無引導測試)將對成本產生影響,並且難以與此方法相關聯。由於定量和定性可用性研究的目標不同,測試的結構和進行的任務也需要有所不同。

2.網站分析(或者APP分析):

用途:發現問題或確定問題的輕重緩急;監測性能。成本:低收集難度:低分析難度:高方法類型:行為(用戶做了什麼?)使用情境:現場

分析數據,描述了用戶使用線上產品的各種操作行為,比如,他們去了哪裡,點擊了什麼,使用了什麼功能,他們從哪裡來以及到哪裡去。這些信息可以幫助你做各種各樣的用戶體驗活動。特別是,它可以幫助你監測各種內容、UI或產品功能,並識別哪些不能正常運行。

3.A/B測試或者多變量測試:

用途:對比兩種設計方案成本:低收集難度:低分析難度:低方法類型:行為(用戶做了什麼?)使用情境:現場

雖然,你可以使用分析指標來監控產品的性能(如上所述),但你也可以創建一些實驗,來檢測不同的UI設計,然後,通過A/B測試或多變量測試來改變這些指標。

在A/B測試中,團隊需要創建同一界面的兩個不同的最新版本,然後將每個版本展示給不同的用戶,用來確定哪個版本的性能更好。

例如,你可以創建同一個操作按鈕標籤的兩個版本:「獲得定價」或「學習更多」。然後,你就可以跟蹤統計兩個版本中按鈕的點擊次數。多變量測試的操作方式也是類似的,但是,它與A/B測試不同的是:多變量測試需要同時測試多個不同的設計元素(例如,測試可能涉及不同的按鈕標籤、排版和頁面上的位置)。

這兩個基於分析的實驗,對於決定同一個設計的不同變體非常有用,並且可以結束團隊關於哪個版本最好的爭論。

A/B測試是將網站流量(用戶)拆分為兩部分:一部分導入到A方案,另一部分則導入到B方案。

這種方法的一個主要缺點是:它經常會被濫用。有些團隊沒有儘可能長時間地運行測試,收集不到足夠的樣本,就匆忙的下了結論,這樣的結論往往失敗的風險很大。

4.卡片分類法:

用途:確定信息架構的標籤和結構成本:低收集難度:低分析難度:中方法類型:態度(用戶說了什麼?)使用情境:不使用產品

在卡片分類研究中,參與者會拿到一些內容項(有時是寫在索引卡上的),並要求以一種對他們有意義的方式對這些項目進行分組和標註。這個測試既可以親自進行,也可以使用物理卡片或者使用類似於OptimalSort這樣的卡片排序平臺進行遠程測試。

當卡片排序測試是親自進行時,用戶對物理卡片進行排序和分類,每張卡片都包含了它所代表的內容的描述。

這個方法可以讓你有機會了解用戶的心理模型。他們使用什麼術語?他們是如何將這些概念組合在一起的?

對創建類似分組的參與者的百分比進行定量分析,可以幫助確定哪種分類方法對大多數用戶來說是可以理解的。

5.樹狀測試:

用途:評估信息架構的層次結構成本:低收集難度:低分析難度:中方法類型:行為(用戶做了什麼?)使用情境:基於任務而不是使用產品

在樹狀測試中,會讓參與者嘗試使用網站的分類結構來完成任務。這種方法本質上是一種評估界面信息架構的方法,通過這種方法可以將界面上的其它信息區分開來。

例如,假設你的產品是一個寵物用品網站,而這是它頂層的層次結構。

網站信息層次結構的顯示可能看起來是這樣的,樹狀測試要求參與者在這樣的層次結構中找到一個特定的條目(例如,項圈),他們首先看到的只是頂層的分類(例如,狗狗、貓咪、小鳥等)。一旦他們做出一個選擇(例如,狗狗),就會看到自己選擇相應選項的子類別。

你可以要求你的參與者在一個任務中找到狗項圈。對樹狀測試結果的定量分析將顯示人們是否能夠在信息層次結構中找到該項的正確路徑,以及可以確定有多少參與者選擇了錯誤的類別。

這種方法有助於確定界面信息架構的結構、文案以及放置的位置是否符合用戶的心理預期。

6.調研或者問卷調查:

用途:收集調研用戶的態度和行為信息成本:低收集難度:低分析難度:低方法類型:態度(用戶說了什麼)使用情境:任何

問卷調查是一種靈活的用戶研究工具。你可以在不同的環境中進行測試,比如,在一個實時網站、電子郵件或可用性測試之後進行簡短的攔截調查。

調研時可以同時獲得定量和定性的數據,比如評分、多項選擇題中的答案的比例,再加上開放式問題的答案。你甚至可以把對調查的定性回答轉化為數字數據(參見下面的代碼質量評論部分)。

像這樣的語義差別等級量表,每個單選按鈕代表一個數值。被調研的用戶可以選擇:1.容易使用;5.難以使用;或選擇介於兩者之間的選項。對這個問題的平均回答來衡量你的應用程式在使用上的難易程度。

你可以創建自己的自定義問卷,也可以使用其它已經建好的問卷模版(例如,系統可用性量表或網絡推廣者評分)。

問卷的一個優點是:可以經常將你的調研結果與行業或競爭者的分數進行比較,看看你做得怎麼樣。即使你創建了自己的自定義問卷,也可以隨時間的推移對自己產品平均分數進行追蹤,來監控產品的改進情況。

7.聚類定性評價:

用途:確定定性數據中的重要主題成本:低分析難度:中收集難度:中分析類型:態度(用戶說了什麼?)使用情境:任何

這種技術不是數據收集的方法,而是定性數據的分析方法,它包括根據共同主題對定性研究(例如日記研究、調查、焦點小組或訪談)的觀察結果進行分組。如果你進行了大量的觀察,你就可以計算出一個特定主題被提及的實際數量。

例如,假設你做了一個日記本研究,讓參與者在他們的日常生活中,每周都要報告他們使用產品的時間,目的是理解他們使用產品的背景,你可以算一下用戶在工作、家中或外出的時候使用產品的比例。

這種方法可以識別特定主題或情況的流行程度或頻率,例如,用戶抱怨的頻率或UI問題。

這種方法可以很好地從大量的定性信息中挖掘數值數據,但它可能耗時會非常長。

8.滿意度調研:

用途:確定與你的產品或品牌相關的屬性成本:低分析難度:低收集難度:低分析類型:態度(用戶說了什麼?)使用情境:基於任務

定量可用性測試試圖使用量化的方式來衡量產品的質量,比如:審美情趣、品牌實力、語氣等。這些研究可以根據你的研究問題進行定製,但這些方法通常會首先讓參與者接觸到產品(通過向他們展示靜態圖片或者要求他們使用現場產品或原型)。然後,要求用戶通過從描述性的詞語列表中選擇一個來描述當前設計。

如果你獲取自身目標用戶的樣本量足夠大,那麼整體趨勢就會顯示出來。例如,你可能會有84%的受訪者將此設計描述為「最新」。

9.眼動研究:

用途:確定哪些UI元素是分散注意力的、可發現的或可找到的成本:高分析難度:高收集難度:高分析類型:行為(用戶做了什麼?)使用情境:基於任務

眼球追蹤研究需要特殊設備來追蹤用戶的眼睛注意力軌跡,因為他們在界面間移動。當許多參與者(30個或更多)在同一個界面上執行相同的任務時,有意義的趨勢就會出現,你可以清楚地看出頁面的哪些元素會吸引用戶的注意力。

眼動跟蹤可以幫助你確定哪些界面和內容元素需要強調或者弱化,從而使用戶能夠輕鬆的實現他們的目標。

眼球追蹤軟體可以使用聚合的凝視數據(用戶在這裡查看界面,用綠點表示)來創建各種可視化效果。

進行眼球追蹤研究的一個主要障礙是高度專業化、價格昂貴和不穩定的設備,這些設備需要大量的培訓才能使用。

二、選擇一種方法(九種方法概況表)

上表提供了上面討論的研究方法的概況。

三、從你的研究問題開始

1.當你要確定使用哪種定量研究的方法時:

首先,你得先確定你要研究的問題:你想知道什麼?以上方法中有一些非常適合一般性的研究問題。例如:

我們產品的可用性是如何隨著時間變化的?和競爭對手相比,我們做得怎麼樣?我們的哪些問題對於產品的影響最大?我們該如何確定其優先級?

對於這些類型的問題,你可能需要使用:定量的可用性測試、web分析或調查問卷。

2.當你有一個想要回答的具體問題時:

以上方法中也會有好的方法來研究以下這些問題。例如:

我們應該如何調整我們的全球導航分類?我們的大多數用戶怎麼看待我們的視覺設計?在dashboard中,我們應該使用這兩種設計方案中的哪一種呢?

對於這些研究問題,你可能需要使用:A/B測試,卡片分類,樹狀測試,編碼定性評論法,滿意度調研,或眼球追蹤。

然而,在這些建議的方法中有一些不可控的因素。例如,由於安全或者技術原因,你的公司可能不會選擇A/B測試的方法。如果是這樣的話,你能做的就是發起一個面對面的可用性研究來對比兩個原型。

然而,這並不是定量可用性測試的典型應用,所以我在這裡就不討論它了。

四、考慮研究成本

在研究問題之後,選擇研究方法的第二大影響因素是成本。這些方法在成本上的差異很大程度上取決於你如何實現該研究。你使用的工具,要求的參與者數量,以及研究人員花費的時間都將影響最終的成本。

更複雜的是,許多團隊的研究預算也有很大差異。再者,這裡的成本估計是相對的。

預算相對較低的團隊可能需要依靠數據收集分析的方法,比如,使用遠程可用性測試、在線卡片排序平臺(如OptimalSort)、A/B測試以及網站分析(或APP分析)的方法。根據經驗,面對面的方法(比如面對面的可用性測試,面對面的卡片排序)往往成本比較高,因為它們需要很多的研究人員和時間成本。此外,他們還要求外出和租賃專業設備。

眼動測試應該是這裡列出的最昂貴的方法了,只有那些擁有大量預算和專門的用研團隊才會使用它。

這張圖顯示了本文中討論的定量研究方法的位置,即它們適合於研究問題(一般到特定)的不同維度級別。

五、總結

一旦你選擇了一個方法,就要去了解和學習!結束之後,確保你能夠按照你想要的方式和計劃進行研究,並保證能得到對自身有用的結果。

要注意的是:你不能只收集數據指標,不做任何統計分析就開始做決定。僅僅收集5個用戶的評級響應是不夠的,要取一個平均值,然後再繼續。

對於這裡討論的每種方法,都有不同的建議最小樣本量。為了獲得可靠的數據和確定統計的意義,你可能需要收集數據點的數量需要達到最小樣本量才行。如果不這樣做,就不能保證你的發現或者結論是正確的。

不管你使用哪種方法,一定要把握好需要你研究相關統計學概念的時間,以及獲取正確的最小樣本量的成本。你要相信,這並不像表面看起來那麼困難,而你最終獲取的定量數據一定是有價值的。

原文作者:Kate Meyer

原文連結:s/quantitative-user-research-methods/

譯文校對:不器

#專欄作家#

熊貓小生,,人人都是產品經理專欄作家。高級互動設計師,UED負責人。關注網際網路C端產品設計相關,擅長移動端產品互動設計,前沿設計風格探索,設計流程優化和管理,歡迎交流~

本文翻譯發布於人人都是產品經理。未經許可,禁止轉載。

題圖由譯者提供

相關焦點

  • 假定你不是賈伯斯,怎麼做好用戶調研呢?
    在做調研之前,你首先要做的是確定調研問題方向和關鍵假設,然後通過用戶採訪來佐證,或者推翻。事實上很多企業管理諮詢公司就是用這個方法,業內稱為hypothesis-driven approach。除了利益相關方這樣的分類方法,你也可以想想潛在用戶的細分。比如如果你要做一個筆記類的功能型App, 你的潛在用戶是誰?大學生?工作者?這些就終端用戶細分。如果你是要針對大學生這個終端用戶的,那在銷售的時候是直接銷售給學生,還是銷售給學校IT部門,還是銷售給學生家長?這就是相關利益方的細分。這些你在做用戶調研的時候最好都要去想到。
  • 產品用戶使用調研的三種最有效方法!
    對目標用戶開展系統的產品調研,也是直接獲取用戶反饋的一種直接、有效的方法。在大公司,產品調研的工作是以用戶調研人員為主導,產品經理和產品運營人員配合的形式進行的;在小公司,這項工作則通常由產品經理和產品運營人員自主完成。
  • 用戶研究方法大全
    編輯導語:在用戶研究方面,用戶研究對於工作是非常重要的,因為產品最終是服務於用戶,所以用戶的需求以及痛點等是最為重要的;本文作者分享了關於用戶研究的方法,我們一起來學習一下。一、什麼是用戶研究?用戶研究是用戶中心的設計流程中的第一步。它是一種理解用戶,將他們的目標、需求與您的商業宗旨相匹配的理想方法,能夠幫助企業定義產品的目標用戶群。
  • 案例分析:手機QQ音樂播放器流失用戶研究
    (確定樣本)→怎麼研究?(全面找出流失原因)→調研結果適用於所有流失用戶嗎?(定量驗證)→哪些結果比較重要?(確定優先級)→怎麼改進產品?(提出建議)。下面針對每個階段仔細說一下。1.做手機QQ音樂播放器流失用戶研究時,由於無法提取用戶QQ號碼,只能將範圍縮小到symbian和java平臺(當時手機QQ音樂播放器只有這兩個平臺版本),因此提取這兩個平臺用戶的QQ號碼進行問卷調研,通過問卷中的甄別問題逐步縮小範圍,找到我們想要的研究樣本。
  • 產品經理與用戶的關係,是我懂你
    1.研究環境面臨的機遇和挑戰① 案頭資源做產品之前要做很多研究,包括研究競爭對手,案頭研究(筆記俠註:也稱案頭調研,是市場調研術語,對已經存在並已為某種目的而收集起來的信息進行的調研活動)。目前案頭資源的類型和渠道都很豐富,但是現在網際網路信息並非都是真實可靠的。
  • 實例解析:如何藉助共情力為用戶研究「降噪」?
    用戶參與調研的動機站在用戶的角度想一想:我為什麼來參加調研?如果用戶的動機可能對其態度產生負面影響(如純粹薅羊毛、探聽競品情報等),那就需要考慮放棄這個樣本。在定性調研中,一般可以在用戶篩選階段完成這一操作,結合用戶的背景和表達,判斷其動機;定量調研相對較難控制,可以設置一些篩選條件,比如在問卷中設置篩選題和陷阱題,剔除填答不認真和前後矛盾的用戶。
  • 卡片分類法解析:究竟要測試多少用戶?
    我們必須從一定數量的用戶那裡收集數據,才能獲得穩定的用戶偏好畫像,並確定如何適應用戶之間的差異。如果你有一個現有的官網或內部網,測試一些用戶會告訴你信息架構是否給人們帶來了問題。所以要從頭開始創建新的結構,必須抽取更多人進行測試。幸運的是,你可以將這兩種方法結合:首先,使用生成性研究為設計確定方向。其次,設計一份草稿,最好使用紙質原型,並進行評估研究以改進設計。
  • 用戶研究經驗分享 | 人人都是產品經理
    前段時間參與了遊戲用戶的研究和分析,對於用戶研究(以下簡稱用研)積累了一些經驗,在此進行總結跟大家分享一下。  1. 為什麼要用研(動機?解決什麼問題?))  3)代表性用戶訪談(定性,更準備定位目標用戶)  4)數據統計分析(定量+定性,尋找新機會和切入點)  以下是諾基亞的一個用研例子:  2006年,諾基亞在全球範圍內啟動了用戶研究項目,這是目前移動行業最為全面的研究項目,研究人員共採訪了全球16個國家/地區的42000名用戶。
  • 定量研究方法真的比定性研究複雜難懂嗎?
    定量研究其實沒那麼難,本文筆者通過對量化研究方法的一些最常見用例的介紹,以及對每個實例的成本和難度進行估計,來幫大家更好地去找我定量研究的方法。你是否需要有關產品用戶體驗的數字數據, 但卻不確定應該如何做?許多從事用戶體驗及研究的專業人士傾向於定性方法論, 而這也這被廣泛認為比定量 (量化) 研究更容易。
  • 只需三步,教你做好需求分析
    1、需求來源1.1、用戶調研1.1.1、要分階段的進行用戶調研很多產品經理在進行用戶調研時往往是沒有階段性的,造成的問題的是,不知道產品的每個階段需要做什麼事情,導致每個階段都在收集用戶的需求,需求收集了一大堆,最後卻沒用有達到原本的目的。
  • 信息處理方法定性與定量相結合的UX研究
    在座的各位都會覺得用戶體驗非常重要,因為的確如此。它是我們以用戶為中心的設計中心,這並不是一個新概念,它是一個全球的標準概念,我們必須要定義不同的步驟和標準,用於最終的研究。它不僅僅是在項目開始的時候進行研究,而是貫徹到整個流程,而且要儘早的把用戶加入進來進行研究,而且我們也會知道它會讓我們感覺到欣喜,也會有利於研究的開展。第三部分什麼是好的用戶研究?什麼是正確的問題?
  • 如何讓用戶研究變得重要 | 網際網路數據資訊網-199IT | 中文網際網路...
    想要用戶研究在公司能收到重視,先問問自己用戶研究的價值究竟在哪裡?基本上我靠的是兩個辦法:1)讓用戶研究的結果真正能幫到業務方,做用戶調研時不要做信息收集者,做信息處理者,把用戶反饋與產品改進方向結合;2)把用戶體驗指標作用於業務方的績效,讓他得到重視用戶體驗的好處,從公司制度入手,不能永遠依靠同事的自驅力。歡迎大家發表看法一起討論!
  • 騰訊移動遊戲用戶研究大揭秘:研究思路、方法、案例及步驟
    有兩個方面要看:除了產品本身的開發人員外,我們在做重度手遊新手引導研究時,還有來自三方面的調研。研究人員與實際研發人員常有分歧,雖然研究內容結果很好,但開發人員並不會採納,這與是否「接地氣」有直接關係。
  • 網際網路用戶研究調查報告PPT寫法
    網際網路用戶研究一般分為定量、定性分析。定量,即用大量數據發現問題,告訴你問題是什麼,可能發現的僅僅是一個趨勢,宏觀不具體;定性,即用典型用戶訪談研究分析問題,搞清楚問題為什麼原因,用來佐證定量分析得到的問題,繼而提出問題具體解決方案。
  • 如何進行產品設計調研分析
    設計調研的目的是為了能有效的指導設計活動開展和產生積極的結果。通俗點說,就是要弄清楚人們想要什麼,然後通過設計來給予他們。調研形式針對產品所處的階段,設計調研通常可以分為兩種形式「已有產品」和「全新產品」。針對「已有產品」,通過調研找出產品存在的問題並進行改進,提升產品體驗。
  • 一文get定性研究正確打開方式:鎖定用戶痛點,拒絕無用功
    在回答諸如「客戶願意支付多少錢」等問題時,這是一個很有用的工具。因此,如果你只是想要人們從A、B、C選項中做出選擇,那就選擇定量分析。如果你更需要數字驗證,並且你使用的是明確界定的指標,那就不要在定性研究上浪費時間和金錢。但尤其是在初創公司的早期階段,這些指標和選項並不總是那麼容易獲取。並不是所有的問題都可以量化。
  • 如何設計在線教育用戶調研問卷?藉助消費行為學理論
    在線教育產品是一個需要深耕用戶的平臺,其終極目標是銷售課程產生收益。究竟哪些因素會影響用戶購買平臺的產品呢?這是每一個運營和產品都想知道的問題。本文筆者分享了設計用戶調研問卷的方式和具體的消費行為學理論,供大家參考與學習。
  • 用戶滿意度指標權重計算方法
    用戶滿意度調查是用戶體驗工作中重要一項活動。在了解整體滿意度、一級指標滿意度、二級指標滿意度外,還需要了解下一級指標對上一級指標的權重,幫助確定各個方面的工作優先級,為產品優化改進方向提供決策依據。下文將簡單介紹一下幾種滿意度指標權重的計算方法。Part 1. 權重計算的作用指標權重可以更合理的評分用戶滿意度,指導用戶體驗優化方向。
  • 如何用量化方法進行用戶研究
    整個採用了問卷調查+實證研究的模式,簡單點來說就是發量表型問卷後分析數據,進行一些探索性或者驗證性的分析,從而得出一些深層次上的用戶研究的結論。這個方法最大的有點是:量化。把具體的問題用量表(即常見的1-5分打分)方式量化,進行深層次分析,讓很多用戶「說」出自己也沒意識到的對產品的看法和觀點。
  • 心理學角度闡述行為與態度、定性與定量的關係
    用戶調研活動對於一家企業、一個團隊,乃至一款產品來說都是必須要經歷的過程。而調研之後的數據又該如何去歸納定義,這又是一個值得我們去探究的新問題。單純地通過數據來看,常見的有定量和定性兩類數據。而針對用戶調研來說,剖析其本質會發現其實數據還可以再細分出來行為和態度數據。