譯文|用哪些指標量化你的設計效果?

2020-12-26 人人都是產品經理

量化分析可以用最直觀的數據來反映效果,常常用於用戶、市場等方面,在看似沒有標準的設計領域,用哪些指標、如何使用?才能知道設計效果究竟怎麼樣呢?

為什麼我們需要量化設計的效果?

我們可以每天對其他同事說注重用戶體驗是必要的、自己的設計是有效果的。但是空口無憑,只是說說的力度也就僅限於此。

基於用戶行為進行設計,聽上去是挺有道理的。但是如何才能向他人證明這樣的設計是真實有效的呢?有哪些方法可以量化設計成果呢?如何向老闆證明在設計上的投入是值得的呢?

量化設計效果並不是一件很虛幻的事,下文中,我就會列舉很多實際的方法,來證明設計的價值。

行為類指標和態度類指標

我們和各行各業的各種公司都有過合作,期間我們發現了一些很常用且廣受用戶認可的設計效果量化指標,主要可以分為兩大類:

行為類(他們是如何做的)

從用戶研究的角度,了解用戶在做什麼和他們怎樣使用你的產品是非常重要的。

基於各種任務設置的可用性測試是一種基礎且通用的方式,這不僅限於在小範圍進行的「Think-out-loud」研究,還包括一些遠程的數據統計和監控,以高效的方式獲取更廣泛的用戶樣本。

例如:

放棄率頁面瀏覽量困難與挫折任務成功率任務時長

態度類(他們是怎麼想的)

用戶對產品的感受如何?在使用前、中、後期他們是怎麼想的?這些感受是如何影響他們對品牌的印象的?……

為了衡量這些,你可能需要以下的態度類指標:

忠誠度(通過SUS或NPS等指標衡量)可用性(或使用產品的輕鬆程度)可信度(包括對產品的信賴程度、產品價值、貼心的服務等)外觀(例如「太好看了」或是「辣眼睛」)有了這些指標後,要如何把意見量化呢?怎樣把這些「太好看了」「辣眼睛」的評論和想法轉化為其他人也能迅速掌握的一組組數據呢?

下面就讓我們來仔細了解下這些衡量指標。

行為類用戶體驗指標

放棄率(Abandon Rate)

這一條很簡單,可以統計下有多少人打開你的電商平臺,將商品放入購物車,但最終沒有真的購買。

放棄率是遺棄在購物車的商品數和用戶發起的交易總數之比。

想像下如果宜家的實體店有很高的放棄率,那麼必然會給店面運營帶來很大的壓力。

平均訂單價值(AOV: Average Order Value)

AOV代表著平均每單的價值。這個數值來自於總收入/總結帳次數。根據VWO的說法,這個數值是在利潤層面的直接反應。如果你的設計和銷售直接相關,那麼可以用它作為一個指標。

轉化率(Conversion Rate)

如果設計上的改進能夠觸發一些具體事件,例如提高用戶的註冊率或是任務的完成度,那麼這個設計就可以說是有用的。如果設計的改動直接對用戶的行為造成了正面影響,並且你可以監測這個變動的數值,那麼你就可以自信地說這個設計有效。

就像NNgroup內說的,「轉化率衡量了用戶在使用你的網站後發生了什麼。這個指標受到設計的影響很大,是用於跟蹤和評估設計策略是否有效的重要參考」。

但同時我們也應意識到,升高的轉化率也可能和營銷活動相關,所以監測數據時也應進行區分。

此外,並不是所有訪問你網站的人都有可能被轉換,這也受到了訪問者自身特徵的影響。

頁面瀏覽量(Pageviews)

頁面的瀏覽量和點擊量是很常見的衡量標準,可以覆蓋手機APP、網頁和其他許多產品,記錄選定頁面或功能的點擊量、瀏覽量、功能間跳轉次數等。

你可以通過一些數據統計工具,去自動抓取這些信息,還能減少數據分析和報告產出的時間。

困難與挫折(Problems and Frustrations)

我們可以通過統計有多少用戶遇到了某種問題,從而來評估設計成果。

我們建議先進行「Think-out loud」測試來定位問題,然後再通過一個更大的受訪群體(在一定的可信區間內)來了解這些問題到底有多大比例會出現。

收集到的這些數據可以和一段時間後/產品改進後的數據進行對比,或者也可以用來和競爭對手的產品數據進行對比。

任務成功率(Task Success)

通常情況下,我們會邀請一組用戶,要求他們完成一些指定的任務。這些任務可能是:在付款流程中到達某個具體的頁面、在宣傳頁上找到某個問題的答案或是在使用APP時完成某個步驟。

這項測試中非常重要的一點是,對成功和失敗做出明確定義。

在使用這些衡量指標時,我們不能疏忽了取樣的區間。

例如10個人中有8個人完成任務,和100個人裡有80個人完成了任務,都可以視為80%的任務成功率。但是,後者的置信度明顯要比前者高出不少。

任務時長(Task Time)

任務時長通常是一個具體的數字,例如3分鐘。

對於目標是提高使用效率的產品,更短的任務完成時長也就可以反映出更好的設計方案。當然,除了高效的工具類產品,還有很多產品的目標是讓用戶停留更長的時間,例如Facebook的信息流。

對於任務時長的判斷還是要看具體任務場景,即便是在Facebook的信息流裡,用戶搜索信息的任務時長也是越短越好。

關於時長,我們即可以看完成任務用戶的平均時長,也可以統計所有用戶完成任務的平均時長。

態度類用戶體驗指標

態度類指標需要量化各種定性的數據,例如忠誠度、信賴程度和產品可用性等。

目前,行業內有很多用于衡量這些數據的標準,下面我挑主要的幾組詳細解釋下。

顧客滿意度(CSAT: Customer Satisfaction Score)

這項指標用於評估用戶滿意度,但是並不像NPS一樣有統一的問題和標準,評估結果以百分比的形式顯示。

優點:沒有嚴格限制,自由度較高。

缺點:通常只有非常喜歡或是非常討厭你產品的人,才會願意接受又長又詳細的調研。

淨值推薦(NPS: Net Promoter Score)

淨值推薦評分通常用在你設計的後期,它可以幫助你以最直白的方式評估用戶的忠誠度:您有多大機率向朋友或同事推薦這個公司/產品/服務/使用體驗?

給與9到10分的人是產品的推薦者。這些忠實又熱情的客戶願意把你的產品推薦給他人,在未來也很有可能會繼續使用你的服務。打出7到8分的人被劃分為消極接受者。他們對你提供的服務感到滿意,但是可能會左右搖擺,對你的產品並沒有忠誠度。而打出0到6分的人,被歸類為貶損者。他們可能已經不想再多看你的產品一眼。NPS的最終評分規則:推薦者%-貶損者%。

系統可用性量表(SUS: System Usability Scale)

用戶只需要填寫一個簡單的問卷,就可以從中得出分析用的數據。這個量表也是基於李克特量表的加總方式,用定量的數據表現出定性的觀點。

上圖為李克特量表示意

下面的問題摘選自SUS量表,這些問題都可以在非常同意到強烈反對的維度之間進行選擇。

我認為我願意經常使用這個網站我發現這個網站沒必要這麼複雜我認為這個網站容易使用這種評估方式非常易於操作,可用於小範圍的樣本調研,並且可以顯示出產品是否有改進。

但需要注意的是,這個量表並不能直接告訴你產品設計出了哪些問題,或是哪些新設計起了作用,它是一個比較寬泛的評分。

任務績效指標(TPI: Task Performance Indicator)

Gerry McGovern對他們團隊提出的方法進行了詳細的分析,用以評估設計改動對用戶體驗的影響。

在TPI的方法下,你需要為主要任務設置10到12個相關問題。這些問題得是可重複的,因為在6到12個月之後大家還會向他們提出這樣的問題。

如果用戶完成了任務,就需要開始回答這些與任務相關的問題,之後用戶會被詢問對自己的回答有多大把握。

當TPI得分低於50時(滿分100),就意味著產品設計有重大失誤(具體實踐方式見連結)。

標準化用戶體驗評分問卷(SUPR-Q: Standardized User Experience Percentile Rank Questionnaire)

這是一份標準化問卷,包含8個用來度量用戶體驗質量的問題,覆蓋了可用性、可信度、忠誠度和外觀評價四個維度。

上圖為SUPR-Q的問題內容

更多關於SUPR-Q細節信息可以查看www.suprq.com。

有沒有一步到位的評估方式?

在UserZoom(作者的公司),我們自己創造了一種設計效果評估方式——qx評分(體驗質量評分/quality of experience score)。這個方法融合了許多評估方向,包括行為數據和態度數據。它的結果非常簡明,能在與老闆或甲方的溝通中為自己的設計證明。

當你把各項評分輸入到這個qx分數表中,你會得到像下圖一樣的打分卡:

圈中的數字是72,代表著最終評分。

再仔細看一眼,可以發現小分裡包括信賴度、美觀度等項目。很多時候,我們想要向上下遊合作方和老闆證明產品在經過設計後變得更好了,qx評分能為我們助力。

要對qx評分進行進一步分析,就需要與其他產品進行對比,沒有上下文的數據是空洞無用的。

我們也為此統計了份UZIndex,即根據qx評分對各個行業的不同產品進行測驗和總結,這樣公司就可以從中了解到自己產品在整個行業的體驗水平。

小結

我的文章並沒有完整覆蓋到每一個用戶體驗量化指標,因為集齊所有指標可能會花掉很長的時間。

但從上文我們也可以發現,作為用戶體驗設計師,在設計效果的衡量標準上有許多可選方式,能將各種定性和定量的結論結合在一起。

選擇哪種量化指標主要取決於你們公司的目標是什麼,相關的合作方、老闆想得到哪方面的結論。對於我們而言,最重要的是要明白要量化什麼,以及為什麼需要量化它。

作者: Christopher Ratcliff,Kuldeep Kelkar;譯文有刪減。

原文連結:https://www.userzoom.com/blog/what-metrics-do-the-experts-use-to-measure-ux-effectiveness

本文由 @迷思特圓 翻譯發布於人人都是產品經理。未經許可,禁止轉載

題圖來自 Unsplash ,基於 CC0 協議

相關焦點

  • 生產現場管理指標如何設定?對生產指標考核量化原則的三個方法
    前兩篇文章,我分別介紹生產現場管理四大類考核指標安全、品質、成本與交期,但考核僅僅有指標是不夠的,我們還需要去設定指標,去確定指標的標準(即設定指標值的大小),然後,再按照考核流程和考核指標的標準進行考核。本文,介紹最常見的考核指標(目標)確定方法SMART原則和最需要採用的考核原則量化原則。
  • 傳播效果四度評價法公布 品牌傳播效果可量化評估
    傳播效果四度評價法將衡量傳播效果的多種表徵轉化為傳播度、影響度、友好度、互動度這四個方面的可測指標,並賦予不同的權重,形成全面系統的傳播效果量化評估體系,實現評估結果的可比性。傳播效果四度評價法可以跨媒體平臺對傳播效果做精準定量評價,適用領域包括品牌傳播,輿情管理,公共關係,口碑管理等。
  • 品牌傳播效果將可量化評價,修宇博士提出傳播效果四度評價法
    通過層次分析法(AHP)測算各指標權重,得出精準評價傳播效果為目標的傳播效果四度評價法,具體包括4個一級指標、近20個二級指標及多個三級指標。  傳播效果四度評價法中涉及各評價指標的性質不同,且各指標之間相差很大,因此在測算和評估時,為了保證結果的可靠性,該方法對各指標進行標準化處理,使得各指標之間可以量化對比。
  • B端產品的指標設計思路
    其次,指標能夠幫助我們將產出與收益量化,B端產品也是如此;推理的思路遵循B端產品的價值:降本增效,「本」指的成本,「效」指的效率及效果。本文將基於此分享平臺和業務2個角度的指標設計方式,年末也是考核的季節,希望這篇文章能給大家帶來一些幫助。
  • 「特質、行為、結果」三類績效評價指標的設計
    用軟指標進行評價的結果容易受評價者主觀意識的影響和經驗的局限,其客觀性和準確性在很大程度上取決於評價者的素質。用軟指標進行評價得出的評價結果往往缺乏穩定性,尤其在民主氛圍不佳的環境中,個人專斷性的主觀判斷經常造成嚴重的不公平,引起評價對象對評價結果的強烈不滿。
  • 外匯指標有哪些?怎樣進行外匯指標最佳搭配?
    應根據哪些指標進行外匯交易?今天小編就來講講外匯指標有哪些?怎樣進行外匯指標最佳搭配? 金融指標:主要金融指標有利率、貨幣供應量、消費者和企業債務、通貨膨脹等;經濟指標是決定和影響整個外匯市場走勢的基礎,是外匯交易的基本分析指標。
  • 新增財務造假量化指標:一次精準的查漏補缺
    來源:上海證券報 原標題:新增財務造假量化指標: 一次精準的查漏補缺來源:上海證券報退市新規在重大違法退市標準中新增了一個財務造假量化指標,即如果公司在營收、淨利潤、利潤總額和資產負債表這四項中,有一項出現造假,且觸及相應的量化指標,就會被強制退市。
  • 金絲路量化科技研究院乾貨合集 量化投資全解析
    量化投資需要把數據、策略、系統、執行四個方面綜合起來完成一個有機的整體。量化投資本質上是一個方法論,可以應用到投資過程的每一個環節,比如大家熟悉的選股、基本面分析或者技術分析其實也算是廣義量化金融的應用。你用了這些學科的知識去構建一個數理模型,一個投資決策模型,這是一個相對客觀和理性的系統,是可以被應用於投資的第一步到最後一步的。
  • 管理好文:關鍵績效指標(KPI)的詳細設計步驟曝光(值得借鑑)
    關鍵績效指標一、關鍵績效指標(KPI)的概念及特點關鍵績效指標 (key performance in dicator, KPI)是用來衡量某一職位員工工作績效表現的具體量化指標,是對完成工作效果的最直接衡量方式。
  • 頂級高手:工作做不好,「量化管理」是關鍵
    一、 何為量化管理 根據度娘的定義: 量化管理,是一種從目標出發,使用科學、量化的手段進行組織體系設計和為具體工作建立標準的管理手段
  • 如何體現設計方案的「效果」?
    編輯導語:一年過去了,我們總會對自己過去一年的工作成果有個復盤,設計團隊也是如此,設計師會對去年設計的一些作品以及產品等等進行衡量;本文作者分享了關於怎麼樣去體驗設計方案的「效果」,我們一起來看一下。2021年剛開始,也到了復盤過去一年的工作和制定新一年的OKR的時候,在設計團隊裡有一個問題必須要面對的問題,就是如何衡量設計成果?
  • 對量化交易入門的一點建議
    1、有一本:西蒙斯打開量化投資的黑箱,還有西蒙斯的文藝復興公司的介紹(喜馬拉雅),另外B站有西門斯的演講。通過對西蒙斯的了解,你要對自己的知識結構、背景、資源和量化投資大師做個對比,哪些地方相似?哪些有差距?哪些事經過自身努力能夠得著?哪些事,自己從現在開始窮盡一生未必能夠得著?等等。然後,決定自己現在該怎麼做?
  • OKR文化:用SMART原則量化目標
    與傳統的KPI講究的控制最終產出結果不同,目標管理更重視的是用價值引導員工進行自我控制,實現更高的挑戰。KPI要求100%完成與績效考核直接掛鈎,而具有挑戰性的目標管理可以容忍失敗,評分也不不直接代表考核。
  • 中投顧問:內控指標量化或將導致IPO審核難度上升
    中投顧問IPO諮詢部分析師崔瑜認為,此項指標雖然主要作用為量化上市企業的內控能力,但以該指數的發布方以及相關的取值架構來看,這一標準將有很大可能推廣至企業IPO環節,預計在2012年之後企業IPO審核中內部控制審核難度上將有大幅度提高。     從當前內控審核政策來看,強化內控審核已經成為政策發展趨勢。
  • 炒股那麼多年只知道技術指標?帶你了解其他指標!本文拋磚引玉
    丨量化研究指標:NO.1 巴菲特指標該指標通常被稱為「巴菲特指標」,是「股神」沃倫·巴菲特最喜歡的市場指標之一。丨NO.3 backtraderbacktrader是用於量化研究的一種指標,其含義是:量化投資回測與交易它是一個系統,被譽為目前最強單機量化平臺
  • 【指標優選】自帶預測功能,量化學院4號Prosignal交易系統
    該交易系統包含量化未來趨勢指標系列,線性回歸通道,交易信號指標,MACD指標等技術指標。
  • 量化基金怎麼選?專業量化團隊十問十答
    這種基金,就是量化基金。那麼,如何選擇好的量化基金產品?為此我們專門採訪了九泰量化投資團隊,以下是精華內容。什麼是量化基金?量化基金採用多策略選股的方式甄選一籃子行業股票,目標追求更高超基準業績回報。量化基金藉助計算機的力量,從眾多的數據中分析規律,做投資決策,力爭在市場中獲取超額收益。
  • 翻譯公司譯文的質量如何,能用什麼方法判斷?
    質量高的譯文,客戶在使用時,通過率會大大提高,這有助於贏得客戶的信任,方便建立長久的合作關係;而翻譯質量不過關的話,在丟掉客戶,使自己聲譽受損的同時,離市場也會越來越遠……翻譯質量會受到哪些因素的潛在影響,發生或好或壞的變化呢?
  • 【上交所:增強財務造假強制退市指標的可操作性 新增財務造假量化...
    2020-12-14 18:27:02來源:FX168 【上交所:增強財務造假強制退市指標的可操作性新增財務造假量化標準】上交所發布《上海證券交易所科創板股票上市規則(徵求意見稿)》。
  • 11個倉儲管理量化指標計算方法
    11個倉儲量化指標計算公式 1 .倉庫吞吐量=入庫量+出庫量+直撥量 2 .月均庫存量=(月初庫存量+月末庫存量)÷2 3 .倉庫面積利用率、庫存周轉率、庫存準確率 近年來,隨著我國物流及供應鏈管理等領域的持續發展,倉儲物流領域中的幾個績效指標(KPI)如倉庫面積利用率、庫存周轉率、庫存準確率被提及的頻率越來越高。但由於這些指標的定義尚不規範,並且在實際操作過程中指標所影響的因素各異,因此經常容易產生歧義。