如何度量產品的易學性?

2020-12-17 人人都是產品經理

本文介紹了產品的易學性對那些日常被使用的界面設計是多麼重要,以及如何進行產品的易學性的測試。

什麼是產品易學性(學習難度)?

易學性是產品易用性的五大衡量維度之一(其餘維度包括產品的使用效率、記憶難度、容錯性和滿意度)。對於需要用戶頻繁使用的相對複雜的產品或系統而言,測試界面的學習難度顯得尤為重要。當然,對於相對簡單的系統而言,了解用戶能多快地適應界面也是有價值的。

產品的易學性描述了用戶首次完成界面操作的難度,以及熟練掌握該操作所花費的重複次數。

通常進行易學性測試時,我們將繪製一張能夠揭示用戶行為量化後縱向變化的折線圖。通過觀測數據的縱向變化,我們可以知道用戶在多久後到達了學習飽和,之後的平臺期意味著此時此刻用戶已儘可能地學會了如何使用當前界面的功能。

假設我們要重新設計一個供企業IT網管日常使用的文件備份系統,同時知道他會在日常工作中循序漸進地學會系統的操作流程。

對於這樣一個系統,用戶能夠儘快完成工作是很非常重要的。

在這樣的預設條件下,易學性衡量的就是IT網管要高效熟練地操作這套系統所需要的時間。

首先我們會邀請一些有代表性的潛在用戶參與這項實驗,然後記錄他們首次操作備份任務所需要的時間。之後我們將再次邀請他們回來重複操作這個備份任務,並同樣記錄下時間。我們會反覆進行數次同樣測試,繪製出在一系列實驗中完成任務的時間,形成一條學習曲線。

圖一 該學習曲線展示了備份任務測試的序列和每次測試的耗時的關係假說。可見操作耗時在第一次測試時最長,由此遞減至第四次測試時,耗時趨於穩定。儘管具體情況(例如需要重複多少次)會因情況而異,,但這樣的學習曲線也能夠較為直觀的展示人類學習行為和接受過程。

易學性與效率

易學性可以分解為三個維度,每個維度都對用戶非常重要。

1. 第一次使用時的易學性

用戶在第一次使用時操作好多容易?第一印象對那些用完就走的用戶特別重要,他們不在乎學習曲線,不在乎產品長什麼樣,如果第一次操作不夠簡單,那麼這些用戶大概率已經流失了。

2. 學習速率

用戶能夠多快地在重複使用中表現地更好?學習速率對於那些即使不會過度但需要重複使用該產品的用戶特別重要,如果用戶逐漸發現自己對這款產品使用的得心應手,會有一定的成就感有一直用下去。(反之,如果用戶發現這款產品越用越難,不論他們付出了多大的成本,都會開始找更好的解決方案。)

3. 效率飽和點

當用戶熟練使用這款產品時,他能提升工作效率的天花板在哪?效率飽和點對於那些要長期、高頻使用這款產品的用戶而言顯得重要,例如需要每天使用的重要工具。

理想化的情況是你的產品在這三方面表現都不錯。但是在現實場景下,產品設計的過程總會有需要取捨之處,設計師應該設計出符合最具商業價值用戶學習曲線的產品。易學性三個維度的重要性也和用戶的生命周期有著必然關係。新用戶想要儘快學會操作這個產品並儘快達到最優表現,而專家用戶希望這款產品的學習飽和狀態儘可能滴(即最優的任務完成儘可能短)。

有時候易學性的這些不同屬性可能導致產品設計走向不同的方向。

例如,一個簡單易學的系統不一定是高效的。回到之前的例子,我們假設備份任務是採用步驟分離的wizard流程進行的,操作過程中的每一步會有說明和解釋。這個系統比較容易學習和上手,用戶第一次使用就能較快地完成所有操作。

但是這就造成了學習曲線變得極為平緩,用戶再次進行操作時,依然要經過同樣的界面回答同樣的問題,無法大幅提升操作速度。

如果用戶對界面及操作已經非常熟悉,這種設計便顯得格外累贅,在重複使用時效率低下。(因此,考慮到專家用戶的操作便捷,我們推薦加入「加速器」交互,例如快捷鍵、跳過進程等操作)設計師必須仔細權衡易學性和操作效率,找到合適的平衡點。

圖二

該學習曲線展示了採用步驟分離的wizard流程設計的備份任務測試的序列和每次測試的關係假說。圖表顯示不論是第幾次進行的操作,耗時都在16分鐘左右,可見這是一個簡單易學但不夠高效的系統。

為什麼要對易學性進行測量?

易學性與易用性息息相關。高易學性能夠帶來快速的系統引導流程和較低的訓練成本。此外,高易學性的產品能夠讓用戶感到自信,並因此提高用戶滿意度。

如果你的系統及相關操作比較複雜,用戶使用頻次較高,那麼對該產品進行一次易學性測試是個不錯的選擇。易學性測試對時間和預算的要求較高,所以在和老闆建議測試之前一定要做好充分的準備。對於那些使用頻次不高,或者用完就走的產品而言,易學性測試的商業價值就比較有限,這些產品被重複使用時依然會被用戶當作新產品來對待。因此對這些產品而言,一次標準的易用性測試會比易學性測試性價比高得多。

如何進行易學性測試?

易學性測試的核心是收集度量指標,所以我們要使用定量研究法。這種測試要求有焦點任務和受控實驗,所以定量可用性測試是實施易學性測試的最佳方法。

實驗對象

進行這項測試的目的是衡量學會某一界面操作對用戶的難易程度。所以我們尋找的實驗對象必須對該系統沒有任何使用經驗或極少的使用經驗。

對於易學性測試,我們往往要考慮到實驗對象對類似系統的使用經驗。類似系統的使用經驗可能讓他們更快速的上手(例如他們早已熟悉類似的約定域),也可能讓他們卡在某個步驟(比如和之前類似作業系統的交互完全不一樣)。即便如此,測試結果數據依然很有價值,特別要發布的產品需要從現有市場的其他同類產品中獲取用戶時。在實施測試時,可以分別招募無經驗和有類似產品使用經驗的實驗對象,再將兩組實驗對象的數據進行對比和分析。

對於任何定量研究,我們都建議你招募較多實驗對象(通常最少30-40)。具體人數需要根據系統的複雜程度而定,產品越複雜,所需要的實驗對象人數越多以解決內在的數據變化程度,反之則越少。

第一步:確定衡量維度

任務耗時是易學性測試最常見的衡量維度。學習冪定律(The power law of learning)指出,任務耗時與任務重複次數成正比。文章後續會默認任務耗時為衡量的主要維度。

考慮到產品的不同類型,任務耗時在某些系統的相關性可能不高,你可以選擇一個不同的衡量維度,比如錯誤操作所出現的次數。

第二步:確定實驗次數

接著要考慮多久搜集一次數據,也就是確定實驗次數和頻率。

記住,我們試圖繪製隨時間變化的曲線,所以我們需要邀請同一批實驗對象來完成同樣的實驗任務。我們建議你不斷重複這些實驗,直到達到效率飽和點,也就是學習曲線達到平緩為止。

在設計實驗時,你可能會問這樣兩個問題:要進行多少次實驗?每次實驗間隔多久?這兩個問題的答案取決於實際情況。

要預測用戶達到效率飽和點的次數,首先要考慮系統的複雜程度。你可以先計劃做5-10次實驗,根據兩個原因適當地增加實驗次數:(1)您要確保參與者已達到學習飽和點;(2)一旦到達了學習飽和點便取消可用性測試環節。

至於時間間隔的問題,可以參考用戶實際使用頻率,並儘量讓實驗間隔接近用戶使用頻率。對於用戶日常或一周內多次使用的產品,可以將時間間隔設為一天;對於每月使用一次的產品,可以將使用間隔設為四周。

第三步:收集並繪製數據

記住一定要保證實驗對象是同一批人,並且確保他們每次都能完整的完成操作。(這與通常的情況不同,在正常情況下,您希望不同的測試用戶研究設計的不同迭代。)你可能在實施易學性測試時對不同的功能任務進行測試, 這種情況下你需要保證測試的隨機性以避免影響實驗結果的準確度。過去的研究表明,用戶往往習慣將已完成的任務經驗應用在未來的任務測試中,所以隨機性可以減輕這種影響。

對於每個任務,記錄在每次實驗中所得出的指標均值,並將其繪製在折線圖中,我們會得到最終的學習曲線。

第四步:分析曲線

與任何定量研究一樣,你要分析數據的統計學意義。換句話說,確保實驗結果是真實可靠的,分析並確認學習曲線的趨勢不是數據噪音。通常我們會用統計學方法——單因素方差分析法來進行驗證。

一旦你完成分析並確認了數據顯著性之後,可以開始思考:學習曲線結果的斜率是怎樣的?易學性較低的用戶界面通常會有較為平緩的曲線,需要進行大量實驗才最終達到效率飽和點。相對應易學性較高的用戶界面的學習曲線斜率很陡,任務耗時在數次重複實驗後便快速下降並達到飽和值。

回到文件備份任務的例子,假設用戶在4次實驗後即達到效率飽和點,那這個界面設計相對高效,能夠滿足商業場景。如果用戶在30次實驗後才達到效率飽和點,這個界面設計的易學性就太低了。

另外,要考慮最終的效率:用戶將花費10分鐘的時間學會操作,這是否達到我們的預期?答案可能取決於競爭對手產品的耗時,如果競品的數據無法獲取,可以從成本,投資回報率等角度去思考。如果IT管理員每天花10分鐘以最優的方式完成備份任務,一年下來的總共耗時3650分鐘,約60個小時。每小時花費100美元,這意味著該公司將花費6000美元來完成備份。這個結果是否可以接受,產品設計是否需要改進,就要取決於每個產品自身的情況了。

結論

產品易學性告訴我們用戶要多久才能熟悉一個產品。衡量產品的易學性對那些日常被使用的界面設計格外重要。一次易學性測試需要同一批實驗對象進行反覆實驗,實驗結果通過學習曲線反映用戶熟悉一個產品所需要的重複實驗次數。

即使你不真正實踐易學性測試,在工作的過程中將這些概念納入到產品設計的思考,也會有助於你權衡功能和交互的優先級,幫助你更好的服務用戶。

參考文獻

Tom Tullis, Bill Albert (2013)Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. Morgan Kaufmann.

Allen Newell, Paul Rosenbloom (1980).Mechanisms of skill acquisition and the law of practice.Technical Report. School of Computer Science, Carnegie Mellon University.

 

作者:Alita Joyce

原文連結:https://www.nngroup.com/articles/measure-learnability/

翻譯:Jonan Zhang;審核:Wenhy;翻譯小組公眾號:交譯所

本文由 @交譯所 翻譯發布於人人都是產品經理。未經許可,禁止轉載

題圖來自Unsplash,基於CC0協議

相關焦點

  • 如何度量用戶體驗?-阿里PTECH/UES模型
    TECH模型 提供以用戶為中心的 UBA(用戶行為分析)+APM(應用性能監控)閉環下的體驗洞察,讓產品體驗可度量、可優化、可監控。
  • 用戶產品:敏捷體驗度量思考與實踐
    長文預警,本文主要包含以下內容:體驗設計價值理解什麼是體驗度量為什麼要做體驗度量及其重要性如何進行體驗度量全文要點總結01 體驗設計價值的理解這些年體驗設計價值越來越多的被提起及受到重視,但是大部分設計師或者從業者,普遍還是說不清楚感受不到,弄不明白體驗設計的價值到底是什麼?
  • 如何評估和度量軟體產品質量?
    戴明談質量產品質量不是檢測出來的,從產品生產出來後質量就已經在那了。今天的題目,是我在質量群裡拋出來給大家討論的話題,但應者寥寥啊。看來,做軟體的同學還是偏少。問卷回收的情況看,也是慘不忍睹!!通常,我們將軟體產品質量,分為 內部質量:內部質量就是指軟體系統內部的代碼質量狀態,包括代碼的效率、結構、可讀性、可擴展性、可靠性和可維護性等。可考慮code review、結對編程、靜態代碼質量檢查的實施覆蓋情況來衡量。外部質量:外部質量就是軟體呈現給用戶的形態,是否有缺陷、是否穩定、是否有性能問題等。
  • 產品使用體驗如何量化與管理——阿里雲 UES 全面揭秘
    因此,如何在支撐業務的同時創造機會,讓設計在行業中釋放出更大的能量和價值,就成為了我們的使命。無度量,無管理我們如何管理體驗?現代管理學之父,彼得·德魯克說:「如果你不能很好地度量它,也就無法有效地管理它。」If you can’t measure it, you can’t manage it。
  • 體驗|用戶體驗評測和度量思考與實踐
    設計師的問題在於,如何真正在工作中運用「用戶體驗」的思維,在產品中完成落地,在商業中獲得價值和利益。 設計師不單單是體驗微觀的設計者,更是體驗宏觀的管理者。設計師本質上也可以理解為是在不斷追求更好的構建與管理用戶體驗。
  • 周小川:當前通脹度量存在問題 需拓展通脹概念與度量 | 央行與貨幣
    周小川指出,傳統的通脹度量在四個維度上面臨不足和挑戰:一是較少包含資產價格會帶來失真,特別是長周期比較的失真;二是以什麼收入作為計算通脹的支出籃子;三是勞動付出的度量如何影響通脹的感知;四是基準、可比性(comparability)和參照系。
  • 美國闊葉木板材度量單位
    edwards產品的等級和度量是嚴格按照NHLA(美國硬木板材協會)規則執行的。 美國硬木行業採用的NHLA分等規則是以英制 (英寸和英尺) 單位為基礎的。但是大部分出口市場更熟悉公制。此外,分等規則沒有對板材的寬度和長度做出規定。
  • 度量(深刻)
    此時,一位八品芝麻小官衝了出來,將乾隆攙扶起。眾人面面相覷,此臺階連上朝的資格都不夠,他竟然衝上去了。過後,眾官員紛紛斥責他官職太小,還敢驚擾皇上。乾隆的做法卻讓眾人倍感吃驚,他先表示了感謝,並且給予嘉獎。這樣的事情同樣在朱元璋的身上發生過,但兩人的處理方式完全不同。
  • 周小川:拓展通貨膨脹的概念與度量
    傳統的通脹度量會面臨幾個方面的不足和挑戰:較少包含資產價格會帶來失真,特別是長周期比較的失真;以什麼收入作為計算通脹的支出籃子;勞動付出的度量如何影響通脹的感知;基準、可比性(comparability)和參照系。當前不少國家的貨幣政策面臨著不能有效達到通脹目標的問題。需要明確要達到的目標,以及如何對目標進行測度。
  • 以購物車為例,產品體驗如何做衡量?
    編輯導讀:對於產品經理來說,提升用戶體驗是實現自我價值的證明,因此體驗度量就很有必要和價值了。本文作者以購物車為例,圍繞如何衡量產品體驗展開三個維度的分析,希望對你有幫助。用戶體驗是人人常掛在嘴邊的一個詞,無論他是業務、運營、研發還是老闆。
  • 這些奇葩的度量單位
    這謎一樣的計量單位,到底該如何換算呢?量個長度要用碼,喝個啤酒要用品脫,稱個重量要用磅。這些我們常見但很少會用到的度量單位,都是英制單位。英制單位最大的特點是有著神奇的換算進位,比如一英裡等於8浪,1浪等於10鏈,1鏈等於11英尋,1英尋等於2碼,1碼等於3英尺,1英尺等於36英寸,那麼問題來了,一英裡等於多少英寸?
  • 四上《角的度量》中,如何畫角,如何量角?
    一、如何量角1、計量角的單位是度,人們將圓平均分成360份,將其中的一份所對的角作為度量角的單位,它的大小就是1度,記作1°。根據這一原理,人們製作了度量角的工具—量角器。
  • 推薦系統中的相似度度量
    您是否曾經想過Netflix是如何向您推薦您感興趣的電影?或者亞馬遜如何向您推薦難以抵制購買的產品?顯然,這些網站已經弄清了您喜歡看或買的東西。他們在後臺運行一段代碼,該代碼可以在線收集有關用戶行為的數據,並預測該用戶對特定內容或產品的喜好。這種系統稱為「推薦系統。
  • 健康險精算師必讀:如何以經濟學角度度量健康水平
    對於將公共衛生及醫療事業放在整體社會體系中考慮的經濟問題而言,醫療行業產出的主要產品:健康,其價值的度量就是該行業和其它行業可比的關鍵所在。藥物經濟學問題,保險需求問題等諸多問題的研究,都對此提出了較高的需求。較為傳統地,一些外生方法被用來衡量健康的價值,但隨著健康水平度量的量化方式逐漸成熟(QALY體系的產生等),度量健康價值的經濟學方法也逐漸被學者應用起來。
  • 廣西省度量衡檢定所簡史
    推行劃一度量衡工作,對統一度量衡起到一定作用。1933年4月,廣西省政府批准正式成立廣西度量衡製造所,地址在南寧市凌鐵村,同時制定發布《廣西度量衡製造所規程》和《廣西度量衡製造所職工服務細則》,明確該所隸屬省工商局管理。同年10月,根據中央部署,設立廣西省度量衡檢定所。這是廣西最早的度量衡管理機構,也是廣西首次獨立設置的度量衡行政管理機構。
  • 聚焦網站核心目標,設置網站目標的度量指標
    廣告帶來的訪問者質量如何?廣告最多程度的促進了網站目標的完成?由此可見,這樣進行分析既包含了正面的內容,也包含了負面的內容。這些問題的答案決定了每個分解目標是否能夠成功,同時也是我們要分析和優化的對象。
  • 中通服軟體科技有限公司 「嘉量雲」軟體度量機器人隆重發布
    中通服軟體科技有限公司「嘉量雲」軟體度量機器人於九月十八日在「第三屆中國軟體成本度量大會」這個國際盛會的首日隆重發布。  中通服軟體科技有限公司是中通服雲產品基地的主體依託單位,是中國軟體行業協會常務理事單位、中國軟體行業協會軟體造價分會創始成員單位、中國通信企業協會會員單位,曾榮獲2017年度軟體成本度量優秀企業獎,是國內軟體成本度量領域的先鋒企業,自主研發的雲平臺產品已成為「通福雲」系列解決方案的核心基礎平臺。
  • 效果難以被「度量」的數媒廣告時代
    這種測量方式顆粒感很粗,產品在其他平臺的投放、近期的促銷、打折力度,以及用戶季節性需求程度,都會引發數值的波動。隨著廣告技術走向成熟,通過cookies、Device ID來定位、定向、追蹤用戶在線行為並進行效果評估,成為廣告技術平臺的通用選擇。但這種測量方式,往往只關注「互動用戶數據」(多以「點擊」為主),容易陷入到「高看」或「低估」廣告價值的窠臼。
  • 《角的度量》~試講稿~小學數學
    今天我試講的題目是《角的度量》。上課!同學們好!請坐!一、情境演示、激趣導入同學們,鏟鬥車臂在工作中活動自由,請看大屏幕,用你們敏銳的數學眼光,能發現哪些數學信息,提出哪些數學問題?哦!鏟鬥車臂上的角能大能小,那這些角到底有多大呢?
  • 事業單位備考:關於《度量衡》的考點
    點擊↑↑↑↑「公務員考試信息網」↑↑↑↑,關注微信號,據說關注官方微信的都上岸了  度量衡