[RAC交互 X 阿里巴巴設計] 挑戰熟知,人機互動系統工作效率的定量測量

2021-02-18 互動設計小站
商業設計做得久了,大家一定見過很多這樣的理論和說法:「重要信息一定要放在左上角」;「文字14號最適合閱讀」;「最適合閱讀的行寬是60~75CPL(character per line)」等等。一直以來,這些理論從用戶體驗的學術圈流傳到商業設計圈,商業設計師們大都口耳相傳,一般很少,或基本沒有機會去驗證這些理論是否準確。直到最近,阿里巴巴安全體驗設計需要對一套業務系統的人機互動效能進行優化,而衡量這套系統效能的重要指標便是工作人員對信息的讀取和綜合判斷速度。那麼既然提到了人類對信息的讀取速度,首先我們想到的便是上述的那些理論。比如字體和字號,文字顏色和文字的背景顏色,字間距和行間距,以及文本寬度和布局等等是否會影響到閱讀的速度。有些從一些文獻中可以找到直接結論

中文的基礎閱讀速度:大約562~622wpm (word per minute),實際跳讀速度可能遠快於這個水平 @《論中文的閱讀速度》廖建橋,張萬山,1996

字體和字號,文字顏色和背景顏色對閱讀速度的影響:分欄與字色在閱讀指標和眼動指標上交互作用均不顯著 @《字色與分欄對英文閱讀影響的眼動研究》孫玉婷,2016

字間距和行間距對閱讀速度的影響:在增大空格的條件下,平均注視時間最短,向前眼跳幅度最長,表明增大字間空格在一定程度上減少了視覺擁擠。但是其他眼動指標並未體現增大空格的促進作用,可能是由於在增大字間空格條件下,增加了句子呈現的物理長度,使得注視點個數增多,因此產生了注視點與注視時間的權衡,所以在整體閱讀時間上並沒有表現出更大促進作用 @《漢字空間格大小對青年和老年人閱讀的影響》,2020;在一定字號範圍內,不同字體大小的閱讀速度無顯著差異 @《眼動對中文閱讀速度的影響研究》2007

分欄與閱讀速度的關係:在單欄閱讀時,受試者會指向屏幕,但在三欄閱讀時很少這樣做,這表明受試者在單欄閱讀時很難保持自己在文本中的位置 @《THE EFFECTS OF MULTIPLE COLUMN ONLINE TEXT ON READING SPEED, READING COMPREHENSION, AND SATISFACTION》 RyanBaker,2002

根據以上論文,我們大致可以判斷文字字體,字號和間距可能對閱讀速度(或視覺搜索速度)的影響不大,而文本寬度和排列情況對於信息輸入效率的影響則沒有找到基於中文環境的明確結論。所以我們決定在優化系統效能的開始階段,首先通過試驗,確定文本寬度對閱讀效能的影響情況。並通過後續一系列試驗,逐漸沉澱出一套對人機互動系統工作效率定量測量的方法。在這篇文章中,主要目的是以這次試驗為實例,分享一些我們現在使用的定量試驗設計方法和分析思路。

01

試驗設計

1. 試驗目標

確定在23英寸顯示器,放縮倍數100%,1920*1080解析度,中文環境下,100%全寬度文本,50%寬度文本,25%寬度文本對視覺搜索效率的影響情況。

(1)n位被試同時進行A,B,C三組測試;

(2)ABC三組測試每組20道試題,ABC具有不同的樣式,分別對應100%,50%,25%的文本寬度。

ABC三組中的每道試題由紅色文字的結論,和黑色文字的描述組成。被試需要根據黑色文字描述判斷紅色文字的結論是否與描述一致,如果一致,則選擇『對』選項,反之選擇『錯』,之後點擊提交按鈕提交。

這些試題參考了小學五年級閱讀理解,對於正常被試而言沒有理解障礙,同時,紅色的結論完全出現在黑色描述之中,用來輔助被試將閱讀行為轉化為視覺搜索行為。每組試驗題目難度和文字長度基本相同,內容不重複。

(3)針對n位被試,ABC三組的試驗打亂次序進行,防止順序效應對試驗結果造成的影響。也就是被試1,試驗順序ABC,被試2,試驗順序ACB...依次類推。

(4)試驗除了統計視覺搜索速度相關的指標外,也希望對造成視覺搜索速度差異的因素進行觀察,故部分試驗組也會採集相應的眼動數據。採集和統計到的數據以下表進行記錄:


02

被試樣本數n的確定

樣本數的確定目前在商業設計領域以經驗數量為主,通常定量測試選擇人數在15~40人之間。

本次試驗希望摸索一種完全定量的模式,所以希望較為準確地對樣本數進行估計。由於想定會使用對平均值的T檢測進行ABC三組試驗數據兩兩之間差異度的顯著性分析,所以在試驗前使用了G-power軟體對試驗樣本數n進行了估計。

其中參數設定如下:

1.Test family=t test

2. Satistical test(統計方法)=Correlation:Point biserial model(點二列相關,這個目前不是很懂...)

3. Type of power analysis(統計功效分析類型)=Compute required sample size...(樣本數n,置信度α,檢測力power,效應量ρ,已知其中三個可以求另外一個,這裡就是在求解樣本數)

4. Tail(s)=Two(雙尾T檢測)

5. Effect size(ρ)=0.8(試驗前一般可分別根據經驗取值0.2,0.5,0.8,當預計兩組間試驗數據差異較大時,使用較大的數值,但不能超過1,在這裡先憑經驗取值0.8,後續可根據實際試驗數據對ρ進行校正

6. α = 0.05(置信度95%,也就是95%的情況下可以拒絕原假設h0,h0=兩組數據無顯著性差異)

7. Power=0.8 (經驗取值檢測力0.8,在後續試驗中可以對這個參數進行修正,本次試驗沒有進行修正)

在上述參數設定下,Total sample size = 7,也就是需要7個人就可以得到置信度95%之下兩組數據是否存在差異的結論,看起來這個樣本數是偏小的,但不妨礙我們先開始試驗。

03

試驗數據分析

首先,對七位同學進行了試驗,每位同學都參加了ABC三組測試。

試驗結果如下:

從平均值看,三個試驗組的平均值不同,全寬組用時最長,1/4寬度組最短。

但我們是否可以就此得出結論,和屏幕等寬的文本視覺搜索速度最慢,屏幕1/4寬度的文本視覺搜索速度最快呢?

顯然是不可以的,因為平均值的差異有可能是由隨機誤差或系統性誤差造成的,所以接下來我們用平均值的T檢測對三組數據間兩兩之間是否存在顯著性差異進行分析。

我們使用Excel內置的「t-檢驗:平均值的成對二樣本分析」進行分析:

A-B組之間:


其中P單尾=0.2,P雙尾=0.4,明顯差異不顯著(P雙尾小於0.05時差異顯著,P越小表示就越顯著)。也就是A-B組之間的差異可能是由於隨機誤差,或系統性誤差造成的。類似的,又進行了B-C組與A-C組差異性的檢測,同樣差異不顯著(篇幅所限,數據就不展示了)。

但這很有可能是由於樣本量過少造成的,因此,我們可以根據先導試驗得出的標準差對樣本數進行校正:

此時ABC三組平均值分別為:287,251,241,標準差分別為79,63,33,使用效應量計算器計算:

此時的Effect size(ρ)=0.24,相應的,計算得出的樣本數為:

n=131,但這個樣本數已經超出我們預期的成本(包括時間成本)太多了,因此雖然我們決定繼續增加被試進行試驗,但同時決定邊試驗邊對數據進行顯著性觀測,如果依然沒有很高的顯著性出現,說明試驗因素(也就是文本寬度)的效應量實在太小,在低樣本數時不足以觀測出顯著結果,同時也說明這個因素實際上對視覺搜索的效率並沒有太大影響。

將樣本數n擴大至17人時(剔除一組異常數據後),結果如下:

A組所用平均時長依然最長,C組快於B組。再次對平均值進行兩兩T檢驗:

A-B組之間:

其中P單尾=0.22,P雙尾=0.45,差異依然不顯著。

此時對應的效應量已經小於0.2,對應的樣本量n超過500+,也就是需要進行500人級別的試驗才有可能出現顯著性差異(或依然沒有顯著性,只能說明『不顯著』的結論置信度更高),說明文本寬度對於人類視覺搜索速度基本沒有影響。對於業務而言,提高效率可能需要另想辦法。

我們考慮被試在參與ABC三組混合試驗時,有可能會因為順序的原因產生閱讀速度差異,於是我們又把A出現在第1,2,3次測試,B出現在第1,2,3次測試,C出現在第1,2,3次測試所用的時間分別進行了對比:

t檢測結果A-B組之間相對差異大一些,P單尾=0.07,P雙尾=0.15,但依然不顯著。

04

試驗結論和眼動儀觀測結果

在當前能接受的樣本範圍內,對於一定字數(相對較少字數)的文本,文本寬度因素下,視覺搜索效率並沒有顯著性的差異。

想要通過優化文本寬度進而對界面使用效率進行優化的想法可實現性較低。

通過現場對被試的訪談,可以得出被試進行B,C組測試時體感較舒適,如果增加題目字數,加長試驗時間,增加試驗題目,結果可能有所不同。但個人認為,基於試驗結果,文本寬度這個因素對於小字數文本的視覺搜索或者說閱讀而言不是十分重要的因素,也可能說明人類對於此類因素的適應能力較強。

為此,在進行基於時間的定量測試之外,也對前幾組被試進行了眼動儀試驗,視圖觀察出文本寬度對被試視覺搜索模式的影響,以及這種模式是否是造成人類對於文本寬度具有較強適應能力的原因。

如前文所述,我們對每個被試,在ABC三組測試中,每組測試執行了20個任務。所以在眼動試驗中,我們使用自研的用戶體驗分析工具DEEP EXPERIENCE將這20個任務經由眼動儀測定的眼動情況進行了疊加,以試圖觀察出被試在該種文本寬度下的視覺搜索模式。

在如下圖所示的多任務眼動疊加視圖中,上方的圓圈為多任務觀察次序的疊加,其中紫色表示最先觀察的位置,黃色表示最後觀察的位置,圓圈的半徑表示注視時長;下方的每一條條狀圖表示完成一個眼動任務的所有眼動動作,其中實心方塊的長度表示注視(Fixation)時長,方塊之間的連線長度則表示兩次注視之間的眼跳(Saccade)時長(注意不是眼跳距離)。 

某被試在測試組A(文本寬度為屏幕寬度)中的視覺搜索模式:

同一被試在測試組B(文本寬度為1/2屏幕寬度)中的視覺搜索模式:

同一被試在測試組C(文本寬度為1/4屏幕寬度)中的視覺搜索模式:

從圖中可以看出,眼動儀試驗可能部分解讀了文本寬度對視覺搜索效率影響不大的原因。

儘管ABC三組之間的眼跳距離有所不同,但注視和眼跳所用的時間基本沒有差別。

也就是當文本寬度加大時,眼跳距離雖然明顯增加,但一般理論普遍認為的,在進行更長距離的眼跳之前的注視(Fixation)將花費更長準備時間的現象在試驗中並不明顯,反之,被試以更快的眼跳速度進行了掃讀,最終造成所用的視覺搜索時間和其他幾種文本寬度沒有顯著差異。

這可能說明,人類在進行限定的字數範圍內的視覺搜索時具有較強的適應能力,搜索的效率對於文字的排列並不敏感。

05

定量測量方法的總結

交互系統效率一般來講沒有絕對的好與壞,通常需要進行對照試驗。

在對照試驗中,對於樣本數的確定一般來講是比較頭疼的問題,除了適用經驗被試數的情況之外,可以採用預試驗的方法,通過對效應量的逐步修正進而確定適合的被試數,或者儘快中止沒有顯著結果的試驗。

對於試驗組之間的試驗結果數據是否具有顯著性差異,可以用方差檢測或t檢測進行驗證,使用何種檢驗方式,在試驗設計階段就要加以考慮,樣本數的確定也與使用的檢驗方式相關。

對於眼動測試而言,試驗過程中的準備工作和試驗結果的處理工作(Segment和Scene拆分)需要花費大量時間,在試驗的一開始就要有充分的思想準備。

以上,就是我們在對交互系統進行量化試驗中獲得的一些經驗,不論對於試驗設計,還是過程中對變量的控制,還是統計學分析方法,都還處於起步階段,有任何問題,希望讀者多多指正。

想了解和學習更多交互知識, 可以加入我們的學習討論社群哦~

更多精彩

相關焦點

  • 人機互動的內容有哪些_人機互動主要研究什麼
    人機互動的內容有哪些   機交互界面表示模型與設計方法(Model and Methodology)   一個交互界面的好壞,直接影響到軟體開發的成敗。友好人機互動界面的開發離不開好的交互模型與設計方法。因此,研究人機互動界面的表示模型與設計方法,是人機互動的重要研究內容之一。   可用性分析與評估(Usability and Evaluation)   可用性是人機互動系統的重要內容,它關係到人機互動能否達到用戶期待的目標,以及實現這一目標的效率與便捷性。
  • 阿里巴巴和清華大學成立聯合實驗室 推動人機互動研發 |新京報財訊
    新京報快訊(記者楊礪)像《超能陸戰隊》中「情感豐富」的大白(Baymax)那樣實現人機互動或將走進現實。4月3日,阿里巴巴和清華大學宣布達成戰略合作,共同成立清華大學-阿里巴巴自然交互體驗聯合實驗室(下稱」聯合實驗室」),共同探索人機互動的未來。
  • Rokid副總裁向文杰:人機互動的終極形態是腦機交互
    我接下來開始演講,好像我們講的是AR產品,Rokid公司追求的是人機互動。我們擁有很好的技術,當我們拿著這個技術的時候,我們希望給到行業什麼東西。今天我從很多大拿的演講當中學到很多點,我們給到行業裡面不止是效率、不止是創新,還有很多人文關懷,這是Rokid公司很大內核的點。
  • 不一樣的「注意力」:人機互動注意力的測量指標與利用
    在這裡,我們談到的注意力與大家非常熟悉的機器學習中的注意力模型(Attention Model,AM)不同,本文討論的是人機互動中的注意力問題。人機互動中的這種注意力也被稱為是用戶的關注焦點(User's focus Of Attention)。
  • 新興+潛力:卡內基梅隆大學人機互動設計專業
    卡內基梅隆大學人機互動專業排名全美第一,是該專業最具代表性的院校,開設在大名鼎鼎的計算機學院之下,不僅就業前景好,而且未來發展潛力巨大,下面託普仕為大家詳細介紹。卡內基梅隆大學人機互動碩士簡介:卡內基梅隆大學人機互動碩士簡稱為MHCI,是世界上最早開設互動設計課程的項目,開設時間是1996年,開設的初衷是為了畢業生可以為設計和指導人與技術交互的未來做好準備。
  • 前景專業|人機互動(HCI)
    後來,人機互動的重心擴展到遊戲、學習教育、商業、健康與醫療應用、應急規劃與響應,以及協作與社區支持系統等領域。如今,人機互動的跨學科性體現在計算機科學與行為科學的交叉領域。人機互動的目標是創建一套易於用戶操作的安全有效系統,這個概念看似並不複雜,但卻需要綜合計算機科學、認知科學及人因工程學等領域的技術。人機互動領域的研究員通常做些什麼事?
  • 人機互動簡述,一起來了解人機互動的世界!
    一、HCI綜述HCI(WIKI)是一門研究系統和用戶之間交互的學問。系統可以是各種各樣的不同的機器,也可以是計算機化的系統和軟體。人機互動界面通常是指用戶可見的部分。用戶通過人機互動界面與系統交流,並進行操作。通俗的講就是研究各種通過交互系統、交互體驗的學科。Physical的交互界面比如收音機的播放按鍵,virtual的界面比如網站、app界面。
  • 下一場革命性的人機互動方式會是什麼?
    今晚這堂課咱們來講一講近幾年大火的人機互動技術,以及未來可能會出現的革命性人機互動新方式。語音交互的優勢很明顯:輸入效率高且交互方式更自然;解放我們的雙手,拓寬使用場景。雖然語音交互技術的優勢很明顯,但語音交互技術中存在的挑戰也很大:多人講話或噪音處理;中英文、混合,無效語言的處理。更多關於自然語言處理的知識,請戳關於NLP,這4個知識點不了解怎麼行?
  • 嵌入式人機互動界面研究與實現
    目前,嵌入式人機互動界面開發可以選擇作業系統主要分為WinCE和Linux兩大陣營,隨著2012年底微軟公司宣布Wince停止更新,越來越多的開發人員在選擇作業系統時轉而選擇Linux以及Linux衍生出的Android等作業系統。
  • 百度發布AI互動設計新成果:人機互動越來越「有意思」
    並真正實現利用AI互動設計助推自動駕駛、智能硬體及智慧零售等領域的發展。」人工智慧互動設計院目前已在18個人因研究和設計的專業或行業平臺上發表或錄用了23篇論文,並對外界輸出了68篇有關人因工程研究的文章。在過去的一年裡,人工智慧互動設計院發布了智能汽車人機互動設計趨勢白皮書、2019AI人機互動趨勢研究,為行業指出了人工智慧時代下的互動設計趨勢。
  • 互動設計是什麼?深入分析互動設計專業,附全球互動設計院校推薦
    隨著網際網路時代高速發展,越來越多的交互設備開始進入人們的生活,互動設計師就開始顯得愈發重要。據統計,即使是互動設計專業的應屆畢業生,月薪平均也在1萬以上,有2年以上工作經驗的互動設計師,月薪可達2萬5以上。互動設計儼然成為了設計領域一個炙手可熱的專業。那到底互動設計是什麼?哪些大學的互動設計專業最好?未來的就業前景又如何?
  • 不一樣的「注意力」:人機互動注意力的測量指標與利用
    在這裡,我們談到的注意力與大家非常熟悉的機器學習中的注意力模型(Attention Model,AM)不同,本文討論的是人機互動中的注意力問題。人機互動中的這種注意力也被稱為是用戶的關注焦點(User's focus Of Attention)。
  • 人機互動作品集,一定要展現技術嗎?
    一句話裡甚至連一個「one of」都沒有,展現了CMU作為人機互動專業世界頭把交椅的豪氣和自信。隨著互動設計變得越來越被人們熟知,互動設計相關的行業待遇又極其誘人,近年來申請與科技行業關係密切的HCI人機互動的小夥伴也越來越多了,不僅僅是來自計算機技術專業和設計專業背景的同學,包括本科為心理學、商科、理工科等的同學也越來越多。
  • 藝術設計:探索適合老年人的交互方式
    在觸覺方面,要避免在操作過程中出現過於精細的操作,人機互動要簡單、直接,並且要加強反饋的形式,將單一的震動轉變為震動加聲音或加色彩變化、大小變化等。拓展單一感官的局限,融合多種感官形式,增強老年人信息接受效果。針對老年人在使用時容易誤將頁面關閉、修改等問題,要增加有記憶的系統還原功能,強化用戶的體驗。
  • 華安鑫創:人機互動圖形設計業務獲得較快發展
    公司自主研發了3項發明專利、19項實用新型專利、3項外觀設計專利,90項軟體著作權。基於當前的技術儲備,能夠參與到概念和新品車型的前沿開發,研發成果已經應用於下遊的主流車型,當前公司的技術研發實力處於細分領域的領先地位。
  • 視聽整合:人機互動界面的新方向
    NUI的出現為人工智慧與用戶體驗帶來了質的進化,未來的發展趨勢傾向於自然交互模式,人機、環境的和諧交互將使它們處於自然融合的狀態。自然的人機互動操作環境,能帶給人們身臨其境的感受。但現有人機互動的模式仍然停留在舊交互模式的階段,無法滿足當前人機互動方式多種多樣的局面。目前的多模態人機互動以自然用戶界面為主。
  • 人機互動中的一個重要問題:認知負荷測量
    效率(E)使用下式計算:  其中ZPtest表示標準化(Z分數)測試分數,ZEtest表示在測試期後收集的標準化心理努力分數。該公式基於從點到線(在這種情況下為y = x)的垂直距離的數學計算。效率差異可以通過簡單的圖形表示來描述(見圖6.1)。當績效和精神努力的Z分數相等時,E的值為零,如圖1所示。 6.1由對角線(y = x)表示。
  • 智能經濟時代人機互動三大趨勢
    演講中,沈抖提出智能人機互動將有三個趨勢:未來智能終端將會指數級增長;人和終端的交互將會多模態,語音、圖像交互將會成為主流;信息和服務將會場景化。  人工智慧正在催生越來越多樣化的智能終端。除了PC、智慧型手機外,汽車、智能音箱、可穿戴設備、服務機器人甚至是無法直接看見的傳感器,都能成為人機互動的終端。每種終端會在不同場景扮演關鍵角色。  智能終端變化帶來交互方式的變革,語音、圖像、視頻、手勢等多模態的交互將成為未來交互的主流方式。網際網路企業應該廣泛利用人工智慧技術,實現交互的革新升級,從而在產品、內容、服務等多個維度不斷適應用戶的新需求和新習慣。
  • 交互作用
    此時,x1對因變量y的影響變成了與交互項中另一個自變量x2有關的函數,也就是說,x1的作用依賴於x2的取值。(同樣,對x2求偏導也會得到相同的結論)從數學常識來看,這是因為所構造的交互項其實是x1和x2兩個自變量的乘積。當你基於OLS模型解釋x1的作用時,不能再說「保持所有其他變量不變時,x1每變化一個單位,y會變化β1個單位」,因為x1一旦變化,x1x2這個變量一定也會變化。所以,當模型中含有交互項時,要解釋x1的作用就必須同時考慮到β1、β3和x2的取值。
  • 人機互動院校選擇篇:喬治亞理工大學
    為了方便大家進一步了解到國外各大優秀的設計院校的信息,GGU Art&Design 接下來將推出一系列國外院校招生信息的介紹,有需要的小夥伴記得持續關注哦。今天世畢盟給大家帶來的是喬治亞理工的人機互動設計項目。隨著VR、AR、AI、大數據等時代前沿科技的高速發展,「互動設計」成為了近幾年最熱門的留學專業之一。