情感交互將成為移動交互的趨勢

2021-01-08 雷鋒網

【編者按】本文來源@百度MUX   隨著網際網路特別是移動網際網路的飛速發展人們日夜與電腦、手機為伴,「人-人互動」逐漸減少,「人-機互動」不斷增加,人們對人機互動技術提出了更高的要求,即情感需求。因為人類之間的交流與溝通是自然而富有感情的,因此人們期望與之交互的機器也具有類似於人的觀察、理解和生成情感特徵的能力。

 

隨著情感計算(affective computing)等技術的不斷發展,情感交互成為高級資訊時代人機互動的主要發展趨勢。(如圖所示)情感交互就是使人機互動可以像人與人交互一樣自然、親切、生動和富有情感。

人與人進行交流時,是通過人臉表情、語音情感、帶有感情的肢體動作、文本情感信息等來感知對方的感情。因此情感交互可以從人臉表情交互、語音情感交互、肢體行為情感交互、生理信號情感識別、文本信息情感交互等方面進行探索。另外人與人的交流可以通過表情、語音、眼神、手勢等方式進行,而機器沒有人臉和軀體,那麼仿生代理(lifelike agent)將是實現情感交互的重要媒介。

1人臉表情交互

人臉表情交互是情感交互的一個重要方向,交互模型為:識別人臉表情既而感知人的情感和意圖,再生成與之對應的表情與人進行交互。現在對於識別人臉表情既而感知人的情感和意圖的技術探究愈發活躍,目前已經有諸多的人臉表情資料庫及表情特徵提取技術供設計參照。人臉表情的自然生成也在向著智能化的方向發展,將通過社交環境、上下文語境的來智能生成。

表情資料庫

表情特徵提取

現階段人臉表情交互在移動應用產品設計中應用舉例:
1)「twika^o^」
一款由Takuto Onishi開發的iOS應用程式「twika^o^」,可以幫用戶把人物面部真實表情轉化成「kaomoji」,即文字符號表情。
打開應用,用戶可以通過該應用讀取自己或是朋友們的照片,或者乾脆通過手機直接對著某人的臉咔嚓一張面部特寫照,接下來它就能實時轉化為有趣的顏文字表情。再通過電郵、推特或者信簡訊share給朋友們。

 

2)Avatar
卡梅隆用頂尖的CG和3D技術創造了天神下凡似的巨作《Avatar》,頓時紅遍全球,英特爾則緊跟時代潮流,與時俱進,研究出「Avatar 人臉表情模擬」這一最新技術成果。當用戶面對攝像頭的時候,可以看到用戶的真實頭像,通過Vedio算法,可以將人臉表情抽象化,呈現出一個虛擬的頭像,當你緊皺眉頭的時候,你的虛擬頭像也在緊皺眉頭,當你微笑的時候,她也在微笑,總之你的喜怒哀樂都可以在虛擬頭像上展現的淋漓盡致。這項技術對應的情感交互比如視頻聊天的時候,某種時候不太想讓對方看到自己的真實長相,可以通過這項技術,更好的保護隱私。聯想K800手機應用了這項最新的Avatar技術。

 

2語音情感交互

語音中的情感信息可以影響人們的交流狀態。所謂「聽話聽音」,說話人利用不同情感表達某語句時,聽者可能會有不同的反應。語音情感交互就是通過語音情感識別技術對人類的情感進行獲取、識別和響應,可以使用戶在自然和諧的交互模式下高效地完成任務。
語音情感交互的支撐技術是語音情感識別和情感語音合成。語音情感識別必須以一個高質量的情感語音資料庫為基礎,獲取情感語料,進行情感特徵參數的提取。情感語音合成是情感計算與語音合成的交叉課題,目前也取得了一定的研究成果。
現階段語音情感交互在移動應用產品設計中應用:

1) 信息查詢類產品

通過語音輸入來查詢信息的產品如交通票務查詢、話費查詢等,是語音情感交互應用的重要領域。比如根據用戶查詢時的情感狀態來決策用戶服務的優先級做出合適的反應。比如,在票務查詢產品中,如果用戶的語氣非常著急,那麼可以適當的提前為其服務。

2) 輔助教學類產品

一些朗讀類或者表達技巧類的學習產品中可以應用語音情感交互。比如教幼兒說話類的產品可以教兒童如何講話,甚至可以教他們如何把話講的自然而富有感情。

3) 電子商務產品

利用語音情感交互可以讓購物網站摒棄繁瑣的用戶問卷調查,利用用戶語音輸入時的情感因素的提示自動調整流量,甚至可以根據用戶對不同產品的喜好程度來調整商品的進貨比例。

4) 社交、娛樂

目前大部分社交產品和娛樂遊戲中的人機對話界面採用文本指令輸入的方式,這種方式所能傳遞的信息非常有限,而且操作費時費力。部分產品加入了語音輸入功能,但也是淡出的錄音傳話,無法判斷社交對象的情感。如果在這些產品的設計中應用語音情感交互就能構築更加擬人化的風格和更加逼真的場景,給用戶更全面的感官享受。

5) 虛擬人物對話

虛擬人物對話如siri等產品已經開始嘗試,但尚未加入情感因素。由於大多數情況下是口語化的交流,因此虛擬的人物對話應該根據用戶的情感狀態來調整產品本身的語音輸出,以適應對話環境。
案例:
Emotion 電話本

根據分析通話人之間語音交流的情感信息,來智能將電話簿中的人進行情感化分類:哪些是親密好友、哪些是較為疏遠的關係。結合通話頻率可以分析出哪些親密的好友應該聯絡了,可以發出提醒,提醒用戶注重對好友的聯絡。

3 肢體行為情感交互

姿勢運動不僅可以由物理上的時間、空間、加速度等描述,還可以由屬於心理學範疇的維度描述。比如從手勢的撓頭、擦眼、捏鼻子、觸唇、託下巴等,能夠預測情感狀態包括思考、回憶、疲勞、滿意等。
肢體行為情感交互是重要的情感非語言交流方式,目前得到了越來越多的研究者的關注,並取得了一定的研究成果,但人的肢體行為在特徵提取及情感分類方面仍面臨較大困難,需要結合上下文才能獲得較為準確的識別結果,且移動終端受本身硬體條件限制,肢體行為的提取本身就存在操作不便。因此目前應用較少。

4生理信號情感識別

生理變化由人的自主神經系統和內分泌系統支配,很少受人的主觀控制,因而應用生理信號的情感識別更具客觀性。生理信號感知情感一般通過皮膚電反應、肌電反應、呼吸信號、心電信號等,需要藉助物理設備。雖然生理信號可以客觀地反映人的情感狀態,但是僅對不同喚醒度的情感具有較好的識別效果,若要進行多種情感的分類,則需要將生理信號同表情、語音等其他通道進行融合,實現多模情感識別。
現階段生理信號情感識別在移動應用產品設計中應用案例:
Heart Fitness

Heart Fitness利用iPhone背後的補光燈感應皮下毛細血管的跳動來測心率,同時也能感知用戶此時的情緒,非常有意思。

5文本信息中的情感

隨著網際網路的飛速發展,文本信息已經成為人們最常用的交互方法之一。自然語言是人特有的交流手段,其中包含了大量的情感信息。研究文本中蘊含的情感信息已成為人機互動領域的研究熱點。
文本情感分析研究可以分為詞語的情感分析、句子的情感分析、篇章的情感研究、海量信息的整體情感預測四個維度。
現階段文本信息情感交互在移動應用產品設計中應用:

1) 電子商務產品
通過文本信息情感提取,分析用戶在電子商務網站中針對產品、服務的反饋評論,向其他用戶推薦受到好評的產品、服務。同時可以幫助商家高效地利用用戶的反饋信息
2) 網絡搜索產品的個性化檢索
目前的搜尋引擎對網際網路信息進行檢索時,主要方式是查找與用戶提交的查詢主題詞相關的網頁,而在其中加入文本情感分類,則可以個性化展示根據網頁內容褒貶性分類這個能力的搜索結果,提升用戶體驗及搜索結果的信息價值。
3) 網絡社區或遊戲產品的用戶興趣挖掘
根據網絡社區中的用戶言論,對個體的喜好進行發掘,將有助於整個社會關係網絡的分析,具有潛在的應用價值。
案例:
蘋果專利,文本消息過濾

這一專利功能可以用來過濾和控制所有基於文本的 iPhone 通信,比如發出或接收的簡訊、彩信、電子郵件和即時通訊等。它可以用來防止垃圾廣告,或者屏蔽那些你討厭的詞彙。也可以為未成年人創造相應的網絡環境,比如父母可以選擇相應的年齡模式,一屏蔽不同等級的詞彙。

6情感仿生代理

在情感交互中,用戶可以使用自然的交互方式,如語音、表情、眼神、手勢等與機器進行交互。然而,機器沒有人臉和軀體,無法用上述方式交流。目前的解決辦法是通過仿生代理實現人機的情感交互。仿生代理是完全由計算生成的圖形,用來模擬現實世界中真實的人或其他有生命物體的行為和動作。仿生代理具有人臉和軀體,並能通過多種交流方式與人進行信息傳遞。在基於仿生代理的人機互動中,仿生代理被賦予情感能力。仿生代理能夠通過各種傳感器獲取由人的情感所引起的生理及行為特徵信號,從而感知、識別和理解人類情感,針對人類的情感做出智能、靈敏、友好的反應。
現階段情感仿生代理在移動應用產品設計中應用案例:
雙雙

是一款社交應用,有一個非常獨特的全3D仿生代理」小雙」,幫助用戶實時溝通、傳情達意!「小雙」在蘋果appstore中是這樣被描述的:
擁有雙雙後,你會發現生活充滿了樂趣
「像木頭一樣的老公居然懂得浪漫和貼心了,常常有驚喜給我」
·貼心提醒:起床、約會、記得想你…愛的提醒就用「鬧鬧」
·情緒傳遞:隨時喚出小雙,讓她把你的情緒表演給最親密的人
·偷偷問:不懂彼此的小心思?匿名打聽一下,然後給Ta驚喜
「工作都很忙,閨蜜之間都很少聯繫,雙雙提醒我和她們定期保持聯絡,真好」
·變聲趣聊:在聊天時小雙能把你們的話變成有趣的聲音,各種賣萌,各種歡樂
·永久群組:姐妹淘、球隊哥們…在這裡建立你和兄弟/閨蜜的小圈子,隨身攜帶
行動裝置填充了人們幾乎所有的生活時間,人們對於和行動裝置進行情感交互的需求也與日俱增,情感交互必定成為移動應用產品交互趨勢之一。隨著人工智慧、情感計算等技術領域的發展,情感交互的技術支撐也日趨完善,情感交互模型將更加多樣化,我們在移動應用產品設計中應該逐漸考慮情感因素的影響,設計情感交互,讓產品具有活動靈魂。

作者博客:百度MUX

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 2020年互動設計的9個趨勢
    任何趨勢的來臨都離不開整個社會經濟背景與龐大的行業鏈等技術基礎的成熟穩健,它影響著我們今後前沿的設計決策。今天這篇交互趨勢文章,你一定會有意外收穫!Enjoy it!01 聚焦當前任務三星ONE UI 2.0今年系統更新,著手打造輕應用體驗。
  • 2015-2016交互體驗趨勢
    移動產品篇:2015年移動應用數量增長依然強勁,但是移動交互體驗卻在發生著變化。較之去年層出不窮的新穎形式,今年交互體驗趨勢中,更多的是某一個方面的體驗優化與深耕,而較少有創造性的引領者出現。這說明移動應用在市場在「爆發」後進入了一個新的階段。
  • 2018年互動設計的6大趨勢
    想必你還在對昨天HJUX視覺夥伴們給出的視覺設計趨勢嘖嘖稱讚,那麼贊別停!今天團隊的交互夥伴們將帶來2018年互動設計趨勢。設計是圍繞人解決問題,因此對2018年交互趨勢的預測,我們將目光聚焦在細膩的情感體驗打磨、達成目標的交互介質、解決問題的效率、發生交互行為的場景這幾個方面,探究出了以下6大趨勢:1.
  • 交互智能平板VS交互電子白板:交互教學誰為先鋒?
    交互電子白板從2005年開始在國內取得較快發展,並一度成為多媒體教學領域獨領風騷的教學裝備。 例如SeewoLink移動授課系統可以實現教室中的「大小屏互動」,任意智能行動裝置都能實現對教學大屏幕的操作,例如實現同步PPt、移動展臺、遠程滑鼠和無線文件傳輸等功能,大大提高了老師的教學效率,豐富了設備的應用功能。
  • 探討:對話式交互會成為未來主流的交互方式嗎?
    美團的王興說,現在是移動網際網路的下半場。百度的李彥宏說,人工智慧的網際網路時代已經到來。把這兩句話加起來,就是說,目前正從「移動網際網路時代」走向「人工智慧時代」,這也是市場上比較主流的看法。各個人機互動時代所用的設備和交互方式,我整理了一下,如下表:DOS時代 — 鍵盤 — 命令行PC時代 — 滑鼠 — 點擊移動網際網路 — 手指 — 觸摸人工智慧 — 手指 + 聲音 — 對話從上面的表格可以看出,每個時代都有屬於自己的交互方式,而且是越來越簡單,越來越自然。
  • 智能經濟時代人機互動三大趨勢
    12月8日,百度集團執行副總裁沈抖發表題為「想像破界:智能經濟重塑移動互聯」主題演講。過去10年,智慧型手機普及帶來移動網際網路飛速發展,造就了一批新興企業。隨著移動網際網路紅利消失殆盡,人工智慧被公認為移動網際網路之後最大的機會,準確把握人工智慧時代的產業走向,對企業在下一個十年的發展尤為重要。
  • 情感計算是人機互動核心?談深度學習在情感分析中的應用
    其中針對中文語境裡人機互動中的情感、情緒識別與理解,竹間智能已經做了許多有益的探索,特別是如何利用情感、情緒分析,來幫助機器人實現對「對話意圖」與「深層語義」的更好理解。 本文將梳理一下情感計算在人機互動中的價值,同時分享一些情感分析的工具與方法。希望對從事人機互動研究的朋友們有所啟發。
  • 清華大學領銜,99 頁報告揭秘人機互動的發展狀況及未來發展趨勢|...
    觸摸交互界面的優勢是充分利用了人們觸摸物理世界中物體的經驗 ,將間接的交互操作轉化為直接的交互操作 ( Direct Manipulation),從而在保留了一部分觸覺反饋的同時,進一步降低了用戶的學習和認知成本。
  • 清華大學領銜,99 頁報告揭秘人機互動的發展狀況及未來發展趨勢 |...
    觸摸交互界面的優勢是充分利用了人們觸摸物理世界中物體的經驗 ,將間接的交互操作轉化為直接的交互操作 ( Direct  Manipulation),從而在保留了一部分觸覺反饋的同時,進一步降低了用戶的學習和認知成本。
  • 互動設計師修煉指南!教你從零開始成為優秀互動設計師
    本文全系列滿滿乾貨,是從眾多互動設計前輩們分享的寶貴經驗裡挑選出的最實用的方法,不僅能讓你徹底了解互動設計,還能幫有志在這個領域發展,卻苦於沒有老師的童鞋,從零開始學習成為一名優秀的互動設計師。寫博客可以督促學習,動機非常單純,沒有關注過什麼個人品牌和增加名 氣,博客也不能成為評價設計師的標準,作品才是評價設計師的唯一標準。學習和提高個人工作能力都是以做出優秀作品為目標。設計師各個階段需要學習不同難度的知識和做不同的事情,正如我將學習資料劃為三個梯度,希望設計師能由淺到深的學習。一開始沒有項目經驗,缺乏基礎知識,不宜硬啃高難度的資料。
  • 專欄 | 情感計算是人機互動核心?談深度學習在情感分析中的應用
    其中針對中文語境裡人機互動中的情感、情緒識別與理解,竹間智能已經做了許多有益的探索,特別是如何利用情感、情緒分析,來幫助機器人實現對「對話意圖」與「深層語義」的更好理解。本文將梳理一下情感計算在人機互動中的價值,同時分享一些情感分析的工具與方法。希望對從事人機互動研究的朋友們有所啟發。
  • 交互的學習與應用指南
    在設計工作中的作用互動設計是作用與產品、設計、技術三者之間的,負責將三者連貫起來為用戶提供易用的產品。互動設計需要將產品需求具像化,圍繞以用戶為中心進行終端框架設計、服務流程設計以及界面設計定義,同時要儘可能的評估研發的可行性;這也意味著好的互動設計需要對產品、技術、設計都有一定的認知和見解;你可以不會寫代碼,但你要知道技術能否實現如何實現。
  • VR互動設計(二):虛擬世界交互進階——6DOF
    而這種讓用戶無意識間就將自己沉浸其中的場景傳達能力,是VR非常重要的特點。2.1 頭部交互在6DOF中,頭盔的主要作用除了前文中提到的環境感知外,又增強了許多主動性的行為,比如:微動作(歪頭、縮脖子、半身前傾等)、主體移動(可以走、跳、蹲甚至躺)。通過上圖我們可以看到用戶的頭部以及身體能夠依靠與現實世界認知通用的反應來躲避對手的進攻。
  • 〔Part 3〕Oculus Quest手部交互指南之互動設計
    使用直接交互時,空間應保留給最重要的組件或你最頻繁交互的組件。Far-Field Components:這個組件位於手臂觸及範圍之外。要與它們進行交互,你需要在組件附近使用光線投射或移動到其附近,從而將其帶入近場。註:近場和遠場適合一系列的體驗。
  • 交互原則:互動設計七大定律詳解(上)
    這一定律提出之後,在很多領域都得到了應用,但是在人機互動領域的影響尤為深遠,可以說是人機互動領域的第一條定律,它通常被用來解釋滑鼠(PC端)和手勢(移動端)在界面中的移動規律。這項定律尤其適合按鈕等可點擊、可選擇、可交互的元素,目的:易於查找和選擇。作為一個數學模型,菲茲定律是有表達式的,表達式如下:
  • 移動端APP應該如何定義交互規範
    每個APP都有很多交互功能,不同APP的交互效果也有差異,但是它們基本上都遵守統一的交互規範。比如相似的動作、位置、樣式、邏輯。頁面間交互頁面間交互,其實就是一個頁面進入另外一個頁面的交互效果。ios常見使用覆蓋移入效果。Android常見使用向左平移效果,當然返回的時候就是向右平移效果。
  • AI讓遊戲成為一門交互的藝術
    網易通過在遊戲中創造AI虛擬形象來試圖探索未來人機互動的方式:它是隨時可以和你互動的,所有行為、對話都是人工智慧技術實時產生的。「阿初」將是之後打造虛擬形象的切入口。國內外企業專注遊戲AI研究美國企業服務資料庫公司Crunchbase數據顯示,截止到2018年6月,全球共有150餘家AI遊戲企業,研究領域主要集中在遊戲引擎、NPC交互、人機互動等方面。根據數據分析,2019年這個數字還會翻番。
  • 人機互動的內容有哪些_人機互動主要研究什麼
    人機互動的內容有哪些   機交互界面表示模型與設計方法(Model and Methodology)   一個交互界面的好壞,直接影響到軟體開發的成敗。友好人機互動界面的開發離不開好的交互模型與設計方法。因此,研究人機互動界面的表示模型與設計方法,是人機互動的重要研究內容之一。   可用性分析與評估(Usability and Evaluation)   可用性是人機互動系統的重要內容,它關係到人機互動能否達到用戶期待的目標,以及實現這一目標的效率與便捷性。
  • 語言學運用、LSTM+DSSM算法、多模態情感交互
    隨著深度學習在自然語言處理中的運用,訓練數據的質量也成為了智能客服開發的關鍵。特別是服務於金融、電商等垂直行業的智能客服,相關領域的對話訓練數據的質量直接決定了深度學習模型的訓練質量。深度學習的運用也成為區別新一代智能客服區與傳統以關鍵詞、模版為核心的問答機器人的關鍵。   另一方面,客服知識庫是智能客服的核數據,它存儲了所有的問題和相應的答案。
  • iOS10互動設計啟示
    iOS10於一周前正式推送更新,相較於前幾代的系統,他在交互方式上有了比較多的改變,在很多細節設計上,更是值得我們把玩和品位。正如蘋果官方在他的更新說明裡所描述的:「iOS 10是iOS發布史上的重磅之作」。所有iOS10新特性羅列的文章網上已有很多,這裡就不贅述了,本文則將從互動設計的角度出發,聊聊iOS10的變化帶給我們設計上的啟發和借鑑意義。