福祉科普|表情識別——讓機器了解你的情緒

2020-12-19 福祉科創

英國一家慈善組織的數據顯示：75歲以上老人中有一半都處在獨居狀態，而這些老年人中有超過100萬都在孤獨中度日。甚至每天有超過36%的老人都無法與他人交流，有11%的老人則表示，他們每個月中可能有5天以上都見不到任何人。並且隨著社會壓力的增大，子女陪伴老人的時間將越來越少，如何消除老人的孤獨感也逐漸成為了社會的關注點，而陪護機器人也在這樣的背景下誕生了。

現有的陪護機器人，不僅可以提供生理監測、遠程呼叫以及視頻對話等服務功能。還可以通過人工智慧的方法來理解老人的話語，識別老人的表情和情緒，從而提供更加智能化的陪護服務，真正的成為老人的陪護夥伴，而不是冷冰冰的機器。而表情識別是讓其具有人性化的關鍵技術，也是我們今天所要科普的主要內容。

1. 表情識別的意義

我們每天都在展示著自己的表情，表情的具體定義什麼呢？這裡引入維基百科對於表情的定義：

面部表情是面部肌肉的一個或多個動作或狀態的結果。這些運動表達了個體對觀察者的情緒狀態。面部表情是非語言交際的一種形式。它是表達人類之間的社會信息的主要手段，不過也發生在大多數其他哺乳動物和其他一些動物物種中。

人類的面部表情至少有21種，除了常見的高興、吃驚、悲傷、憤怒、厭惡和恐懼6種，還有驚喜（高興+吃驚）、悲憤（悲傷+憤怒）等15種可被區分的複合表情。

簡單來說，面部表情是語言的一部分，可以用於情感的傳播。因此我們可以從表情這種面部運動來理解人們當前所擁有的情緒，當機器人能夠成功對這種運動進行捕捉之後，就可以理解人的情緒，從而提供更加具有人性化的應對策略。

早在1971年，Ekman和Friesen就研究了人類的6種基本表情，並提供了對應的面部變化，具體可以見下表。

圖1: 表情臉的運動特徵具體表現 來源2

可以發現6項基本的表情都有與之對應的面部運動特徵，從而當我們能夠獲取對應的特徵的時候，我們也就可以解讀出當前的表情是什麼，這也為之後的表情識別奠定了基礎。

2. 表情識別的應用

面部表情識別技術具有很多的應用領域，主要包括人機互動、智能控制、安全、醫療、通信等領域。而陪護機器人中的應用主要歸屬於人機互動。對於其他領域，例如在公共安全監控方面，可以根據表情判斷是否出現了異常情緒，從而進行預防犯罪。此外，還可以在利用商場中的攝像頭來捕獲商場或門店的顧客畫面，分析其面部的表情，從而進一步的解讀出客人的情緒信息，用於分析顧客在商場的體驗滿意度。

目前這項技術的開發已經較為成熟，提供了很多開源的接口，例如微軟提供了免費試用的表情識別的API接口，並通過JSON返回識別的結果。具體連結為https://azure.microsoft.com/zh-cn/free/cognitive-services/。

圖2：微軟在線表情識別展示（來源2）

另外隨著表情識別的技術逐漸推廣，其所使用的數據集也越來越全面。下面列舉出了幾個常用的開源數據集：

a. KDEF與AKDEF（karolinska directed emotional faces）數據集

b. RaFD數據集

c. CelebFaces Attributes Dataset（CelebA）數據集

d. Japanese Female Facial Expression（JAFFE）Database

3. 表情識別的算法

表情識別的過程主要由四個部分組成，分別是圖像獲取、人臉檢測、特徵提取、特徵分類。在傳統研究方法中，特徵提取是最為複雜的工作，其主要的方法有提取幾何特徵、統計特徵、頻率域特徵和運動特徵。

這裡主要介紹一下給予整體統計特徵的方法，這種方法主要強調儘可能多的保留原始人臉表情圖像中的信息，並允許分類器發現表情圖像中的相關特徵，通過對整幅人臉表情圖片進行變換，獲取特徵進行識別。其主要使用的方法為PCA（主成分分析）和ICA（獨立主元分析）。但是這種方法會受到外來因素的幹擾，如光照、角度、複雜背景等。

隨著神經網絡、深度學習的逐漸發展，現在一般都是使用CNN模型來對圖像進行特徵提取，從而避免了人工提取特徵的繁瑣工作。同時深度學習還具有分類的功能，可以直接實現端到端的面部表情識別，極大的提高了表情識別的效率。

圖3:神經網絡工作工程（來源2）

深度學習模型通過訓練能夠快速捕捉到人臉上對應的特徵點位置，從而可以計算出面部五官的相對運動，結合表情和面部運動之間的關係，即可得出當前圖片中的表情狀態。而在現有的研究當中，會通過使用GAN網絡來生成人臉圖片，從而在提高模型精度的同時也保證模型的魯棒性。

圖4:提取人臉特徵並識別表情（來源4）

小編也從github上查看到一個開源的表情識別項目進行了測試，能夠實現簡單的表情識別。其對應的地址為https://github.com/omar178/Emotion-recognition。

圖5:demo測試

表情識別的精度還有很大的提升空間，相信不久的將來利用人工智慧可以快速準確的識別人的表情。從而可以極大的提升陪護機器人的智能程度，讓機器也能知道老人的情緒冷暖，從而給予老人最貼心的關照，消除老人的孤獨感。

參考文獻：

[1] 陪伴機器人，讓老人不再孤單.

[2] 實驗筆記 - 表情識別.

[3] Emotient的表情識別技術的門檻是什麼，有哪些應用場景？

[4] 人臉表情識別概述.

[5] 人臉表情識別研究技術綜述

[6] https://github.com/omar178/Emotion-recognition

相關焦點

  • 表情包AI生成器:識別人臉情緒,自動配文字
    「急民之所急」，表情包自動生成器出現了。以往的此類生成器，只是簡單的圖片配文字，總覺得有點文不對題。這一次，作者巧妙利用卷積神經網絡，做到了識別圖片中的情緒（僅限人臉喲），這樣配上的文字可信度就比較契合語境了。鬥圖走一波。
  • AI能分清人類情緒?情緒識別或將創造AI「經濟新模式」
    ，但在更深層次的「情緒」識別上，人工智慧正在讓你臉上的表情，成為一種新的「經濟模式」。這一模式下也促使了國內人工智慧在各領域飛速發展，誕生了諸如曠視科技、商湯科技、極鏈科技Video++、依圖科技等優秀人工智慧初創企業。
  • 自閉兒的情緒識別這樣教
    四個關鍵請掌握），但因為自閉症孩童的泛化能力較弱，如果沒有經過足夠的泛化練習，孩子則可能依舊不了解情緒。以至於許多父母仍然會有些許疑問，比如：怎麼一步一步的帶領孩子認識情緒？怎麼讓孩子將情緒對應在現實生活中？等等。今天我們就要一步一步的將情緒識別的步驟拆解，讓父母們可以更清楚的了解到怎麼幫助孩子將不同的情緒融入到生活的場景中。
  • 讓電腦識別人的表情或是一個不錯的生意
    Realeyes 是歐洲一家面部表情追蹤公司，目前已經擁有500萬幀的人臉資料庫，未來將有可能在人體面部表情識別上■閱讀表情被攝入資料庫 正如公司名稱Realeyes（真實的眼睛）的隱喻一樣，這家成立於2007年6月的創業公司，主要業務是利用圖像處理、人工智慧、計算機視覺等技術幫助，通過攝像頭或智慧型手機收集面部表情數據，以便進行人類情緒識別和行為反應分析。
  • AI情緒識別準確率可達90% 若被AI看穿,我們怎麼辦?
    隨著人工智慧（AI）情緒識別技術的發展，機器已經能識別人類情緒的變化。情緒識別正被越來越廣泛地應用於機器智能中，也許有一天，人類會被AI徹底看穿。近日，中國臺灣聯合大學研究人員在IEEE ACCESS上發表論文，提出用特定連續動作間骨骼點速度的變化程度，來區分人類微妙情緒變化的新方法。該方法與時空圖卷積網絡（ST-GCN）相比，「可有效地將識別精度提高50％以上」。
  • 心理學家打破固有認知:日常情緒不能僅通過面部表情來識別
    心理學家針對數百篇關於面部表情和潛在情緒之間關係的論文進行了一項分析研究，得出的結論有點兒令人意外：並沒有翔實的科學證據表明，人們的日常情緒可以通過面部表情來識別。也就是說，一個沒有面帶微笑的人，並不意味著他不快樂。心理學家發現，以城市為生活背景的成年人，生氣時皺眉的機率平均為30%。這就意味著， 人們在生氣時，大約有70%的情況是不會皺眉的。
  • 亞馬遜的AI情緒識別軟體竟然混淆情感表達
    它真正的著重點是，人們做出的表情非常具有情境性，受這些機器未關注因素的影響很大。」在這種情況下，人們的表情更多的是對情況的反應，而不是內在情緒的表現。「人們表現出來的很多東西並不一定就是他們的感覺，」格蘭奇說。情緒檢測軟體無法對此進行區分。
  • 【人臉表情識別】基於圖片的人臉表情識別,基本概念和數據集
    本專欄討論的內容是通過計算機視覺技術識別人的面部表情以理解人的情緒狀態，即人臉表情識別（Facial Expression Recognition）。但在筆者剛入坑查找相關文獻的時候，發現有許多類似的詞語，比如中文裡面的「情緒識別」、」感情識別「，英文裡面的」emotion「、」sentiment「、」affect「.其實之所以有這麼多相似詞語，主要是因為不同領域表達方式及使用習慣不同。
  • 基於AU人臉運動單元 識別假笑男孩的真實表情
    人們總是覺得機器冷冰冰的，不食人間煙火，而情緒情感識別則真正為人們搭建起了與他人溝通的橋梁。如果機器能識別面對對象當下的情緒，就能更好地做出反應。情緒識別也是人工智慧領域裡的熱門研究課題。想必大家對假笑男孩的表情包都不陌生，那怎麼樣才能識別出圖片中的小男孩的真實表情呢？相較於較為常見的圖片分類模型，我們今天來聊一聊一種基於AU（人臉運動單元）的情緒識別方法。
  • 科普:人臉至少有21種表情
    科普：人臉至少有21種表情來源：新華網2014年04月01日 09:34:51顯示圖片     新華網華盛頓３月３１日電（記者林小春）喜怒哀樂溢於言表，那麼人的面部到底能表達出多少種不同的情感呢    美國俄亥俄州立大學研究人員３１日在美國《國家科學院學報》上報告說，他們利用一個叫面部運動編碼系統的計算機軟體，對２３０人的約５０００張面部表情照片一一分析，識別被用於表達情感的面部肌肉。結果發現，人臉獨特且可辨識的情緒表達比以前認為的要多。    「幾個世紀以來，科學家們認為我們的表情可能只有高興、吃驚、悲傷、憤怒、厭惡和恐懼這６種。
  • 零起步,數據科學家手把手教你coding表情識別(內附代碼)
    人臉識別是一個靜態識別問題，最經典的人臉識別案例就是輸入兩張人臉照片，然後讓機器去判定兩張臉是不是屬於同一個人。而表情識別是給定一個人臉的連續動作幀，是一個時間段內表情變化的動態判定問題。人臉識別實際上是個去表情的過程，不管作出什麼表情，不管是哭還是笑，都要想辦法去識別為同一個人。
  • 和人類一樣,這種小動物也能用面部表情表達情緒
    每個人表達情緒的面部表情都是基本一致的。例如，當討厭某種東西時，我們的眼睛會眯起來，鼻子會皺起來，上嘴唇也會變得扭曲。即便是新生兒，也可以通過面部表情來傳達悲傷、開心等情緒。不僅如此，我們還覺得可以通過面部表情來了解寵物的感受。相比之下，其它動物在人類看來似乎是面無表情的。
  • 精準識別極端情緒,AI客服發出預警救人一命
    當前，人工智慧已經具備很高的感知能力，這主要指模仿人的視覺、聽覺等感知能力識別業務場景中的視頻、圖片、語音和文本等信息。比如通過語音識別技術，把語音轉換為文字或從一份報告中提取出特定文字等。但是感知他人情緒的認知智能更為複雜，包含歸納總結、思考推理等能力。
  • 2021年將沒有新Emoji表情 為你科普一下Emoji表情是怎麼來
    2021年將沒有新Emoji表情 為你科普一下Emoji表情是怎麼來時間：2020-04-13 18:39   來源：今日頭條   責任編輯：沫朵 川北在線核心提示：原標題：2021年將沒有新Emoji表情 為你科普一下Emoji表情是怎麼來 受疫情影響，Unicode聯盟已決定將Unicode標準14.0版本的發布推遲到
  • 腦杏仁核有助識別表情
    本報訊 人們如何從他人的面部表情中識別情緒呢？一種名為杏仁核的組織對此起到關鍵作用，它體積很小並呈扁桃仁狀，位於大腦的深層區域。不過，目前還不清楚它是如何對解讀他人的面部表情產生影響的。 為了了解更多，神經科學家將電極植入即將接受大腦手術的7名癲癇患者的杏仁核中。實驗中，科學家讓患者瀏覽各種面部表情照片，有開心的也有恐懼的。最後，他們總共記錄到200次杏仁核神經的活動，並對這些神經的反應方式進行了判斷。
  • 了解孩子的情緒，從教孩子識別及命名他的感覺開始
    那麼現在我們必須要做的，就是教會孩子認識自己的感覺，並用文字描述出它們來，能說出「我感到難過」,「我很沮喪」，或是「你這樣做傷我心了」「我很生氣」「我心裡不舒服」等等。當孩子能識別自己的感覺，並能向父母說出他的感覺的時候，這意味著孩子將內在的東西表達了出來，將不為人所知的情緒告知了他人，這時家長應該給予共情，並表示感同身受。
  • 情感計算:讓機器更加智能
    舉個例子，如果一對情侶吵架，而有一方顯得過於冷漠，那麼另一方很有可能向對方說出類似於「你是一個沒有情感的機器」的話。因此，機器是否具有情感是機器人性化程度高低的關鍵因素之一。情感計算主要有「識別」，「表達」和「決策」這三個研究方向，「識別」主要是研究如何讓機器準確識人類的情感，並消除不確定性和歧義性。「表達」主要是研究如何把情感以合適的信息載體表示出來，如語言、聲音、姿態和表情等。而「決策」則主要研究如何利用情感機制來進行更好地決策。
  • 能跟人類對話還不夠,機器人還得會用表情、手勢表達情緒|SIGGRAPH...
    目前對於社交機器人來說，更多的研究都集中在「讓機器人如何理解人類的語言」方面，這也是Nadine與這些機器人不同的地方，Nadine的研究方向是，除了能讓她理解人類的語言並和人類交流之外，還會有自己的表情和動作，並且這些表情和動作能夠表達她的情緒，同時，她也能夠通過識別人類的表情和動作來理解人類的情緒。這樣就大大的增加了機器人在社會環境中與人互動的能力。
  • 科普中國×華為數據存儲與機器視覺產品線:眾裡尋懂科普的你!
    科普中國×華為數據存儲與機器視覺產品線：眾裡尋懂科普的你！ 構建智能世界的第一步就要先了解「數據基礎設施」,以及讓更多人了解「數據基礎設施」的重要性。 如果你對「數據基礎設施」抱有興趣,或者你對「數據基礎設施」十分了解。 那麼……它來了!它來了!它帶著徵集令走來了!
  • 迪士尼研發表情監測系統,用AI捕捉觀眾看電影時的情緒
    為此，加州理工學院和迪士尼研究院合作開發了一套神經網絡系統，能夠追蹤觀眾的面部表情，來預測和了解觀眾對電影的反應。雷鋒網(公眾號：雷鋒網)消息，該項目於正在舉辦的國際計算機視覺與模式識別頂級會議CVPR上亮相，據悉，這種新的方式能夠相對簡單、可靠、實時地對影院中的觀眾的面部表情進行識別和跟蹤。