深度學習下的微表情研究難題:數據捕捉困難,耗時長、樣本小

2021-01-10 澎湃新聞

那些看似不經意的微表情暴露著人們企圖掩飾的內心世界。近日,2019CNCC微表情檢測和識別論壇在蘇州舉行,參會人員對微表情資料庫建立進展,情緒洩露與欺騙的關係、基於深度學習的微表情分析以及未來可能應用領域進行了探討。

面部表情是情感表達的主要窗口。美國心理學家艾伯特·梅·拉別恩曾提出一個公式:情感表達=7%語言+38%聲音+55%面部表情。達爾文在《人類和動物的表情》中也指出,面部表情是人類長期進化的結果。

表情一直都存在,只是隨著信息化和圖像識別技術的發展才得以被更深入認識。

通常,我們指的表情是宏表情,其實還存在兩種難以被人察覺的表情:一種是強度非常低的弱表情;另一種是這次論壇的主題——持續時間非常短的微表情。

目前,微表情研究的三大方向包括微表情資料庫的建立、微表情自動識別和標註技術以及微表情的測謊應用。

微表情資料庫建立困難

2019CNCC微表情檢測和識別論壇邀請了六位主講嘉賓,其中京東數字科技的顏文靖博士、山東大學賁晛燁副教授分別以自己親身經歷為參會人員解讀了微表情的標註以及微表情資料庫的建立過程。

二人均指出,微表情的難以捕捉造成資料庫建立困難。

賁晛燁講解了山東大學在跨源面部宏/微表情資料庫建立的經驗。顏文靖則指出目前兩種微表情的誘發機制,一種是模擬或表演微表情,例如USD-HD資料庫;另一種是通過觀看刺激性視頻誘發微表情,例如CASME資料庫。

顏文靖特別指出,目前應用更多的是後一種偏自然誘發的微表情資料庫。截至目前微表情資料庫樣本量很小,難以突破的困境仍然是無法快速收集足夠多的、質量高的微表情數據集。

據悉,微表情資料庫建立的一個重要任務是對視頻中的微表情進行標註。目前的微表情標註基於都依據美國心理學家保羅·艾克曼(Paul Ekman)於1976年提出的面部行為編碼系統(FACS)。

微表情反映人類內心世界?

保羅·艾克曼認為,微表情不可控的自發性可以反映人類真實的內心情緒狀態,因此微表情最成熟的應用就是測謊,比如人與人之間的信任關係,人的經濟信用問題等。

那些看似不經意的微表情暴露著人們企圖掩飾的內心世界。但用情緒洩露檢測欺騙是否科學?是否是檢測欺騙的唯一線索?論壇中,江西中醫藥大學的申尋兵副教授做了主題為「欺騙檢測的情緒洩露線索」的匯報。他指出,情緒洩露提示大概率存在欺騙,但情緒洩露不等於欺騙。測謊要綜合考察微表情之外更多的洩露通道,比如瞳孔、語音等。

情感計算是強人工智慧的核心技術

目前,機器人的情緒識別與類人情緒的產生同時受到計算機界以及心理學界的廣泛關注。

因此,論壇還邀請了兩位跨領域研究的學者將計算機技術與心理學理論結合為參與人員帶來匯報。

東南大學博士生導師鄭文明教授做了「從宏表情到微表情的情感識別」主題匯報;西安交通大學博士生導師洪曉鵬研究員做了「基於深度學習的自動微表情分析」主題匯報,兩人介紹了微表情自動識別及其智能應用。

參會人員希望,未來微表情的研究成果不僅基於測謊技術應用到安檢、審訊等領域,還能有開闊的應用領域,比如構建以情感機器人為核心的面向孤獨症兒童的社交輔助系統、應用到三維動畫影視中等等。

本次論壇由中國科學院心理研究所副研究員王甦菁博士主持。

相關焦點

  • 深度學習下的微表情研究:困難、進展及趨勢 | CNCC 2019
    事實上,目前已有許多學者在用機器學習的方法進行微表情研究了。一、方法對微表情的研究,在方法上事實上類似於人臉識別,一般包含檢測和識別兩個具體問題。對於人臉識別,一般都是先進行人臉檢測,然後對檢測到的人臉進行識別。這個過程同樣也適用於微表情識別:先從一段長視頻中把發生微表情的視頻片段檢測出來,然後識別該微表情屬於哪一類微表情。
  • 「最強AlphaGo」煉成了,但短期內小數據小樣本學習未必現實
    雖然這些嘉賓都是中科視拓相關的研究人員,但這個圓桌後半部分討論了小數據甚至無數據情況下的一些創新研究方向及可能的難題,這部分內容我們認為很有價值。於是,就獲得官方授權及資料,對這個論壇的一些內容做了整理。概括來說:顏水成認為,GAN可以非常好地去解釋小樣本學習的過程,但最終的模型生成機制還是用大數據學出來的,並不是有一個樣本立即能得到一個模型。
  • 徐良峰:訊問僵局下新的突破口——微表情
    在我國,2009年9月,中國科學院心理研究所所長付小蘭組織成立了研究小組,也開始對微表情與人的情緒機制、無意識狀態之間的關係展開研究,使得微表情的客觀存在再次得到了肯定。  2.自發性  微表情的產生是在外界刺激和心理神經機製作用下自然產生的屬性,屬於生理應激反應,是自然發生的,不能被人控制和隱瞞,因而是無法偽造的。
  • 前沿研究丨深度學習在醫學超聲圖像分析中的應用
    循環神經網絡在實踐中,RNN一般作為一種監督深度學習網絡應用於醫學超聲圖像分析的各種任務中。在RNN中,網絡的深度可以與輸入樣本數據序列(如醫學超聲視頻序列)的長度一樣長。Liu等與Shi等都在兩個小的超聲數據集上使用了監督深度學習算法,稱為深度多項式網絡(DPN),或者它的堆疊版,即堆疊深度多項式網絡(S-DPN)。在預處理即基於剪切波變換的紋理特徵提取和感興趣區域(ROI)提取和SVM分類器(或多核學習)的幫助下,獲得了92.4%的最高分類準確率,優於無監督深度學習算法(如堆疊AE和DVM)。
  • ...鄭冶楓:醫學影像AI為什麼需要小樣本學習和域自適應技術? | CCF...
    數據整個AI研發過程中最大的難題,其他領域通過爬蟲、眾包的方式可以獲取大量已經標註的數據。這在醫療領域就非常困難,首先像核磁、CT等特定部位數據量和來源非常少,而且這些數據中往往還存在大量噪音。此外數據標註過程也比較困難,醫療數據的標註往往需要十年以上行業經驗的醫生才能完成。
  • 談談實現小樣本學習的兩條路徑
    小樣本學習是當下機器學習界的一個核心課題。大數據是當下深度學習的咽喉,面臨收集成本昂貴,甚至根本無法採集的弊端, 小樣本學習的實踐價值不言而喻。對於眾多產業來說, 真正能夠收集到大量樣本的是極少數情況,比如人臉識別,網際網路上的文本等。而更廣大的行業, 數據本身收集就很難,一些隱私倫理等障礙難以跨越,比收集數據更難的還有標註,大數據支撐的機器學習基本使用無望。
  • 幾個分析微表情的小技巧,教你如何看穿人心,越來越聰明
    節目組還專門請來了一個微表情專家來幫助選手對人們描述經歷和回答選手問題時的微表情進行分析,從而判斷說的經歷的真實性,準確率特別高。本期分享,我們就來聊分析微表情的小技巧,教你如何看穿人心,越來越聰明。微表情辨謊小技巧,看穿人心真與假所謂「微表情」,是指那些持續時間特別短的表情,這個持續時間短到只有1/25 秒至 1/5 秒而已。
  • 虛擬人物也有小情緒!迪士尼研發深度語義面部模型,讓表情更豐富
    近期,迪士尼和麻省理工學院的研究人員合作研發了一種基於深度神經網絡的語義面部模型,用於快速製造多個具有細節特徵的人物頭像,該論文《深度語義面部模型(Semantic Deep Face Models)》發表至3D視覺國際會議。
  • 基於深度學習的人臉識別技術全解
    基於幾何特徵的方法符合人們對人臉特徵的認識,另外,每幅人臉只存儲一個特徵,所以佔用的空間比較小; 同時,這種方法對光照引起的變化並不會降低其識別率,而且特徵模板的匹配和識別率比較高。但是,基於幾何特徵的方法也存在著魯棒性不好,一旦表情和姿態稍微變化,識別效果將大打折扣。 基於深度學習的方法 深度學習的出現使人臉識別技術取得了突破性進展。
  • 圖像識別中的深度學習【香港中文大學王曉剛】
    例如,為了改進神經網絡的訓練,學者提出了非監督和逐層的預訓練,使得在利用反向傳播算法對網絡進行全局優化之前,網絡參數能達到一個好的起始點,從而在訓練完成時能達到一個較好的局部極小點。  深度學習在計算機視覺領域最具影響力的突破發生在2012年,欣頓的研究小組採用深度學習贏得了ImageNet圖像分類比賽的冠軍[3]。
  • 小樣本學習(Few-shot Learning)綜述
    問題定義人類非常擅長通過極少量的樣本識別一個新物體,比如小孩子只需要書中的一些圖片就可以認識什麼是「斑馬」,什麼是「犀牛」。在人類的快速學習能力的啟發下,研究人員希望機器學習模型在學習了一定類別的大量數據後,對於新的類別,只需要少量的樣本就能快速學習,這就是 Few-shot Learning 要解決的問題。
  • 深度學習助力數據壓縮,一文讀懂相關理論
    與傳統壓縮技術相比,基於深度學習的方法具有下列的天然優勢:由於深度學習的參數是基於大量實際數據推導出來的,而傳統的數據壓縮編碼方法主要是基於先驗知識手工構建的,因此深度學習的優良內容自適應性優於基於信號處理的模型。
  • 如何將深度學習應用於無人機圖像的目標檢測
    本文全面概述了基於深度學習的對無人機航拍圖像進行物體檢測的方法。隨著基於深度學習的計算機視覺為這些無人機「提供動力」,行業專家們預測無人機將在以前難以想像的應用場景中被前所未有地廣泛使用。我們將探索一些應用以及伴隨著它們的挑戰,這些應用基於深度學習完成了基於無人機的自動化監測。在最後,我們將展示一個使用Nanonets機器學習框架對非洲住房項目進行遠程監測的案例。
  • 業界| 深度學習與XGBoost在小數據集上的測評,你怎麼看?(附源碼)
    作者:Max Brggen機器之心編譯參與:蔣思源近來,部分機器學習從業者對深度學習不能訓練小數據集這一觀點表示懷疑,他們普遍認為如果深度學習經過優良的調參,那麼就不會出現過擬合和過訓練情況,也就能較好地從小數據集學習不錯的模型。
  • 從微表情了解一個人
    眾所周知,人類的表情是極為豐富的,細細劃分能夠達到7000種以上。這些表情雖然最短的只能維持1/25秒,卻是心底想法的真實流露。而且越是短暫的表情,越是下意識的表情,同時也就越容易表露真實的心聲。當然,出於種種原因,我們會從主觀意識上故意隱藏自己的真實想法,同時在表情和動作上加以掩飾。但我們不經意間流露出來的一些小動作和表情,卻是難以掩飾的,而這些小的表情和動作,正是心理學研究的對象,其專業名稱為微表情和微動作。當我們能夠對此進行充分了解後,就能夠掌握一定程度的心理學知識,從而儘快、儘早、儘可能地了解對方內心世界的真實想法。
  • 關於MATLAB 圖像處理與深度學習的作用分析和介紹
    接下來我們將介紹如何創建該算法,並說明為何深度學習和圖像處理對於對象檢測和圖像分類同樣十分有用。 圖像處理與深度學習 我們重點介紹兩種技術: 圖像處理 按像素級別變換或者修改圖像。比如,過濾、模糊、去模糊和邊緣檢測等; 深度學習 通過學習樣本圖像自動識別圖像特點。近幾年,深度學習已經徹底改變了圖像處理領域。
  • 探尋對方的真實意圖,從微表情開始
    微表情的意義表情是我們每天都會見到或者展示給他人的東西。然而微表情卻很容易讓人忽視。與表情相對應的微表情,主要研究方向是人們的被動神經下帶來的意識。這些本能自發的東西,往往是最真實的想法。某些時候,甚至當事人都不曾了解自己的真實感受,但通過微表情卻能略知一二。如果我們對微表情有一定的認識。那麼在日常的溝通和談話中。會更容易探尋對方的潛在意圖。人的內在,從來不會說謊。微表情的觀察,是需要對一個固定對象進行一段時間的數據採集之後才能得出準確的分析結果。儘管如此,我們在素味平生的人中,也可以發現一些共性的表現。
  • 谷歌《Cell》論文:光學顯微鏡+深度學習=螢光顯微鏡
    對於這項研究,谷歌開源了網絡設計、完整的訓練數據和測試數據、經過訓練後的模型檢查點以及示例代碼。研究背景透射光顯微鏡技術雖然易用,但是其也會生成難以分辨的圖像。例如,下圖就是一張相襯顯微鏡得到的圖像,其中像素的顏色深度表示了光線穿過樣本時相位變化的程度。
  • 可微分式編程:深度學習發展的新趨勢?
    「深度學習」最近的成功常被歸功於更大量的可用數據、更強大的計算系統,以及大科技公司對這一領域突然增加的興趣和投入。這些不斷增長的資源確實客觀上有助於當前人工智慧的快速發展,雖然大公司一直以來都投入了大量資源到各種機器學習方法中,但只有深度學習取得了如此令人難以置信的進展;其他機器學習方法雖然也有改進,但是遠遠沒有達到可以與深度學習相提並論的程度。
  • 氣溶膠細模態比例參數反演的深度學習遙感方法 | 微課堂
    衛星遙感反演提取AOD信息的技術已經較為成熟,而FMF反演是較為困難的。因此在通過衛星遙感估算PM2.5等研究中,缺乏區分氣溶膠顆粒粗細的關鍵參量。陸地上空FMF因遙感機理複雜、觀測信息缺乏等原因導致反演困難,美國宇航局MODIS氣溶膠官方團隊對其發布的FMF產品因精度低而「強烈建議不要定量化使用」。