大數據文摘出品
來源：nature
編譯：趙吉克、馬莉、李雷、錢天培
AI面部情緒識別軟體鋪天蓋地，但心理學家對其根本假設就存有質疑。
我們能否通過面部表情來識別情緒呢？
開心時眉開眼笑，生氣時眉頭緊皺，吃驚時瞪大眼睛。人類表達情緒的表情似乎雖不完全相同，卻也還算整齊劃一。
這不，許多AI也開始學習如何通過面部表情判斷對象的情緒。通過「觀看」一張張面部表情的照片，配上情緒的標籤，AI就可以相當準確地預測出一張從未出現在訓練數據中的人臉的情緒。
然後，再回到最一開始的問題：通過面部表情識別情緒，這件事本身靠不靠譜呢？對於這個問題，心理學家們已經爭論了近百年。
2018年，心理學家Rachael Jack和她的同事招募了80人參加一項有趣的測試。
測試者被展示成百上千張人臉。有的睜大眼睛，有的緊閉雙唇。有些人眼睛緊閉，臉頰抬高，嘴巴張開。面對每個面孔，他們必須回答這個簡單的問題：Ta正在經歷性高潮還是突發疼痛？
這一測試正式想要探討一個長期存在且高度敏感的問題：面部表情能如實傳達情感嗎？
事實上，幾十年來，研究人員一直在問人們，他們在別人臉上看到了什麼情緒。研究涵蓋了來自不同國家的成年人和兒童，以及世界偏遠地區的土著居民。
20世紀60年代和70年代，美國心理學家保羅·埃克曼(Paul Ekman)進行了一項頗具影響力的觀察，結果表明，在全世界範圍內，人們都可以從面部表情相對準確地推斷出情緒狀態——這似乎意味著情緒表情是普遍存在的。
這些思想在當時沒有受到挑戰，但新生代心理學家和認知科學家一直在重新審視這些數據，並對結論提出質疑。許多研究人員認為，現實圖景比描述的要複雜得多，而且面部表情在不同的語境和文化之間存在很大差異。例如，Jack的研究發現，儘管西方人和東亞人對臉部如何表現痛苦有相似的概念，但他們對快樂的表達有不同的看法。
研究人員對埃克曼的結論有效性的分歧越來越大，但這場辯論並沒有阻止公司和政府接受他的說法，即面部表情是情緒的預言。例如，在諸多的西方法律體系中，解讀被告的情緒是公平審判的一部分。正如美國最高法院(US Supreme Court)法官安東尼甘迺迪(Anthony Kennedy)在1992年所寫的那樣，這樣做對於「了解罪犯的內心和思想」是必要的。
解碼情緒也是埃克曼為美國運輸安全管理局(TSA)設計的培訓項目的核心。項目名為SPOT(通過觀察技術對乘客進行篩查)，目的是教會運輸安全管理局的工作人員如何對乘客進行監控，以發現幾十種潛在的可疑跡象，這些跡象可能暗示著壓力、欺騙或恐懼。該項目於2007年推出，但它受到了科學家、美國國會議員和美國公民自由聯盟(American Civil Liberties Union)等組織的廣泛批評，稱它不準確，存在種族偏見。
這樣的擔憂同樣適用於科技企業的行為。一些公司已經開發了軟體來評估求職者的適合程度、檢測謊言、讓廣告更具吸引力，以及診斷從痴呆症到抑鬱症的各種疾病。據估計，該行業的價值高達數百億美元。包括微軟(Microsoft)、IBM和亞馬遜(Amazon)在內的科技巨頭，以及更多的專業公司，如麻薩諸塞州波士頓的艾裡蒂瓦(affect tiva)和佛羅裡達州邁阿密的神經數據實驗室(NeuroData Lab)，都提供了旨在從面部識別一個人的情緒的算法。
由於研究人員仍在爭論人們是否能真實有效地表達或感知情感，許多業內人士認為，讓電腦自動表達情感還為時過早——尤其是在這項技術可能產生破壞性影響的情況下。紐約大學的研究中心AI Now研究所甚至呼籲禁止在招聘或執法等敏感場合使用情緒識別技術。
俄亥俄州立大學哥倫布分校研究面部表情的阿歷克斯·馬丁內斯(Aleix Martinez)說，即使是對人來說，面部表情也極難解讀。考慮到這一點，他說，對於自動化的趨勢，「我們應當格外謹慎」。
人類表情或許「虛有其表」
人類的臉有43塊肌肉，可以拉伸、提升和扭曲成幾十種表情。儘管人類活動範圍很廣，但科學家們長期以來一直認為，某些特定的表情傳達了特定的情感。
達爾文是推動這一觀點的人之一。他1859年出版的《物種起源》一書，是艱苦野外工作的成果，是觀察方面的大師之作。而他的第二部最有影響力的作品，則是《人與動物的情感表達》(1872)。
達爾文注意到，靈長類動物的面部表情看起來也有人類的情緒表達，比如厭惡或恐懼，並認為這些表情一定具有某種適應功能。例如，噘起嘴唇、皺起鼻子和眯起眼睛——一種與厭惡有關的表情——可能是為了保護個體免受有害病原體的侵害。只有當社交行為開始發展時，這些面部表情才會有更多的交流作用。
達爾文的情感專著中有大量的擺姿勢的表達，比如這些主題盡力模仿悲傷。
埃克曼在20世紀60年代第一次進行跨文化實地研究支持了這一假設。他測試了全世界範圍內6種主要情緒的表達和感知——快樂、悲傷、憤怒、恐懼、驚訝和厭惡，這甚至包括了紐幾內亞的一個偏遠地區。
埃克曼告訴《自然》雜誌，他選擇這六種表達方式是出於實際原因。他說，有些情緒，如羞愧或內疚，無法明確量化。「我關注的六種情緒確實有表達方式，這意味著它們是可以研究的。」
埃克曼說，這些早期的研究證明了達爾文進化論所期望的普遍性。後來的研究也支持了這一觀點，即某些面部表情可能具有適應優勢。
波士頓東北大學(Northeastern University)研究情緒的心理學家麗莎費爾德曼巴雷特(Lisa Feldman Barrett)表示:「長期以來，人們一直認為面部表情是一種必須的動作。」換句話說，我們的臉無法隱藏我們的情緒。這種假設的一個明顯的問題是，人們可以偽造情感，可以在不動用面部的情況下體驗情感。埃克曼團隊的研究人員承認，每種情緒表達的「金標準」可能存在相當大的差異。
但越來越多的研究人員認為，這種差異是如此之大，以至於判斷標準都擴展到了臨界閾值。這一觀點得到了大量文獻的支持。幾年前，《公共利益心理科學》(Psychological Science in the Public Interest)雜誌的編輯們召集了一組意見相左的作者，請他們回顧相關文獻。
領導這個團隊的巴雷特說:「我們盡了最大的努力把先驗知識放在一邊，放棄假設，深入研究了數據。當出現分歧時，我們只是擴大了尋找證據的範圍。」他們最終閱讀了大約1000篇論文。兩年半之後，研究小組得出了一個明顯的結論:幾乎沒有證據表明，人們可以從一組面部動作準確推斷出他人的情緒狀態。
該小組援引了一些研究作為一個極端，這些研究發現面部活動與內在情感狀態沒有明顯關聯。英國萊斯特郡德蒙福特大學的心理學家Carlos Crivelli一直研究巴布紐幾內亞特羅布裡恩群島的居民，在他的研究中沒有發現任何支持Ekman結論的證據。Crivelli總結認為，試圖通過外部標記來衡量內在精神狀態就好比是在用長度來測量質量。
共同表情（universal expressions）缺乏證據支持的另一原因則是面部並不能代表情感的全部。在我們感知和表現情感的過程中，包括肢體語言、性格、語氣、膚色變化在內的其他方面也發揮著重要作用。例如，情緒狀態的變化會影響血流，從而進一步影響到膚色。Martinez與他的同事已經證明，膚色變化與情緒能夠關聯起來。視覺環境，例如背景場景，也能提供某些人情緒狀態的線索。
從左上開始：籃球運動員Zion Williamson慶賀灌籃；墨西哥球迷慶祝世界盃小組賽勝利；2012年歌手Adele獲得格萊美年度最佳專輯；Justin Bieber在墨西哥城音樂會現場叫喊
混合的人類情感導致表情可能重合
其他研究人員認為，對Ekman研究結果的辯論（push-back）有些過熱，尤其是Ekman本人。2014年，為了回應Barrett的批評，Ekman明確指出了一系列支持他之前結論的研究工作，包括關於人類自然的面部表情的研究、以及表情與隱藏其下的大腦與身體狀態關聯性的研究。
他寫道，這些工作表明，面部表情不僅傳遞了個體感情的信息，而且還能提供神經心理激活模式的信息。他說，他的觀點沒有改變。
加拿大溫哥華英屬哥倫比亞大學的心理學家Jessica Tracy認為，基於反面例證斷定Ekman共同性理論錯誤的研究者們有些言過其實。她說，在一類人群或一種文化中，理解憤怒的面部表情略有差異並不能推翻整個理論。她引用了將近100項研究的分析結果，發現大部分人在看到一張憤怒的面孔時能識別出來。「大量證據表明，全球大多數文化的大多數人看得出這個表情是共通的。」
Tracy和另外三位心理學家爭辯說，Barrett的文獻綜述諷刺了他們的立場，認為他們是在六種情緒和面部活動間建立一對一的僵化映射。阿姆斯特丹大學的Disa Sauter說：「我所知的情感科學領域的研究人員都不認為是這麼回事。」
Sauter和Tracy認為，理解面部表情需要建立一個信息豐富的情感分類系統。不能把幸福（happiness）視為單一的情感，研究人員應該對情感類別進行分解，幸福（happiness）項下涵蓋了joy（愉悅）、pleasure（滿足）、compassion（同情）、自豪（pride）等等。每種情感的表情可能不同，可能重合。
這場辯論的核心是如何定義「顯著」。在一項研究中，參與者需要在6個情感標籤中為他們看到的每張面孔挑選一個。一些研究人員可能認為，一個標籤被選擇了超過20%次就代表了顯著的共性。其他研究人員或許認為20%比例太低。Jack爭辯說Ekman的閾值太低。她閱讀了Ekman博士期間的論文。她說，「我一直找我的導師，給他看這些60-70年代的圖表，每張圖表都表明文化認知的巨大差異。現在仍然沒有數據可以表明，情感能被普遍認知。」
除了顯著性之外，研究人員對主觀性也存在爭論。許多研究依賴於測試初始時實驗人員貼情感標籤，以便於最終結果能夠比較。Barrett、Jake和其他研究人員試圖尋找更加中立的方法來研究情感。Barrett期望利用生理指標，為憤怒（anger）、恐懼（fear）或愉悅（joy）提供近似表徵。Jack利用計算機隨機生成的面部表情，而不是利用張貼的照片，以避免固化在常見的六種表情上。其他研究人員要求參與者將面部歸入能捕獲情感的儘可能多的類別中；或者選擇不同文化的參與者，並使用他們自己的語言標記圖片。
生物信息學觀點：需要更多數據
科技公司常常不允許他們的算法有自由聯想的空間。典型的情感識別AI程序需要輸入數百萬張面部圖片和數百小時視頻片段，其中每種情緒都做了標註，程序能從中識別模式。
Affectiva聲稱，它的軟體接受了來自87個國家700多萬張面孔的訓練，準確率達到了90%以上。該公司拒絕評論其算法的底層理論。Neurodata Lab承認，面部表達情緒存在差異，但當一個人某種情緒發作時，出現某些面部形態會更加頻繁，他們的算法則考慮了這種共同性。然而，出於對訓練算法的數據的顧慮以及學界尚存爭論的事實，前述辯論雙方的研究人員對這類軟體均有質疑。
Ekman說，他已經直接挑戰了這些公司的言論。他寫信給幾家公司（他沒有說明是哪幾家公司，只說他們是全球最大的幾家軟體公司），要求查看其自動化技術可行的相關證據，但至今尚未收到回復。他說：「據我所知，他們正在對沒有事實根據的東西進行主張。」
Martinez承認，自動情緒檢測只能揭示一類人一般的情緒反應。例如，Affectiva面向營銷機構銷售軟體，標榜該軟體有助於預測某類客戶對一個產品或營銷活動的反應。
即使軟體犯錯，也無關緊要——只是廣告宣傳可能比預計效果略差一些罷了。但有些算法正應用於對人們生活有重大影響的領域，如工作面試和邊境檢查。去年，匈牙利、拉脫維亞和希臘試點應用了一個預先篩選旅行者的系統，旨在通過分析臉上的微表情來發現欺詐。
解決情感與表情的辯論需要不同類型的調查。Barrett上個月拜訪了微軟，並經常要求向技術公司展示她的研究。她認為研究者需要做達爾文撰寫《物種起源》時所做的工作：「觀察、觀察、觀察」。觀察人們在現實生活中用面部和身體來表達什麼，而不僅僅是在實驗室觀察。利用機器記錄和分析現實世界的片段。
Barrett認為，更多的數據和分析技術有助於研究人員發現新東西，而不是要重溫陳舊的數據和實驗。技術公司們急切地開發著她和許多人日益視為不可靠的科學，因此她向那些技術公司發出了公開挑戰。
她說：「我們正站在絕壁上。人工智慧公司將繼續採納這些有缺陷的假設，還是去做那些需要做的事呢？」
相關報導：
https://www.nature.com/articles/d41586-020-00507-5