ECCV 2020 | 人臉識別的可解釋性

2021-02-20 CVer

論文標題：Explainable Face Recognition
論文連結：https://arxiv.org/abs/2008.00916
論文代碼：https://github.com/stresearch/xfr
論文發表：ECCV2020
合作單位：劍橋Visym實驗室

引言

眾所周知，理解和解釋深度學習模型是一個比較有挑戰的事情，因為大規模訓練的深度卷積網絡被認為是黑盒系統，也許我們可以對訓練的數據集和損失函數有一定的了解，但是對深度模型的學習過程以及生成的預測的理解確實很有限。自然深度學習中的很重要領域人臉識別的可解釋性也是一個很大的挑戰，當前在這方面探索的方法有網絡注意力、網絡解剖或綜合語言解釋，然而，缺乏網絡比較和量化可解釋結果的真相，尤其是在人臉識別中近親或近親之間的差異很微妙，解釋並不明顯。在該論文中作者定義了一種新的評估方案，稱為「修復遊戲」，其任務是生成一個網絡注意力圖，最好地解釋圖像中的哪些區域與匹配的圖像匹配，這為量化哪些圖像區域有助於人臉匹配提供了基本事實。

論文貢獻

該論文的貢獻可以歸結為如下三點，分別如下所示

XFRbaseline：作者基於五種網絡注意力算法為XFR（人臉識別的可解釋性）提供了baseline，並在三個用於人臉識別的公開深度卷積網絡上進行了評估：LightCNN、VGGPFACE2和SNET-101。

圖像修復遊戲協議和數據集：作者提供標準化評估協議和數據集，用於細粒度的人臉識別可視化。這為客觀地比較XFR系統提供了一個量化指標。

XFR評估：作者首次對圖像修復協議的baseline算法進行了全面的評估，從而得出關於這些方法在真實圖像上解釋的實用性的結論。

模型介紹

人臉識別的可解釋性(XFR)

該論文的創新點可能是從Facenet中得到一定的靈感。XFR的目的是解釋人臉圖像之間的匹配的內在關係。如下圖所示，給定一個三元組(probe,mate,nonmate)，XFR算法的任務是生成一個顯著圖（最大化probe圖像與mate圖像相似性和最小化probe圖像與nonmate圖像相似性）。先前的工作表明，面部之間的成對相似性主要受眼周區域和鼻子的影響。眼周區域和鼻子幾乎總是用於面部分類，但這對於解釋更精細的辨別水平沒有太大幫助。作者的目標是突出probe中與假定mate更相似，同時與nonmate不太相似的區域。這個三元組(probe,mate,nonmate)為面部區域的相對重要性提供了一個比面部類別激活圖更深層次的解釋。

激勵反向傳播(EBP)

激勵反向傳播(EBP)將網絡注意力建模為一個概率贏家通吃的傳播過程。EBP計算穿越到卷積網絡中給定節點的概率，概率是由正權重和非負權重激活得來。EBP的輸出是一個顯著圖，它定位了圖像中對於給定類別的區域。EBP的原始公式考慮了交叉熵損失，以優化訓練集中的最大分類。在該論文中在作者提出了一個新的公式，給定一個mate(m)、nonmate(n)和probe(p)的三個編碼向量，其中損失函數如下所示：

這裡使用編碼向量之間的歐幾裡德距離的平方來捕獲相似性，使得當從probe到mate的距離小(相似性高)並且從probe到nonmate的距離大(相似性低)時，損失最小化，其中公式中具有餘量項

子樹EBP

在該論文中作者介紹了子樹EBP算法，這是一種新的白盒的XFR方法。給定一個三元組(probe,mate,nonmate)圖像，計算損失函數

其中權重由損失

DISE

基於密度的解釋輸入採樣(DISE)是該文介紹的第二種新的白盒XFR方法。DISE是隨機輸入抽樣的一種擴展，使用先驗密度來輔助抽樣。先前的工作已經構建了與特定類別相關聯的顯著圖，方法是通過掩模來隨機擾動輸入圖像，然後使用黑盒系統對其進行評估。但是這些方法生成的掩模會均勻地遮擋輸入圖像，像這種採樣過程是低效的。在該論文中作者通過引入先驗分布來指導採樣並進行改進，輸入採樣的先驗密度是從具有三重損失的白盒EBP得到的，如下圖所示顯示了論文中該方法的概述，該方法利用灰色(即屏蔽像素)來遮擋probe圖像中的小區域，利用EBP得到的先驗密度並進行採樣，並為給定(probe,mate,nonmate)計算三重損失的數值梯度，可以發現具有大數值梯度的掩模在累積顯著性圖中權重更大。

非均勻先驗掩模

先前對面部識別的辨別特徵的研究表明，面部最重要的區域通常位於眼睛和鼻子內和周圍。如上圖所示使用VGG-16網絡作為白盒面部分類器為泰勒·斯威夫特的probe圖像計算的該顯著圖的示例。使用這個顯著圖作為生成隨機掩模的先驗概率，允許對最顯著的空間進行採樣比在整個圖像上假設均勻概率更有效地影響損失的掩模，這可以進一步有效地消除了掩模不重要的背景元素的可能性。

Numerical gradient

給定已經用從非均勻先驗採樣的稀疏掩模的probe圖像，可以計算三重損失的數值梯度。設

數值梯度是真實損失梯度的近似值，該損失梯度是通過用像素掩模來擾動輸入，並計算三重損失的相應變化。當probe和nonmate之間相似性減少時，數值梯度會變大，顯著性特徵會得到累積。

實驗結果

在該論文中，論文的目標是突出給定一個人臉圖像相對於一個相似身份進行匹配的區域，作者把定量評估的整體策略稱為圖像修復遊戲。

圖像修復遊戲

圖像修復遊戲評估的概述如下圖所示。圖像修復遊戲使用四個（或更多）圖像進行每次評估:probe圖像、mate圖像、修復的probe圖像和修復的nonmate圖像，其中面部固定區域(如眼睛、鼻子或嘴)的probe會有細微的不同。類似地，修復後的nonmate或mate形象有細微的不同。修復的probe和修復的nonmate被約束為相同的新身份。對於每個三元組，XFR算法的任務是估計每個像素屬於一個區域的可能性，該區域對於將probe匹配到mate身份是有區別的，這些有區別的像素估計最終形成了顯著圖。通過應用閾值將每個像素分類，這就形成了二進位顯著圖。

人臉識別的修複數據集

構建圖像修複數據集的一個關鍵挑戰是要確修復後的圖片與原圖片表示的是不同的身份。大多數修復的圖像在相似性上與特定網絡的原始配對身份沒有足夠的差異。實驗中需要能夠使用最近匹配協議和驗證協議來區分這些身份，以便將目標網絡的驗證匹配閾值校準在一個較低誤報率中。每個三元組必須滿足以下標準，才能包含在給定網絡的數據集中:原始probe需要更類似於原始配對身份，並且在校準驗證閾值處被正確驗證為原始配對身份。如上所述為每個目標網絡過濾修複數據集，產生特定於該目標網絡的數據集。在該論文的實驗中，對於基於ResNet-101的網絡，最終過濾的數據集包括84個身份和543個三元組，這是從95個身份和3648個三元組中過濾下來。性能較低的網絡通常比性能較高的網絡具有更少的滿足選擇要求的三元組，因為它們不能辨別修復probe圖像中的許多細微變化。

評估指標

XFR算法估計每一個像素屬於一個區域的可能性，該區域對於將probe圖像與mate的身份相匹配。這些有區別的像素估計形成顯著圖，其中最亮的像素被估計最有可能屬於有區別的區域。下圖顯示出了兩個閾值處的示例和顯著性預測，其中顯著性預測作為二進位掩模在不同的閾值處展示出來。在該論文中作者使用經典的ROC曲線來評估圖像修復遊戲。如下圖所示，通過掃描像素顯著性估計的閾值，並通過使用修復區域作為正/顯著區域和未修復區域作為負/不顯著區域來計算真實接受率和誤報率，可以生成ROC曲線。另外在該論文中，作者使用平均非狀態分類率來代替顯著性分類的真陽性率。通過掃描顯著性閾值被分類為顯著的像素被來自「修復探針」的像素替換，該「修復探針」不被提供給顯著性算法。然後，這些「混合探針」可以讓被測試的網絡分類為原始身份或修復的非原始身份。高性能的XFR算法將正確地為修補區域分配更多的顯著性，這將改變混合探針的身份，而不會增加像素顯著性分類的誤報率。假陽性率是根據所有三元組的顯著像素分類計算的，使用混合探針的基本真值掩碼。平均非移動分類率由每個組中的三元組數量加權過濾數據集的面部區域，以避免子協議的偏差。度量的輸出曲線示例如下圖所示。

實驗數據

作者使用三個目標網絡在修複數據集上運行修復遊戲評估協議分別是LightCNN，VGGFace2。

ResNet-50和一個定製訓練的ResNet-101。評估結果如下表所示：顯示了網絡和XFR算法的每種組合，整個協議和三個子協議(僅眼睛、鼻子和眉毛)的兩種誤報率。顯示了網絡和XFR算法的每種組合，整個協議和三個子協議(僅眼睛、鼻子和眉毛)的兩種誤報率。論文中的補充材料中的附加結果顯示了各個面部區域的結果。總的來說，結果顯示對於更深的網絡(ResNet-101，ResNet-50)，性能最好的XFR算法是DISE。然而，對於較淺的網絡，表現最好的算法是子樹EBP算法。這兩種新的方法都遠遠超過了最先進的方法。所以可知DISE的表現優於子樹EBP，因為子樹EBP不能定位圖像區域比底層網絡更好地代表面部。考慮補充材料中的眉毛子協議結果，這表明子樹EBP不能獨立於眼睛表示眉毛。DISE可以獨立於底層目標網絡掩蔽圖像區域，並正確定位眉毛效果。

論文PDF下載

上述論文已打包上，在CVer公眾號後臺回覆：人臉識別解釋性，即可下載原論文PDF，推薦學習！

下載2：CVPR /  ECCV 2020開原始碼

後臺回覆：CVPR2020，即可下載代碼開源的論文

後臺回覆：ECCV2020，即可下載代碼開源的論文

重磅！CVer-論文寫作與投稿交流群成立

掃碼添加CVer助手，可申請加入CVer-論文寫作與投稿 微信交流群，目前已滿2400+人，旨在交流頂會（CVPR/ICCV/ECCV/NIPS/ICML/ICLR/AAAI等）、頂刊（IJCV/TPAMI/TIP等）、SCI、EI、中文核心等寫作與投稿事宜。

同時也可申請加入CVer大群和細分方向技術群，細分方向已涵蓋：目標檢測、圖像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感圖像、行為識別、視頻理解、圖像融合、圖像檢索、論文投稿&交流、PyTorch和TensorFlow等群。

一定要備註：研究方向+地點+學校/公司+暱稱（如論文寫作+上海+上交+卡卡），根據格式備註，可更快被通過且邀請進群

▲長按加微信群


▲長按關注CVer公眾號

整理不易，請給CVer點讚和在看！

相關焦點

  • 理論| 人臉識別技術應用的合法性、正當性、必要性判斷
    目前，人臉識別應用主要存在技術風險（包括誤識率風險、歧視風險以及技術對抗漏洞）、濫用風險以及信息風險，繼而導致「錢」「安全」等各方面的風險隨著人臉識別應用的普遍化而增長。遺憾的是，我國目前尚無專門針對人臉識別技術及其應用進行規定的法律法規，相關的規定散見於民法典、網絡安全法、消費者權益保護法、刑法等法律以及相關司法解釋中。
  • 【盤點】人臉識別的2020年:諸事不宜
    誠然，人臉識別技術自使用起就存在爭議，不過並不影響其推廣，但是在2020年，人臉識別技術遭遇到了寒冬。 疫情：2020年對人臉識別的第一刀 2020年伊始，突如其來的新冠肺炎疫情衝亂了庚子年新年的喜慶，也打斷了中國社會發展的腳步。
  • ECCV 2020 | 騰訊優圖8篇論文入選,涵蓋目標跟蹤、人臉識別等領域
    近日，計算機視覺方向的三大國際頂級會議之一的ECCV 2020公布論文獲獎結果。本次ECCV 2020有效投稿5025篇，最終被接受發表論文1361篇，錄取率為27%，較上屆有所下降。在競爭越來越激烈的情況下，本次ECCV 騰訊優圖實驗室共入選8篇論文，涵蓋目標跟蹤、行人重識別、人臉識別、人體姿態估計、動作識別、物體檢測等熱門及前沿領域，再次展示了騰訊在計算機視覺領域的科研及創新實力。
  • ECCV 2020 語義分割論文大盤點(38篇論文)
    Variation Distillation for Semantic Segmentation論文：https://www.ecva.net/papers/eccv_2020/papers_ECCV/html/230_ECCV_2020_paper.php代碼：https://github.com/YukangWang/IFVD
  • ECCV 2020 論文大盤點-語義分割篇
    _2020/papers_ECCV/papers/123670664.pdf備註 | ECCV 2020_2020/papers_ECCV/papers/123710341.pdf備註 | ECCV 2020
  • ECCV 2018 德國慕尼黑召開,來份 tutorial 預熱 | ECCV 2018
    相關研究包括：Zollhöfer 等人的「單眼三維人臉重建、跟蹤及其應用的研究進展」；Sylianou 等人的「基於圖像的三維面部重建綜述」；Klehm 等人最近發表的關於捕獲面部外貌特徵的報告，試圖通過 CG 技術重新繪製人臉；Bouaziz 等人的面部跟蹤與非剛性表面配準問題，其目標是將特定的表面與圖像或三維掃描結果對齊；
  • 困於人臉識別
    討論到最後，街道辦給出3種可替代方案，不願錄入人臉的居民，也能依靠刷門禁卡、身份證登記或使用手機APP回到自己的家。9月23日午後，在一場主題為「小區門禁能否人臉識別」的專題研討會上，勞東燕簡單地講述了這段經歷。在場另一位嘉賓說她是「為了權利而鬥爭」。勞東燕笑了笑，擺手解釋：「沒有，我也只是稍微掙扎了一下」。
  • 3d人臉識別和2d區別
    3d人臉識別和2d區別 　　三維人臉識別可以應對各種光線幹擾，甚至在夜晚能見度較差的環境下也可以識別人臉信息。更為直觀的理解，3D人臉識別可以在目標移動過程中進行識別，此外立體化識別不局限於人臉正面，適用於各個角度，面部頭髮遮擋、姿態變化也可做到高準確率識別。 　　3D識別可真正做到訪問控制一對一，毫不誇張地說，這種識別技術可以輕鬆辨認雙胞胎或多胞胎。很多相關企業正著眼於開發三維人臉識別應用及配套解決方案。
  • 指紋識別不再唯一,動態聲紋識別與人臉識別能取代嗎
    而現在還推出有用聲紋識別技術的手機，國美Fenmmy Note近日推出千元手機國美Fenmmy Note，除了搭載常見的人臉識別和指紋識別功能之外，還具備動態聲紋識別功能，通過聲音識別登陸微信還是挺常見的，但聲紋識別究竟是怎麼運作的呢？ 所謂聲紋識別（Voiceprint Recognition），簡單解釋就是辨別某一句話是否是某一個人說的。
  • 開學季｜守護師生安全 人臉識別讓校園管理更智慧
    今年的暑假已經進入尾聲，2020大型電視連續劇《終於開學了》，在學生們的萬眾期盼下，正在全國各地上演，很快，大學生們又要回到校園啦~教育部應對新冠肺炎疫情工作領導小組辦公室主任王登峰解釋而通過人臉識別技術，就能很好地解決這些問題。 人臉識別技術作為一種先進的身份信息識別技術，之前更多的是部署在視頻監控和掃碼支付上，如今在校園進行智能化的落地，是智慧校園發展的必經之路。
  • 把「人臉識別」關進法律的「籠子」裡
    一段時間以來，「人臉識別第一案」與戴頭盔看房等事件，引發了公眾對人臉識別技術應用邊界的廣泛討論，也讓「如何規範人臉識別」成為坊間熱議的話題。這些公共討論促進了社會對人臉識別等新技術在應用和規制上的許多共識。我們樂於看到人臉識別等新技術的應用和發展，但人臉識別也為個人信息保護帶來了新挑戰。
  • 小區物業使用人臉識別門禁合法嗎?
    什麼是個人信息，人臉識別技術提取的特徵是否屬於個人信息？   《最高人民法院最高人民檢察院關於辦理侵犯公民個人信息刑事法律若干問題的解釋》五十三條之一規定的「公民個人信息」,是指以電子或者其他方式記錄的能夠單獨或者與其他信息結合識別特定自然人身份或者反映特定自然人活動情況的各種信息，包括姓名、身份證件號碼、通信通訊聯繫方式、住址、帳號密碼、財產狀況、行蹤軌跡等。
  • 起底人臉識別黑產:APP人臉認證可作假,花百元探探上可變臉明星
    黑產從業者已經盯上人臉識別這塊「新蛋糕」，人臉「代認證」也成為一條黑產鏈條，並呈團隊化發展。黑產從業者可將照片製成MP4格式的短視頻來繞過人臉識別服務商的認證系統。他們用這個技術來做拉新項目賺取推廣佣金，一天賺幾百不成問題。張嘴-搖頭-張嘴-點頭，11月17日晚，剛剛被製作完成的視頻在電腦屏幕上播放。
  • 「人臉識別第一案」宣判，用法律為人臉識別釐清邊界
    「人臉識別第一案」判了。去年４月，郭兵支付1360元購買了杭州野生動物世界雙人年卡，當時確定指紋識別入園方式。郭兵給園方留存了電話號碼等信息，並錄入指紋。之後，園方單方面要求改成人臉識別。身為法學副教授的郭兵把自己的「臉」要回來了，這是法律為人臉信息撐腰。不過這次訴訟主要還是個案化解決郭兵本人的訴求，沒有確認野生動物園要求刷臉本身的不當性，這未免令人遺憾。事實上，僅從合同法上說，杭州這家動物園就理虧在先：籤合同時約定刷指紋，之後單方面更改合同，要求刷臉，這本身就是違約。
  • 蘋果ios13傳輸便捷性提升 用人臉識別登陸雲端
    蘋果ios13傳輸便捷性提升 用人臉識別登陸雲端　　對於蘋果來說，他們正在讓iOS 13的用起來越來越便捷，並更多場景下的快捷登陸。 原標題：蘋果發力：iOS 13便捷性提升 用人臉識別登陸雲端 責任編輯：李曉靈
  • Android 人臉識別之人臉註冊
    作者：junerver連結：https://www.jianshu.com/p/ca3a12bc4911引言人臉識別這件事想來早已經不新鮮，在 Android 中的應用也並不廣泛，所以網上相關資料乏善可陳。但是在面對特殊的應用場景時，人臉識別的功能還是有一定的用處的，比如在考勤領域。
  • ECCV 2020 | 再見,遷移學習?可解釋和泛化的行人再辨識
    相關論文已被 ECCV 2020 接收。（註：本文遷移學習是指行人再辨識領域單模態跨場景的遷移學習。）研究動機人臉識別是目前計算機視覺領域應用最成熟的技術之一。這一方面得益於大量的標註數據訓練，另一方面也得益於在此基礎上的應用便利性：通過大量數據離線訓練好模型之後，便可把模型應用在大量的未知場景而無需遷移學習。本文把這種應用模式稱為「開箱即用」。然而，行人再辨識並沒有這麼幸運。
  • 人臉識別的安全邊界在哪?專家:完善「社會基礎設施」,確保「人臉...
    畫面中，法庭公開開庭宣判的這起案件，被稱為「人臉識別第一案」。去年，因杭州野生動物世界的年卡門票由指紋識別被「強制」升級為「刷臉」識別，浙江理工大學的特聘副教授郭兵將動物世界訴至法院。一審法院經審理認為，杭州野生動物世界收集郭兵照片信息不具備正當性，應予以刪除。
  • 人臉識別最全知識圖譜
    根據資料，2017 年生物識別技術全球市場規模上升到了 172 億美元，到 2020 年，預計全世界的生物識別市場規模有可能達到 240 億美元。自 2015 年到 2020 年，人臉識別市場規模增長了 166.6%，在眾多生物識別技術中增幅居於首位，預計到 2020 年人臉識別技術市場規模將上升至 24 億美元。
  • 辨真假 | 關於人臉識別的這些傳說,真?假?
    近日，有關「人臉識別」系統的各種報導受到廣泛關注。前有國內「人臉識別第一案」宣判；後有「94歲老人被抱起做人臉識別」「為躲人臉識別戴頭盔看房」。一時間，圍繞「人臉識別」系統的法律問題、執法監管以及實踐應用等討論讓這項黑科技愈發可疑，「人臉識別系統想安就能安」「設置人臉識別會增加銀行卡盜刷風險」「人臉信息一旦洩露無法挽回」「戴口罩也能被人臉識別」……這些說法孰真孰假？「真真」為您查證事實，解惑「人臉識別」問題。