新智元報導 來源：Arxiv 編輯：文強，三石，大明
【新智元導讀】根據一篇針對計算機生成的假臉假視頻DeepFake較為全面測評的論文，現有的先進人臉識別算法在面對計算機生成的假臉時基本束手無策，假臉生成算法和人臉識別軍備競賽已經開始。不過，目前還有些小技巧，可以幫你用肉眼來分辨計算機生成的假臉。
2015年，現任教皇方濟各 (Pope Francis) 訪美，他是首次對美國進行正式訪問的教皇，還將主持在美國領土上的首次封聖，並在國會發表演講。時任美國總統和副總統的歐巴馬及拜登，分別攜各自的夫人，一起在美國安德魯斯空軍基地 (Andrews Air Force Base，也是總統機隊「空軍一號」的駐地) 迎接了教皇專機的降臨。
訪問期間，方濟各「一個出人意料之舉」震驚了世界：只見他在向聖壇禮拜後，轉身順手將桌布一抽，上演了一出絕妙的「抽桌布」戲法，動作之行雲流水，令人膜拜。
教皇竟然還會這一手！相關視頻很快就火遍了全美乃至全球。
2015年現任教皇訪美，上演絕妙「抽桌布」戲法，美國主教看後表示不爽。當然，這段視頻是假造的，但這並不影響其流行。來源：CNN
世人震驚之餘，幾乎都沒有懷疑——這個視頻當然是假造的。
在「毫無PS痕跡」的說法還十分流行的2015年，這個「毫無PS痕跡」的視頻成了後來被稱為DeepFake視頻的始祖。
現如今，DeepFake已被用於指代所有看起來或聽起來像真的一樣的假視頻或假音頻。
日前，Idiap 生物識別安全和隱私小組負責人 (註：Idiap研究所是瑞士的一家半私人非營利性研究機構，隸屬於洛桑聯邦理工學院和日內瓦大學，進行語音、計算機視覺、信息檢索、生物認證、多模式交互和機器學習等領域的研究)、瑞士生物識別研究和測試中心主任 Sébastien Marcel 和他的同事、Idiap 研究所博士後 Pavel Korshunov 共同撰寫了論文，首次對人臉識別方法檢測 DeepFake 的效果進行了較為全面的測評。
他們經過一系列實驗發現，當前已有的先進人臉識別模型和檢測方法，在面對 DeepFake 時基本可以說是束手無策——性能最優的圖像分類模型 VGG 和基於 Facenet 的算法，分辨真假視頻錯誤率高達 95%；基於唇形的檢測方法，也基本檢測不出視頻中人物說話和口型是否一致。
Pavel Korshunov 和 Sébastien Marcel 指出，隨著換臉技術的不斷發展，更加逼真的 DeepFake 視頻，將對人臉識別技術構成更大的挑戰。
「在 DeepFake 方法和檢測算法之間的一場新的軍備競賽可能已經開始了。」
面對假臉生成算法，現有人臉識別系統幾乎束手無策
針對 Deepfake 視頻中人臉識別的漏洞，兩人在論文中對基於VGG和Facenet的人臉識別系統做了漏洞分析，還使用SVM方法評估了 DeepFake 的幾種檢測方法，包括嘴唇動作同步法和圖像質量指標檢測等。
結果令人遺憾——
無論是基於VGG還是基於Facenet的系統，都不能有效區分GAN生成假臉與原始人臉。而且，越先進的Facenet系統越容易受到攻擊。
VGG模型是2014年ILSVRC競賽的第二名，第一名是GoogLeNet。但是VGG模型在多個遷移學習任務中的表現要優於googLeNet。而且，從圖像中提取CNN特徵，VGG模型是首選算法。它的缺點在於，參數量有140M之多，需要更大的存儲空間。但是這個模型很有研究價值。Facenet該模型沒有用傳統的softmax的方式去進行分類學習，而是抽取其中某一層作為特徵，學習一個從圖像到歐式空間的編碼方法，然後基於這個編碼再做人臉識別、人臉驗證和人臉聚類等。
直方圖顯示了基於VGG和Facenet的人臉識別在高質量人臉交換中的漏洞。
檢測Deepfake視頻
他們還考慮了幾種基線Deepfake檢測系統，包括使用視聽數據檢測唇動和語音之間不一致的系統，以及幾種單獨基於圖像的系統變體。這種系統的各個階段包括從視頻和音頻模態中提取特徵，處理這些特徵，然後訓練兩個分類器，將篡改的視頻與真實視頻分開。
所有檢測系統的檢測結果如下表所示。
說明一下表格中各種「符號」和數字的意思，你也可以直接跳過看本節最後結論：
在本系統中，使用MFCCs作為語音特徵，以mouth landmarks之間的距離作為視覺特徵。將主成分分析(PCA)應用於聯合音視頻特徵，降低特徵塊的維數，訓練長短期記憶(long short-term memory, LSTM)網絡，將篡改和非篡改視頻進行分離。
作為基於圖像的系統，實現了以下功能:
Pixels+PCA+LDA：使用PCA-LDA分類器將原始人臉作為特徵，保留99%的方差，得到446維變換矩陣。IQM+PCA+LDA：IQM特徵與PCA-LDA分類器結合，具有95％保留方差，導致2維變換矩陣。IQM + SVM：具有SVM分類器的IQM功能，每個視頻具有20幀的平均分數。
基於圖像質量測度(IQM)的系統借鑑了表示域(domain of presentation )的攻擊檢測，表現出了較好的性能。作為IQM特徵向量，使用129個圖像質量度量，其中包括信噪比，鏡面反射率，模糊度等測量。
下圖為兩種不同換臉版本中性能最好的IQM+SVM系統的檢測誤差權衡(DET)曲線。
IQM + SVM Deepfake檢測
結果表明：
首先，基於唇部同步的算法不能檢測人臉交換，因為GAN能夠生成與語音匹配的高質量面部表情；因此，目前只有基於圖像的方法才能有效檢測Deepfake視頻。
其次，IQM+SVM系統對Deepfake視頻的檢測準確率較高，但使用HQ模型生成的視頻具有更大的挑戰性，這意味著越先進的人臉交換技術將愈發難以檢測。
假臉生成和真臉識別算法軍備競賽已經開始
之前，大多數研究都集中在如何提高「換臉」技術上，為了響應公眾對檢測」換臉「技術的需求，越來越多的研究人員開始研究資料庫和檢測方法，包括使用較舊的換臉方法Face2Face 生成的圖像和視頻數據，或使用Snapchat應用程式收集的視頻。
在 Pavel Korshunov 和 Sébastien Marcel 寫的這篇最新論文中，作者提供了首個使用基於開源GAN方法進行換臉的開源視頻資料庫。
他們從公開的VidTIMIT資料庫中，手動選擇了16對長相類似的人，將這32個目標都訓練兩種不同的模型，分別為低質量 (LQ) 模型，輸入/輸出大小為64×64，以及高質量 (HQ) 模型，輸入/輸出大小為128×128尺寸的模型（參見圖1）。
圖1：來自VidTIMIT資料庫原始視頻，以及低質量（LQ）和高質量（HQ）Deepfake視頻的屏幕截圖
為了讓其他研究人員能夠對其成果進行驗證、複製和擴展，作者還提供了他們在研究中使用的Deepfake視頻資料庫、人臉識別系統和Deepfake檢測系統，並將相應的分數一起以Python開源包的形式放出。
肉眼分辨計算機生成假臉的一些技巧
就在不久前，英偉達發表論文，展示了計算機生成的逼真到恐怖的人臉圖像。對於虛假視頻泛濫的網絡來說，這可能導致一場迫在眉睫的「真相危機」。
英偉達新一代GAN生成的人臉，全都是不存在的人
以下圖片是從Nvidia的最新論文中獲取的截圖。看看這份指南裡是怎麼說的吧。
不對稱的面部特徵、配飾
上面的圖片有一堆可疑的線索。最簡單的就是，此人頭頂位置出現的大塊的怪異斑點。這種現象或像差在AI生成的圖像中很常見，與幾年前谷歌的DeepDream實驗的表現一致。
但是，當你環顧這個人的耳朵時，會發現圖像略微不對稱。一側頭髮顯得模糊而且看上去很奇怪，且一隻耳朵上沒有耳環。
算法不具備常識，並且不懂規則，比如不知道耳環一般要兩隻耳朵都戴。因此，AI算法有時無法生成足夠真實的面部特徵或首飾等。
牙齒
AI算法不知道正常人應該有多少顆牙以及這些牙齒的朝向。一般AI算法不會選擇多角度描繪出這些牙齒的樣貌，而是亂來一氣。圖中的虛假頭像的牙齒就是典型例子。
上面這張圖可能稍微難辨別一點，但如果你仔細看她的牙，會發現她中間第三顆牙異常地小，而且耳朵也非常不自然，所以這也是一張生成的假頭像。
衣服和背景
上邊圖中的女性的衣服明顯有問題，此外注意這張圖片的背景也很奇怪，此外右側的頭髮和耳環部分都很不自然，而且耳環只有一隻。
上圖中，人物的衣服實在太奇怪了，圖中左側的耳朵上並未戴耳環等配飾，但衣服上方卻出現了一個懸在空中的「不明裝飾物」，這種現象在AI生成的虛假圖像中也不少見。
更多閱讀：
突發！中國法院初步裁決禁售多款iPhone，高通告贏了蘋果？孟晚舟終獲保釋！抱律師哭泣，現場掌聲雷動禁售iPhone再升級！高通尋求美國禁止進口蘋果，5G大戰英特爾躺槍
新智元AI技術+產業社群招募中，歡迎對AI技術+產業落地感興趣的同學，加小助手_2 入群;通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位;專業群審核較嚴，敬請諒解）。