選自arXiv
作者：Umur Aybars Ciftci等
機器之心編譯
編輯：陳萍
DeepFake 真的可以達到以假亂真的效果嗎？未必。來自賓漢姆頓大學、英特爾公司的研究人員利用心跳做信號判別真假視頻，還能「揪出」背後的生成模型。
偽造人像視頻生成技術給社會帶來了新的威脅，例如利用逼真的偽造圖像和視頻進行政治宣傳、名人模仿、偽造證據以及其他與身份有關的操作。伴隨著這些生成技術的發展，出現了一些被證實有效的 deepfake 檢測方法，這些方法具備較高的分類準確率。然而，目前幾乎沒有任何工作關注 deepfake 視頻的來源（即生成 deepfake 視頻的模型）。
來自賓漢姆頓大學、英特爾公司的研究人員提出了一種方法，利用視頻中的生物信號檢測該視頻是否偽造。該方法不僅可以區分真假視頻，還能夠發現 deepfake 視頻背後的特定生成模型（其中，生成模型是在 DeepFakes、Face2Face、FaceSwap、NeuralTex 中進行選擇）。
一些純粹基於深度學習的方法嘗試使用 CNN 來分類造假視頻，CNN 實際上學習的是生成器的殘差。該研究認為這些殘差包含了更多的信息，可以通過將它們與生物信號分離來揭示偽造細節。觀察結果表明，生物信號中的時空模式可以看作是殘差的代表性投影。為了證明這一觀察結果的合理性，研究人員從真實和虛假視頻中提取 PPG 單元，並將其輸入到當前最優的分類網絡中，以檢測每個視頻的生成模型。
實驗結果表明，該方法對假視頻的檢測準確率為 97.29%，對假視頻背後生成模型的識別準確率為 93.39%。
論文地址：
https://arxiv.org/pdf/2008.11363.pdf
該論文的貢獻如下：
提出一種新型 deepfake 視頻源頭檢測方法，為 deepfake 檢測研究開啟了新的視角；
提出一項新發現：將生成噪聲投影到生物信號空間，可以為每個模型創建唯一標識；
提出一種先進的通用 deepfake 檢測器，在真假視頻分類方面優於現有方法，同時還能預測假視頻背後的生成模型，即源生成模型。
利用生物信號檢測假視頻及其生成模型
生物信號已被證明可以作為真實視頻的真實性標誌，它也被用作 deepfake 檢測的重要生物標誌。正如我們所知，假視頻中的合成人物無法具備與真視頻中人物類似的心跳模式。該研究的關鍵發現基於這一事實：這些生物信號可以被解釋為包含每個模型殘差標識變換的假心跳。這催生了對生物信號的新探索，它們不僅可以用來確定視頻的真實性，還可以對生成該視頻的源模型進行分類。
於是，該研究提出了既能檢測 deepfake 視頻，又能識別源生成模型的系統，如圖 1 所示：
為了連續地捕捉生物信號的特徵，研究人員定義了一種新的時空塊——PPG 單元。該時空塊結合了多種原始的 PPG 信號及其功率譜，並從一個固定的窗口提取。PPG 單元的產生首先需要使用人臉檢測器在每一幀中找到人臉。
第二步是從檢測到的人臉中提取感興趣區域 （ROI）（圖 1d），該區域具有穩定的 PPG 信號。為了有效地提取，研究者使用眼睛和嘴之間的面部區域，以最大限度地增加皮膚暴露。
由於來自人臉不同區域的 PPG 信號之間存在相關性，因此定位 ROI 並測量其相關性成為檢測的關鍵步驟。
第三步需要將非線性 ROI 與矩形圖像對齊。該研究使用 Delaunay triangulation [26]，隨後對每個矩形使用非線性仿射變換，從而將每個矩形轉換為校正圖像（rectified image）。
在第四步中，研究者將每個圖像分成 32 個相等大小的正方形，並在 ω 幀大小的固定窗口中計算每個正方形的原始 Chrom-PPG 信號，並且這不會干擾人臉檢測（圖 1e）。然後，計算校正圖像中的 Chrom-PPG，因為它能產生更可靠的 PPG 信號。對於每個窗口，現在有 ω × 32 個原始 PPG 值。
現在將它們重組成 32 行、ω 列的矩陣，就形成了 PPG 單元的基礎，如圖 1f 和圖 2 最下面一行的上半部分所示。
最後一步將頻域信息添加到 PPG 單元。計算窗口中每個原始 PPG 值的功率譜密度，並將其縮放到 ω 大小。
圖 2 的最下面一行顯示了從同一個窗口生成的 deepfake PPG 單元示例，第一行是每個窗口的示例幀。
定義完 PPG 單元後，研究者展示了其主要假設：將 deepfake 生成器的殘差投影到生物信號空間，可以創造一個獨特的模式，並用於檢測 deepfake 背後的源生成模型。
實驗
該研究提出的系統採用 Python 語言實現，使用 OpenFace 庫進行人臉檢測，OpenCV 進行圖像處理，使用 Keras 實現神經網絡。
表 1 列出了在測試集上的 PPG 單元分類結果，其中 VGG19 在區分 4 種不同生成模型和檢測 FaceForensics++（FF）真實視頻方面達到了最高準確率（圖 1f）。像 DenseNet 和 MobileNet 這樣的複雜網絡由於過擬合，雖然達到了非常高的訓練準確率，但在測試集上的效果不如人意。
在視頻分類方面，表 2 記錄了過程中的不同投票方案。研究者設置 ω=128，比較了使用大多數投票、最高平均概率、兩個最高平均概率以及對數機率平均後 VGG19 的單元預測結果。
如圖 3 所示，該方法對五類 FF（1 個真視頻和 4 個假視頻）的真實視頻檢測率為 97.3%，對生成模型的檢測準確率至少為 81.9%。
研究人員在不同的設置上進行訓練和測試：1）訓練集中沒有真實的視頻；2）PPG 單元中沒有功率譜；3）沒有生物信號；4）使用全幀而不是面部 ROI，其中 ω = 64，FF 數據集分割設為常數。結果見表 3：
使用前述設置，用不同的窗口大小 ω = 幀來測試該論文提出的方法。結果參見下表 4：
為了證明該論文提出的方法可以擴展到新模型，研究人員將 FF 設置與單個生成器數據集 CelebDF 相結合併重複分析過程。該研究提出的方法在整個數據集上達到了 93.69% 的檢測準確率，在 CelebDF 數據集上達到了 92.17% 的檢測準確率，這表明該方法可以泛化到新模型（參見表 5）。
表 6 列出了測試集上不同模型的準確率。由結果可知，該論文提出的方法甚至超過了最複雜的網絡 Xception，準確率高出 10%。
如何根據任務需求搭配恰當類型的資料庫？
在AWS推出的白皮書《進入專用資料庫時代》中，介紹了8種資料庫類型：關係、鍵值、文檔、內存中、關係圖、時間序列、分類帳、領域寬列，並逐一分析了每種類型的優勢、挑戰與主要使用案例。