DeepFake檢測新思路：用心跳做"信號"，背後的"造假"模型也無處可逃

2020-09-06 AI科技評論

作者 | 蔣寶尚

編輯 | 青 暮

DeeFake真是讓人又愛又恨。

由它為基礎開發「AI換臉」術，一方面應用在影視文化行業的想像空間極大，另一方面惡搞與色情影片卻是對人性的聳動。

此類檢測技術，大多都是「二分類」檢測方法，雖然也能達到98%的準確率，然而這些檢測方法往往會受到過渡匹配的影響，也就是說在處理不同類型的圖片時，檢測方法的性能會顯著下降。

更為具體一點，能區分真人和照片的技術叫做liveness detection，中文叫做「活體取證」。當前的技術主要是根據解析度、三維信息、眼動等來區分，因為翻拍的照片解析度比直接從真人上採集的照片在質量、解析度上有差別。

近日，賓漢姆頓大學和英特爾的研究人員開發了一種算法，號稱能用視頻中的生物信號檢測這個視頻是否是偽造的。

除此之外，這種方法還能識別出假視頻背後的生成模型。其中，生成模型的判斷是在DeepFakes、Face2Face、FaceSwap、NeuralTex中做「選擇題」。

進過實驗，該方法對假視頻的檢測準確率為97.29%，對假視頻背後生成模型的識別準確率93.39%。

值得一提的是，論文中利用的生物信號是心跳，採用的方法是PPG光電容積脈搏波描記法原理(PhotoPlethysmoGraphy)，簡單來說利用光率的脈動變化，折算成電信號，從而對應成心率。

1 基於心跳的假視頻檢測法

整個算法遵循的觀察規律是：生物信號還沒有保存在假視頻中，這些信號在生成噪聲時也產生了不同的標識。

換句話說，假視頻中顯示的「人」不會表現出與真實視頻中的人相似的心跳模式。

因此，用心跳檢測假視頻的思想可以大致概括為：可以將生物信號解釋為在某種已知維度上的投影，從而可以找到每個生成模型的唯一籤名（標識）。

值得一提的是，無論遮擋、照明條件如何變化，這些標識在真實視頻是不存在的。利用這些標識可以找到假視頻背後的生成模型，然後反過來提高整體的假視頻檢測精度。

在具體工作中，作者從人臉的不同位置提取了32個原始PPG信號（32 raw PPG），然後將這些信號連同它們的譜密度一起編碼到一個時空塊中，這就是所謂的PPG單元（PPG cell）。作者將PPG單元（PPG cell）輸入到現成的神經網絡中，從而識別源生成模型的不同標識。

在網絡架構中，作者引入多個類來進行源檢測，從而更加重視深度學習模型的體系結構。他們將整個識別任務表示為：具有相同概率類別的不同生成源和真實視頻的多標籤分類任務。

在模型訓練過程中，作者在FaceForensics++(FF)數據集上構建了學習設置，其中訓練集和測試集的比例為7:3。由於FF數據集包含4種不同的假視頻生成模型，作者添加了真實的視頻作為第5類。

作者先使用了具有3個VGG塊的簡單CNN，在FF數據集中的5個類別（4個生成模型+1個真實視頻）上實現了68.45%精度的PPG單元塊分類。隨後作者猜測，可能需要一個更高容量的模型才能提升分類精度。所以，他們用另一個VGG塊進行擴展，從而得到了75.49%的結果。

為了進一步證明「猜測」，作者使用VGG16、VGG19、InceptionV3、Xception、ResNet50、DenseNet201和MobileNet進行了實驗，訓練時間為100個epochs，結果如上圖所示：VGG19精度最高。

另外，像DenseNet和MobileNet這樣的複雜網絡由於過擬合，雖然達到了非常高的訓練精度，但在測試集上的效果不如人意。

為了證明作者的方法可以擴展到新的模型，其將FF數據集與CelebDF數據集結合了起來，具體操作是從CelebDF中隨機選擇了1000個假視頻，創建為第六個類。

最後，作者的方法在CelebDF上達到了93.69%的假視頻檢測準確率和92.17%的生成模型檢測準確率。因此，得出結論：利用生物信息檢測假視頻的模型具有泛化性。

via https://www.huxiu.com/article/326522.html

https://venturebeat.com/2020/09/03/ai-researchers-use-heartbeat-detection-to-identify-deepfake-videos/

相關焦點

  • 黑科技檢測方法：利用心跳做信號，還能「揪出」造假模型
    伴隨著這些生成技術的發展，出現了一些被證實有效的 deepfake 檢測方法，這些方法具備較高的分類準確率。然而，目前幾乎沒有任何工作關注 deepfake 視頻的來源（即生成 deepfake 視頻的模型）。來自賓漢姆頓大學、英特爾公司的研究人員提出了一種方法，利用視頻中的生物信號檢測該視頻是否偽造。
  • 用生物信號檢測Deepfake，這個新方法會很快失效嗎？
    讓 Deepfake 越來越逼真的一個核心技術是 GAN（Generative Adversarial Network），也就是生成對抗網絡。它的原理類似左右手互博 —— 生成器生成假視頻，鑑別器用以鑑別真偽，以此不斷提高造假的質量。正因如此，檢測 Deepfake 的方法很容易被超越。比如在 2018 年，就有研究通過人物的眨眼是否自然來判斷視頻的真偽。
  • 找到那張假照片,對抗Deepfake之路
    英特爾高級研究科學家Ilke Demir表示：「我們從面部不同部位提取了幾種PPG信號，並檢測了其時空一致性。在通過深度學習合成的視頻中，心跳信號既沒有一致性，也與脈搏信號沒有任何聯繫。而在真實拍攝的視頻中，人面部的血液流動是會和脈搏，也就是心跳信號保持一致的。」
  • 一個模型擊潰12種AI造假,各種GAN與Deepfake都陣亡
    最新研究發現，只要用讓AI學會鑑別某一隻GAN生成的假圖片，它就掌握了鑑別各種假圖的能力。不論是GAN生成的，Deepfake的，超解析度的，還是怎樣得來的，只要是AI合成圖片，都可以拿一個通用的模型檢測出來。儘管各種CNN的原理架構完全不同，但是並不影響檢測器發現造假的通病。
  • 什麼是Deepfake?為什麼Deepfake生成的假臉會這麼自然?
    為了防範它背後的社會安全隱患，近日，紐約大學的研究人員找到了一種區分真假視頻的可靠方法，他們發現在虛假視頻中，人物的頭部動作和瞳孔顏色通常會很怪異，當人眨眼時，它的眼球會出現詭異運動。 什麼是Deepfake？ 既然要對抗虛假視頻，就讓我們先從Deepfake講起，下面是它的作品「案例」：
  • 《連線》雜誌：AI生成的文字將是最可怕的Deepfake內容
    雖然這項技術仍在興起，但其被濫用的可能性是如此驚人，以至於科技公司和學術實驗室優先研究並資助檢測方法。社交平臺為含有 「合成和操縱媒體」的帖子制定了特殊政策，希望在保護自由表達和阻止大肆傳播的謊言之間取得適當平衡。但現在，距離11月3日還有3個月左右的時間，一波deepfake內容似乎從未斷過。
  • deepfake會通過模擬和翻轉,影響聲音的合成
    第一次見這種標題的消息，就看到說deepfake被曝光但是我本人真的覺得。電影和遊戲還是不要用這種方式更好。確定嗎？這次的事件已經是第四次傳言deepfake，但是得到的回覆都是"很久之前就出現過，但是估計是黃牛炒作"云云。但是這不是重點，重點是這次python等一些軟體已經可以做到將圖片翻轉後，替換聲音、圖像，還原出聲音。
  • 帶你解析2020 Kaggle DeepFake 排行榜前1.5%技術方案
    Deepfake -假視頻檢測截圖來自kaggle官網最近的2020 Deepfake假視頻檢測挑戰賽，旨在幫助世界各地的研究人員檢測線上視頻及語音是否被偽造和篡改，幫助提升線上人權和保護網絡上個人隱私。
  • Deepfake視頻中涉及色情高達96%
    前不久，Siraj 開設 「用機器學習賺錢」 的課程，被爆出課程質量跟宣傳大相逕庭，而學員要求退款都被拒絕甚至拉黑，被大舉聲討。就在這兩天，Siraj Raval可能要徹底玩完了：他剽竊了論文。松寶有話說：「用機器學習賺錢」 的課程現在好多。2.【業界 | 大小僅1MB，超輕量級通用人臉檢測模型登上GitHub趨勢榜】來源： 機器之心
  • 想用GAN和Deepfake瞞天過海,沒那麼容易:這是Adobe和加州伯克利的...
    來自 Adobe 和加州伯克利的研究者發現，僅僅在一種 CNN 生成的圖像上進行訓練的分類器，也可以檢測許多其他模型生成的結果。或許，GAN 和 Deepfake 在「瞞天過海」上也不是萬能的。近來，諸如生成對抗網絡（GAN）的深度圖像生成技術快速發展，引發了公眾的廣泛關注和興趣，但這也使人們擔心，我們會逐漸走入一個無法分辨圖像真實與否的世界。
  • 藍盟IT外包，利用心率製造信號，也可以「抓住」假模型
    生物信號被證明為真實影像的真實感標記，也被用作deepfake檢測的重要生物標記。 據我們所知，假視頻的合成人物不能有與真視頻人物相似的心率模式。 這項研究的重要發現基於這樣的事實：這些生物信號可以解釋為包括各模型的殘差標識變換在內的假心率。 這不僅確定了視頻的真實性，而且促進了對可用於分類生成該視頻的源模型的生物信號的新搜索。
  • 研究人員用頻率分析來識別Deep-Fake圖像 算法造圖會...
    為此，他們還分析了頻域中的對象，這是一種已建立的信號處理技術。兩種算法的相互作用產生新的圖像deep -fake images是「深度學習」(deep learning)和「fake」(fake)的合成詞，是在計算機模型的幫助下生成的，也就是所謂的「生成式對抗網絡」（Generative Adversarial Networks)，簡稱GANs。
  • 地外文明將無處可逃?
    地外文明將無處可逃？美國宇航局表示，這顆星球可能有生命存在！
  • 基於MATLAB軟體心跳呼吸模型建立與仿真設計
    它可以用來求解各類學科問題，包括信號處理、圖象處理、神經網絡、控制系統辨識等。用MATLAB對心跳呼吸進行仿真，可以大大提高仿真工作效率。本文引用地址：http://www.eepw.com.cn/article/201706/350205.htm　　1 生命信號特徵分析　　生命信號的規律性主要體現在心跳和呼吸的速率都很低。
  • 地外文明將無處可逃？
    根據最新的檢測報告，太陽系中的木星和土星，存在生命體的可能性極高。科學家表示，在木衛二的冰蓋下面，可能存在著和地球上海洋類似的結構。由於受地核的影響，冰蓋下面有流動的液體存在。通過傳回的數據中，科學家大膽推測，若木衛二的液體中含有水，那麼極有可能會有生命存在，難道地外文明將無處可逃？
  • 新研究訓練小老鼠充當分類器識別Deepfake假聲音,比計算機更靠譜
    這項成果可能會影響技術公司通過人工智慧來構建系統，去檢測電腦合成的聲音。"Deepfake"的發展令人擔憂「小哥哥網戀嗎？我蘿莉音。」利用人類思維製造「假聲」人類在語言加工處理過程中，總是傾向於用標準化的思維來表述，並對語音進行壓縮。新型的"Deepfake"機器學習技術正是利用了這一規律，用聽起來非常像人說話，實際上來源不一的聲音來魚目混珠。
  • 社交網絡上的圖正被Deepfake機器人用來生成果體照
    別有用心的人，正在盯著你放在社交網絡上的美照，還可能已經被Deepfake拿去生成果照。 「一鍵脫衣」原理 去年，就有人曾揭秘過DeepNude背後的技術原理。 DeepNude主要使用了計算機視覺領域的3項技術。 圖像修復：Image Inpainting。
  • 新鄉電力大數據讓「電老鼠」無處可逃
    「現在有了高科技的電力數據智能分析技術，通過分析電流、電壓、線損、波形等數據變化情況，構建多種比對模型，提高對竊電客戶的識別精準度，繪製竊電現場畫像，讓「電老鼠」無處可逃!」新鄉供電公司反竊電班班長趙永良說。
  • 換臉App背後的恐慌:我的臉什麼時候會被偽造,又該如何辨別?
    然後，當我向網絡輸入某人的臉部圖像時，網絡只會認為這是另一張變形圖像，從而嘗試讓它看起來像是訓練時所用的臉。」面對Deepfake的泛濫，一個很自然的解決方法是，技術引發的問題交給技術來解決。從技術上來說，Deepfake會在篡改視頻上留下可預測的偽造痕跡，而深度學習算法能夠檢測到它們。
  • 地外文明將無處可逃?美國宇航局表示,這顆星球可能有生命存在!
    地外文明將無處可逃？美國宇航局表示，這顆星球可能有生命存在！在我們的認知中，人類生存的地球，是太陽系中僅有的存在生命痕跡的星球。隨著時間流逝和科技進步，人類對宇宙的了解，也變得詳細起來。根據最新的檢測報告，太陽系中的木星和土星，存在生命體的可能性極高。科學家表示，在木衛二的冰蓋下面，可能存在著和地球上海洋類似的結構。由於受地核的影響，冰蓋下面有流動的液體存在。通過傳回的數據中，科學家大膽推測，若木衛二的液體中含有水，那麼極有可能會有生命存在，難道地外文明將無處可逃？