新研究訓練小老鼠充當分類器識別Deepfake假聲音,比計算機更靠譜

2020-12-04 大數據文摘

大數據文摘出品

來源:The Wall Street Journal

編譯:林苗、易琬玉

人們一般都認為狗是自己最好的朋友。然而,當要分辨一段錄音的真假時,小老鼠才是我們的好幫手。

本周,美國網絡安全會議Black Hat在拉斯維加斯舉行。會上,研究人員提出,小動物們,特別是小老鼠,在識別自然語音元素方面很有天分。

這項成果可能會影響技術公司通過人工智慧來構建系統,去檢測電腦合成的聲音。

"Deepfake"的發展令人擔憂

「小哥哥網戀嗎?我蘿莉音。」

在一大波變聲器和修音軟體的風潮下,變聲蘿莉音、御姐音、正太音幾乎只需要手動調調軟體參數。對於遊戲直男來說,遊戲連麥時聽到萌萌妹子音,想要點開個人主頁勾搭卻發現是個摳腳大漢的概率不低。

變聲這件事情,本身就帶有娛樂性。鬥魚大熱的遊戲主播Zard有一個關鍵時期,就是他開著變聲器變身萌妹聊天,軟萌又調皮的人設吸粉無數。

然而,玩樂歸玩樂。隨著"深度偽造"的發展,偽造的你的聲音可能親媽也聽不出端倪,一旦被犯罪分子利用便會造成大問題。

對聲音的偽造從1999年就開始了,從Microsoft Mike 到谷歌的Tacotron 2,每一次發展迭代都變得更加像人。

因為"Deepfake"的出現,我們再也不能相信「眼見為實」。

近來,專家們非常擔心"Deepfake"類產品的發展速度。通過"Deepfake"應用,計算機可以對數百份照片或錄音進行採樣合成,偽造一些人們沒有說過的錄音或是照片。

前段時間,美國眾議院議長Nancy Pelosi的一段深度偽造的談話視頻出現在社交媒體上,這段視頻經由川普總統分享,在Facebook上獲得了超過250萬次的瀏覽量。早些的時候,美國前總統歐巴馬的臉被「借用」來攻擊川普總統,該視頻在網站上也獲得480萬的瀏覽量。

川普總統本人也難逃一劫,西雅圖電視網曾播放過一段深度偽造的川普演講視頻,視頻中川普總統滿臉通紅,還不時做一些滑稽的表情。

視頻地址:

https://www.youtube.com/watch?v=jzKlTKsHeus

由於深度偽造技術可以運用在包括總統在內的任何官員身上,美國兩黨開始擔心該技術將成為針對美國和其他西方國家發起虛假信息戰爭的最新武器;不法分子很可能會利用這項技術,模仿高層管理人員或某位候選人的言行,再對他們進行網絡攻擊,從而影響各級選舉。

利用人類思維製造「假聲」

人類在語言加工處理過程中,總是傾向於用標準化的思維來表述,並對語音進行壓縮。新型的"Deepfake"機器學習技術正是利用了這一規律,用聽起來非常像人說話,實際上來源不一的聲音來魚目混珠。

「在一個關鍵的時機,假冒某位CEO或某位政治家說一些或者做一些他們並沒有說過、做過的事,可能會引發某種程度上的災難,比如破壞全球金融市場的秩序,或者引發民事或軍事上的衝突。」GSI科技公司數據科學主管、小老鼠研究項目成員之一,George Williams如是說。

這個項目的其他研究人員包括金融信息公司Bloomberg LP的數據科學家Alex Comerford,以及俄勒岡大學的研究生Jonathan Saunders。

Jonathan Saunders認為,「如果你想進一步優化、形成通用版本的'Deepfake'檢測算法,那就需要深入語音學和神經科學來了解聲音聽起來是什麼樣的,以及大腦是如何分析和處理聲音的」。

小鼠具有與人類相似的聽覺系統

研究人員們訓練小老鼠來區分不同的音素,比如與爆破音P、B、T相關的聲音。英語中的48個音素,經常被用於模擬語音方面的研究,也產生了一些比較有挑戰性的研究成果。早期在"Deepfake"方面的嘗試,聽起來都很像機器人。

在識別複雜聲音的能力方面,小老鼠具有與人類相似的聽覺系統。因此,研究人員假設,可以利用小老鼠在合成聲音的數據集上進行測試,以區分哪些聲音是真實的。

研究人員利用條件反射對小老鼠進行訓練強化——聽到真實的音頻片段時,跑向某個位置;聽到合成的音頻片段時,則跑向另一個位置。如果跑對了,會得到獎勵。久而久之,小鼠就學會了如何區分真假兩種聲音。

在測試中,小老鼠檢測到合成聲音的正確率為75%。如果研究人員在實驗中添加一些意外的變量,比如新的聲音或元音,小老鼠的正確率會隨之下降。然而,小老鼠們還是能夠在訓練數據中,把新的、複雜的語音模式區分出來。

一些研究團隊都在利用人工智慧對抗"Deepfake"。然而,數據算法一般都是在訓練集數據範圍內運行的,這也就意味著它們非常容易受到新技術或者超範圍數據的衝擊。本文介紹的團隊用小老鼠進行訓練,卻可以適應這種新的變化。

Jonathan Saunders表示,「目前在聽覺研究領域,小老鼠們還是一張白紙。他們能學習複雜的特徵集,可能也可以學習新的分類問題。」

當然,這並不意味著Youtube需要通過餵養大堆小鼠來識別深度偽造的視頻。但是通過弄明白小鼠是如何具有這樣的識別能力,可以讓我們更好的訓練計算機,進而能夠更好地對抗"Deepfake"。

我們曾如何對抗"Deepfake"

在對抗"Deepfake"這件事上,很多科技公司都進行過努力。

比如DARPA花費數年的MediFor計劃,匯集世界頂尖的研究人員開發自動評估圖像或視頻完整性的技術,並將這些技術集成到端到端。MediFor平臺將自動檢測並分析媒體上的偽造,並推斷視覺媒體的完整性,以便於確定可疑圖像或視頻。然而根據項目參與人員Farid的說法,這個項目目前依舊需要大量的人工分析和篩選。

阿姆斯特丹的Deeptrace就是通過深度學習大量虛假視頻,來餵養、打磨一個深度偽造識別系統。它不僅能夠識別視頻是否是偽造的,還能揭露偽造視頻的製作過程。通過追蹤算法的痕跡,Deeptrace能夠得到了解生成偽造的算法信息。例如,知道整個視頻只是偽造了面部信息還是偽造了整體。

當人們發現一些尋常的東西(比如一通電話或者是一段視頻)可以被輕易偽造時,就像打開了潘多拉的魔盒。我們現在還沒能找到完美對抗"Deepfake"的解決方案。小鼠在聽覺方面的天賦或許能幫我們前進一步,然而對抗深度偽造,依舊任重道遠。

相關報導:

https://www.wsj.com/articles/to-combat-deepfakes-researchers-turn-to-mice-11565256600

相關焦點

  • 什麼是Deepfake?為什麼Deepfake生成的假臉會這麼自然?
    為了應對這種由新技術帶來的犯罪風險,近來研究人員一直在努力發掘虛假視頻和真實視頻的區別,而就在本月初,美國國防部正式宣布了紐約大學開發的一個檢測工具,他們找到了GAN生成視頻的一些明顯特徵。 當時美國國防部把這項技術譽為人類對於AI的軍備競賽的一個開端,近日,這項技術的開發人員接受了媒體採訪。讓我們結合報導和論文,近距離看看他們的方法究竟怎樣。
  • 研究人員用頻率分析來識別Deep-Fake圖像 算法造圖會...
    Horst Görtz Institute的的研究人員和「大規模對手時代的網絡安全」(Casa)卓越集群開發了一種有效識別深度偽造圖像的新方法。這種方法被讓那些由計算機算法而不是人類創建的偽造圖像「一覽無遺」。為此,他們還分析了頻域中的對象,這是一種已建立的信號處理技術。
  • 帶你解析2020 Kaggle DeepFake 排行榜前1.5%技術方案
    Deepfake -假視頻檢測截圖來自kaggle官網最近的2020 Deepfake假視頻檢測挑戰賽,旨在幫助世界各地的研究人員檢測線上視頻及語音是否被偽造和篡改,幫助提升線上人權和保護網絡上個人隱私。
  • 一個模型擊潰12種AI造假,各種GAN與Deepfake都陣亡
    只要做好適當的預處理和後處理,以及適當的數據擴增,便可以鑑定圖片是真是假,不論訓練集裡有沒有那隻AI的作品。這就是Adobe和UC伯克利的科學家們發表的新成果。有網友表示,如果他們把這項研究用來參加Kaggle的假臉識別大賽,那麼將有可能獲得最高50萬美元獎金。然而他們並沒有,而是先在ArXiv公布了預印本,並且還被CVPR 2020收錄。
  • 找到那張假照片,對抗Deepfake之路
    使用生理學特徵去檢測圖像造假將會是以後的新的思路。」02.要打「假」,先造「假」相比起實驗中採集的圖像,Deepfake處理過的「假照片」圖像質量要低很多,這意味著合成的照片和視頻可以更容易被發現。Ciftci說:「我們會用採集到的生理信號對3D圖像進行處理,合成了一些『假』視頻。
  • 深度揭秘AI換臉原理,為啥最先進分類器也認不出?
    研究人員共對3個分類器做了測試,其中兩個為第三方分類器,一個為研究人員訓練出的用於對照的分類器。選用的第三方分類器分別採用兩種不同訓練方式。第一個分類器模型基於深度殘差網絡ResNet-50(Deep residual network)。用到的ResNet-50預先經過大型視覺資料庫ImageNet訓練,接下來再被訓練用於辨別真假圖像。
  • deepfake會通過模擬和翻轉,影響聲音的合成
    第一次見這種標題的消息,就看到說deepfake被曝光但是我本人真的覺得。電影和遊戲還是不要用這種方式更好。確定嗎?這次的事件已經是第四次傳言deepfake,但是得到的回覆都是"很久之前就出現過,但是估計是黃牛炒作"云云。但是這不是重點,重點是這次python等一些軟體已經可以做到將圖片翻轉後,替換聲音、圖像,還原出聲音。
  • 想用GAN和Deepfake瞞天過海,沒那麼容易:這是Adobe和加州伯克利的...
    來自 Adobe 和加州伯克利的研究者發現,僅僅在一種 CNN 生成的圖像上進行訓練的分類器,也可以檢測許多其他模型生成的結果。或許,GAN 和 Deepfake 在「瞞天過海」上也不是萬能的。近來,諸如生成對抗網絡(GAN)的深度圖像生成技術快速發展,引發了公眾的廣泛關注和興趣,但這也使人們擔心,我們會逐漸走入一個無法分辨圖像真實與否的世界。
  • DeepFake檢測新思路:用心跳做"信號",背後的"造假"模型也無處可逃
    近日,賓漢姆頓大學和英特爾的研究人員開發了一種算法,號稱能用視頻中的生物信號檢測這個視頻是否是偽造的。除此之外,這種方法還能識別出假視頻背後的生成模型。進過實驗,該方法對假視頻的檢測準確率為97.29%,對假視頻背後生成模型的識別準確率93.39%。值得一提的是,論文中利用的生物信號是心跳,採用的方法是PPG光電容積脈搏波描記法原理(PhotoPlethysmoGraphy),簡單來說利用光率的脈動變化,折算成電信號,從而對應成心率。
  • Deepfake陰影下的「人臉識別時代」全面到來!我們可能遭遇什麼危險?
    生物識別技術則能夠有效解決以上兩種方式的困擾。通過將計算機與光學、聲學、生物傳感器和生物統計學原理等科技手段密切結合,利用人體固有的如指紋、臉相、虹膜等生物特徵來進行個人身份的鑑定。GAN算法可以基於一個資料庫自動生成模擬該資料庫中數據的樣本,並通過識別器評估生成器生成的數據的真偽,生成器和識別器之間互相博弈、不斷學習,進而產生大量高精度的數據。
  • 《連線》雜誌:AI生成的文字將是最可怕的Deepfake內容
    但現在,距離11月3日還有3個月左右的時間,一波deepfake內容似乎從未斷過。相反,另一種人工智慧生成的媒體形式正在成為頭條新聞,這種媒體更難被發現,卻更有可能成為網際網路上一股無孔不入的力量:deepfake文字。《連線》稱,上個月推出的GPT-3是生成式寫作的下一個前沿:一個可以產生令人震驚的句子的AI。
  • 用生物信號檢測Deepfake,這個新方法會很快失效嗎?
    讓 Deepfake 越來越逼真的一個核心技術是 GAN(Generative Adversarial Network),也就是生成對抗網絡。它的原理類似左右手互博 —— 生成器生成假視頻,鑑別器用以鑑別真偽,以此不斷提高造假的質量。正因如此,檢測 Deepfake 的方法很容易被超越。比如在 2018 年,就有研究通過人物的眨眼是否自然來判斷視頻的真偽。
  • 黑科技DeepFake,上線五天就遭全球唾棄,這技術到底有多邪惡?
    團結起來,我們一定能夠戰勝新冠病毒。 謝謝。」這愛因斯坦如假包換,如果他說的不是新冠病毒的話,連種花家都要信了!對了,這就是DeepFake所展現的超級換臉技術,配合製作者高超的視頻特效手法,復活名人、以假亂真不過是雕蟲小技而已!
  • 【新智元乾貨】計算機視覺必讀:目標跟蹤、圖像分類、人臉識別等
    本文以計算機視覺的重要概念為線索,介紹深度學習在計算機視覺任務中的應用,包括網絡壓縮、細粒度圖像分類、看圖說話、視覺問答、圖像理解、紋理生成和風格遷移、人臉識別、圖像檢索、目標跟蹤等。網絡壓縮(network compression)儘管深度神經網絡取得了優異的性能,但巨大的計算和存儲開銷成為其部署在實際應用中的挑戰。
  • AI換臉視頻讓人真假難辨,新技術用AI來識破它
    但日前研究人員通過人工智慧對虛假視頻中的人像眨眼進行分析,從而可以有效將假視頻檢測出來。隨著人工智慧的飛速發展,不少人利用所謂的Deepfake黑科技製作出虛假視頻,這種視頻換臉技術引起了業內的強烈擔憂。正如他們所稱的那樣,Deepfake是數字虛假信息不斷演變的最新的——也許是最令人不安的——表現。修改圖像早已有之,而篡改音頻的方法也在不斷改進。
  • 基於多個特徵分塊貝葉斯分類器融合策略的人臉識別方法
    因此,如何對類內變化以及類間變化精確的建模和分類就成為人臉識別研究領域的重要內容之一。在眾多的建模、分類方法中,統計模型是一種主流方法,其中Moghaddam[8]提出的貝葉斯分類器得到了廣泛的認可。奇異值分解  對於任何一個矩陣A∈Rm×n,利用奇異值分解將其轉化為對角矩陣。
  • 噪聲背景下環境聲音識別研究
    以伽瑪通(Gammatone)變換的譜圖為對象提取特徵,生成灰度頻譜圖後映射成3種單色圖,分別提取各單色圖的扇形投影特徵,在對得到的各方向的投影特徵進行離散小波變換得到特徵矩陣,並結合改進的最小均方誤差(IMMSE)聲音增強算法作為前端處理以減小噪聲幹擾,最後,利用支持向量機對帶噪聲音進行分類識別。實驗結果表明:在-5dB的低噪背景下仍能取得較高識別率。
  • 社交網絡上的圖正被Deepfake機器人用來生成果體照
    別有用心的人,正在盯著你放在社交網絡上的美照,還可能已經被Deepfake拿去生成果照。 關注Deepfake傳播的研究機構「Sensity」發現,截至到2020年7月,在Telegram公共頻道中已經生成並分享了超過10萬張。 這意味著,生成的圖片總數,包括那些未曾分享過、或是7月以來製作的照片,是遠遠高於這個數字的。 Sensity表示,這些頻道中的大部分用戶,大概有70%來自俄羅斯和周邊國家。