AI軟體克隆你的聲音,全球詐騙案件已屢次得逞!

2020-12-17 騰訊網

熱點追蹤/深度探討/ 實地探訪 / 商務合作

在2月28號剛於舊金山結束的RSA大會上,一家名為Pindrop的專門檢測語音詐騙的初創公司再次向業內發出警告:網絡詐騙份子已經開始藉助AI軟體克隆聲音進行詐騙了!

(Pindrop的CEO(右)和CTO(左),圖片來自網絡)

Pindrop的CEO Vijay Balasubramaniyan表示:「Pindrop在過去一年中調查了大約十二起類似的案件,都是欺詐者使用AI軟體「克隆」某人的聲音以進行詐騙。同時,我們還看到了Deepfake音頻作為針對公眾人物的工具出現。如果你是家公司的CEO或者你在YouTube上有很多視頻,騙子就極有可能用它來合成你的聲音。

並且,雖然Pindrop只看到了少數這樣的案件,但涉案金額很高。Pindrop估算涉及的詐騙金額可能高達1700萬美元。

(圖片來自網絡)

來自矽谷的警告消息又一次將AI的安全性問題帶到了輿論的風口浪尖。毫無疑問,自從AI成為全球技術發展的主流以來,DeepFake的問題就一直是人們關心的重點。在之前的文章中,小探深度討論了關於人臉識別的安全問題(點擊這裡查看)。而今天我們要討論的AI語音合成的問題,則可能比人臉識別更加危險。

AI聲音合成,一面「天使」一面「魔鬼」

語音合成技術現在已經非常成熟了。例如高德導航裡的各種明星語音包,「林志玲為您導航祝您好心情」、「郭德綱前方有落石車碎人心碎」、「你鎮定一下羅永浩要開始導航了」,基本上能夠達到以假亂真的效果。大部分時候用戶也分不出來到底是明星自己錄的,還是合成的語音。當然這種場景中,語音合成只是為了提升用戶體驗做的一個小功能。不僅沒有對用戶造成損失,反而讓用戶開車的時候擁有更好的體驗。

(高德地圖的明星導航語音包,圖片來自網絡)

但是下面這個故事就不是這樣了。2018年Charlie Warzel,Buzzfeed的科技記者,受了前密西根大學社交媒體責任中心CTO Aviv Ovadya言論的影響,做了一件想想都非常後怕的事情。他使用AI合成軟體模仿了自己的聲音,然後打電話給他媽媽,結果他媽媽愣是沒聽出來。世界上最熟悉你自己聲音的人是誰?可能不是你自己,因為你自己聽到的聲音和別人聽到的是有區別的。最熟悉你聲音肯定是你的母親。

(圖片來自網絡)

既然身邊最熟悉的人都被這樣「偽裝」騙了,那只要使用這種軟體不就擁有了「變身」的超能力了嗎?

事實上,利用AI語音合成冒充熟人進行電信詐騙的案例這幾年時常發生,並且涉及金額都非常的巨大。

根據《華爾街日報》2019年報導,英國某能源公司高管在一個小時之內通過匈牙利供應商向一詐騙犯轉帳24萬美元,約175萬元人民幣,僅僅是因為詐騙犯通過AI技術仿造了其母公司CEO的聲音。該高管表示,整個通話過程中,老闆輕微的德國口音都展現得淋漓盡致,該高管完全沒有任何的懷疑,直到被要求再次轉帳時才發覺了事件異常。

在報案調查後,警方只能發現該筆轉帳流動到了墨西哥等地區,但是具體嫌疑犯的身份始終無法確定。這個案件帶來的損失目前只能由保險公司承擔。這位受害者後來在一封電子郵件中寫道,雖然「老闆」的要求相當奇怪,但聲音如此逼真,他覺得自己別無選擇,只能服從。

美國網絡安全公司Symantec的研究人員表示,他們發現至少有三起公司高管的聲音被人模仿以用於電信詐騙。雖然Symantec拒絕透露這些受害公司的名稱,也不願透露上述英國能源公司是否是其中之一,但它指出,其中一起案件的損失總計達數百萬美元。

(Symabtec公司大樓,圖片來自網絡)

雖然有種種風險,但技術的發展一點也沒有慢下來。目前,許多矽谷巨頭和人工智慧初創企業都在開發這種語音合成軟體,用以模仿人的聲音節奏和語調,並被用來製作令人信服的演講。

(Lyrebird 官網)

幾個月前,Resemble團隊發布了一個名為Resemblyzer的開源工具,該工具使用人工智慧和機器學習來通過獲取語音樣本的高級表示並預測它們是真實的還是生成的來檢測深度偽造。而在AI語音合成屆早已成名已久的Lyrebird,其開發出的AI合成軟體更是可以在合成語音中模擬出說話人的感情。

AI技術被濫用,它的工作原理是什麼?

無數的研究表明,重現人們講話的韻律只需要一個小的數據集。像Resemble和Lyrebird這樣的商業系統僅需要幾分鐘的音頻樣本,而百度最新的Deep Voice實現等複雜的模型可以從3.7秒的樣本中複製語音。

史丹福大學網絡政策中心研究員、曾任歐巴馬和川普政府時期白宮網絡安全政策高級主管的Andrew Grotto(安德魯·格羅託)表示:「罪犯將使用任何能讓他們以最低成本實現目標的工具。也許這是一項在10年前聽起來很新奇的技術,但是現在任何有想法的非專業罪犯都可以使用。」

(圖片來自網絡)

目前市面上的AI語音合成軟體的工作原理是將一個人的聲音分解成不同的組成部分,比如音軌或音節,然後將這些組成部分重新排列,形成具有相似語音模式、音調和音色的新語音。除了藉助這種新技術,騙子們還依賴於最常見的詐騙技巧來提高他們的效率,利用時間壓力,比如臨近的截止日期,或者社會壓力,比如安撫老闆的願望,來讓受害人打消任何疑慮。在某些情況下,犯罪分子會瞄準公司會計或財務的負責人,因為他們知道這些人有能力立即匯款。

(Pindrop的CEO演示如何合成公眾人物的視頻截圖)

視頻連結https://www.youtube.com/watch?v=PDs8-Exx6kE&feature=youtu.be

除了進行詐騙,DeepFake音頻還存在向公眾傳遞負面信息的風險。RSA大會演講現場,Pindrop的CEO向公眾演示了一款合成公眾人物聲音的AI系統,這項技術通過在網上搜索川普之前的錄音來模仿他的聲音,耗時不到一分鐘,並用美國總統川普的聲音說了一些笑話。如果這項技術被用於仿造領導人物的聲音,並用到犯罪事件中,無疑可能非常危險,甚至給國家安全帶來危害。

AI聲音合成如此猖獗,應該如何防範?

雖然風險重重,但語音模擬技術的發展勢不可擋。例如,Google已經為自動識別DeepFake語音的研究項目提供了資金和資源的幫助。但Google也開發了一些世界上最具說服力的語音人工智慧,包括它的Duplex服務,它可以用電腦生成的栩栩如生的聲音,打電話給餐廳預定座位。

(Google語音助手,圖片來自網絡)

卡內基國際和平基金會(Carnegie Endowment for International Peace)矽谷辦公室主任Charlotte Stanton則提醒業界:「在商業領域,人們有很強的的意願想要製造出好的技術產品,但一定要平衡,避免它被用於非法途徑。所以,研究人員在研發像AI語音合成技術這樣強大的技術時需要更加謹慎,很明顯,AI語音合成已經到了可以被濫用的地步。」

幸運的是,人工智慧開發人員正在努力構建能夠檢測和打擊Deepfake音頻的解決方案。例如,Pindrop公司已經開發出一種人工智慧算法,可以從DeepFake的音軌中辨別真實的語言。它是通過檢查說話時單詞的實際發音,以及這些發音是否與真實人類的說話模式相匹配,因為人類的聲音無法像機器偽裝那樣標準和快速。

Pindrop還預測到,也許有一天音頻安全服務會像數據安全服務一樣有巨大的市場。該公司CEO表示:「會有一些公司建立檢測這些安全漏洞的機制。如果網上出現了偽造的音頻,那麼這個機制就會開始保護你的聲音數據。」

(Pindrop CEOVijay Balasubramaniyan,圖片來自網絡)

除了Pindrop等小公司。矽谷科技巨頭也積極的致力於尋找檢測Deepfake音頻的方案。例如,谷歌在去年年初與GNI合作,發布了一系列合成語音,其中包含由其深入學習的文本到語音(TTS)模型所說的數千個短語,來自英文報紙文章68種不同的合成語音,並涵蓋了各種區域口音。該資料庫提供給了2019 ASVspoof挑戰的參與者使用,該競賽旨在開發針對假語音的對策,特別是可以創建區分真實和計算機生成的語音的系統。

同時,DeepFake音頻的潛在威脅也可能會改變用戶的行為,使用戶在向網際網路上傳聲音時更加謹慎。Pindrop調查的詐騙案例中就有這樣一位受害者,他幾乎沒有在任何社交平臺上公開過自己的聲音,僅僅是因為召集員工開會時的講話被竊取,就成為了犯罪分子的目標。這樣的案例不禁會讓人聯想:「既然這麼謹慎的人都會存在被詐騙的風險,那麼我們乾脆就不要在公眾平臺上表露自己的任何生理特徵,包括聲音和長相。這實在太恐怖了!」

(圖片來自網絡)

不敢想像,如果我們的公眾社交平臺上面看不到任何超出文字以外的更生動的表達,那麼幾十年來的科技和信息發展不就白費了嗎?這無疑是對多年來為人類科技文明進化做出貢獻的科技工作者的侮辱。

小探相信,隨著AI不斷的發展,我們所面對的DeepFake威脅將會越來越多。因此,無論是視頻或音頻,建立一個完善的安全審核機制是非常有必要的!

關於預防DeepFake的安全機制,你還有什麼想法嗎?歡迎來評論區留言哦!

參考連結:

https://www.pcmag.com/news/is-ai-enabled-voice-cloning-the-next-big-security-scam

https://9to5google.com/2019/01/31/google-deep-fake-audio-detection/

https://www.washingtonpost.com/technology/2019/09/04/an-artificial-intelligence-first-voice-mimicking-software-reportedly-used-major-theft/

相關焦點

  • 莆田出現冒充領導詐騙案件 利用社交軟體全面「撒網」
    近日莆田出現冒充領導詐騙案件利用微信等社交軟體全面「撒網」請廣大群眾提高警惕謹防被騙!知道我是誰嗎?您是XX嗎?仙遊秀嶼警方,已連發緊急提醒 詐騙案件發生後,仙遊縣公安局今年9月8日在網上發出了「關於冒充公職人員詐騙案件高發的預警」,內容如下:近日,仙遊縣轄區內發生數起冒充公職人員詐騙案件。
  • 核心期刊發論文騙局緣何屢屢得逞
    詐騙團夥成員首先向受害者收取訂金,少則數千,多則上萬,金額多少根據受害者的信任度決定。收到款項後,他們再利用編輯軟體將稿件錄用通知單中題目、名字、時間修改偽造後發給受害者,還謊稱論文發表是熟人私下操作,貿然聯繫版面編輯會導致無法發表,耐心等待期刊印發即可,進而騙得尾款。
  • 微信語音也能被克隆?微信安全中心官方答案來了
    驅動中國2018年11月30日消息  針對微信「語音克隆
  • 詐騙手段花樣翻新,反詐騙警察如何與騙子「過招」
    看似並不高明的騙術,為何會得逞?當被問及為什麼當時沒有懷疑這是詐騙電話時,鄭莉告訴記者,「其實一開始接到電話我還有點懷疑,但是對方說出了我買的那條裙子,我就沒再懷疑,因為我確實在網上買了這條裙子。」
  • 電信詐騙屢禁不絕 銷贓套路易得改號軟體層出不窮
    據中國之聲《新聞縱橫》報導,此前,中國之聲曾關注過電信詐騙屢禁不絕的問題。銷贓套路輕鬆易得、改號軟體層出不窮,都給了詐騙分子可乘之機。然而,報導後幾個月過去了,此類情況至今仍然存在。這其中,有一種可以將來電信息顯示為任意號碼的「改號軟體詐騙」尤為惡劣。
  • 漂亮女網友真的是摳腳大漢 棗陽警方偵破系列詐騙案件
    在社交軟體上結識了舞蹈老師,長相甜美,性格溫柔,主動加你好友,每天對你噓寒問暖,甚至還想做你的女朋友,你會心動嗎?別激動,讓你朝思暮想的「女友」,可能是個五大三粗的摳腳大漢!北京青年報記者4月30日獲悉,湖北棗陽公安局打擊網絡電信詐騙專班再傳捷報,於4月29日再次抓獲1名電詐犯罪嫌疑人,確定被騙群眾19人,破獲詐騙案件26起,涉案金額30餘萬元。
  • 南國都市報數字報-以假亂真 警惕網絡灰黑軟體詐騙
    金某的遭遇並非個案,近期,廣西、重慶等多地發生利用虛假微信轉帳欺詐商鋪的案件。「新華視點」記者調查發現,目前,網際網路上一些遊走於法律邊緣的灰黑軟體,可以生成假截圖、假位置、假「粉絲」,滋生詐騙等行為。  支付截圖、位置、「粉絲」  均可造假  記者調查發現,假截圖的背後,是各類應用市場存在大量「支付界面生成器」的灰黑軟體。
  • 「山寨微信」出現,自動收錢、克隆朋友圈……千萬別上當!
    信」可能會分分鐘擾亂你的生活近日有調查發現,微信居然有「山寨版」,功能十分強大!轉發語音信息、自動搶紅包、全球定位、一鍵克隆朋友圈等,這些都是正版微信裡沒有的。「微商專用,防封,穩定;一鍵轉發,防封,新版零封號;全球定位,加群好友,防止撤回;紅包秒搶/群組群發……這些都是「山寨」軟體店鋪常見的廣告詞,售賣價格普遍在幾元到幾十元不等。
  • 聲音合成、換臉、轉發微信語音……AI詐騙防不勝防
    據論壇內容顯示,機器學習、人工智慧、大數據等熱點技術已被犯罪分子用於實施詐騙。比如上遊黑產利用機器學習、人工智慧,突破網際網路企業的驗證碼體系,或是利用人工智慧技術惡意註冊,獲取號碼資源,提供給犯罪分子實施詐騙。  隨著科技的進步,花樣翻新的電信網絡詐騙令人防不勝防。
  • 小心你的印章 金華破獲特大克隆印章票據詐騙案
    這是浙江罕見的一起高智商犯罪:他們專以銀行作為作案對象,通過「克隆」印鑑章到銀行騙取現金。
  • 全球首個遊戲克隆AI誕生:做出的遊戲看呆了
    根據TheVerge消息,喬治亞理工學院的研究人員最近發現了一個人工智慧新用法,他們利用AI來學習一個完整的遊戲引擎,只需要讓機器觀看短短兩分鐘的遊戲視頻,就能克隆出一款幾乎一模一樣的遊戲,這是全球首個學習遊戲引擎克隆的AI技術。
  • 從AI換臉到AI開會,潘多拉的魔盒是否會打開?
    可以說疫情改變了全球的工作方式,也改變了學生群體的學習、答辯甚至畢業方式。在疫情蔓延的地區,有些高校畢業生甚至被告知將原地畢業。在家的枯燥讓不少人迷上了AI換臉,將自己的臉替換成別人的臉,以此來增加樂趣。遠程辦公、線上學習的局限性,也讓一些人想出五花八門的「摸魚」方式,甚至想通過AI克隆另一個自己,代替自己辦公和學習。
  • 久其軟體報案:偽造公章、合同詐騙等被立案 或面臨較大損失
    4月24日,久其軟體(002279.SZ)發布具體情況如下:  公司收到上海市公安局靜安分局出具的《立案告知書》,被告知:你公司向我局舉報偽造公章一案,經我局審查,認為符合刑事立案條件,已決定立案。
  • 佳木斯警方跨省追蹤20天,成功打掉一電信詐騙...
    近日,在市公安局刑偵支隊等相關部門的大力支持下,東風公安分局經過縝密偵查、循線追蹤,歷時20天,輾轉雲南、廣西兩省開展工作,成功打掉一個電信詐騙團夥,抓獲犯罪嫌疑人3名,破獲系列通過QQ冒充熟人電信詐騙案件。
  • 涉疫情詐騙案件主要有三種類型 警方已破獲案件1116起
    中國青年報客戶端北京2月7日電(中青報·中青網記者 何春中)近日,全國公安機關按照公安部部署,依法嚴厲打擊涉疫情詐騙違法犯罪活動。截至目前,全國公安機關共破獲涉疫情詐騙案件1116起,抓獲犯罪嫌疑人294名,追繳贓款660餘萬元。
  • 微信成詐騙工具,謹防微信詐騙你需要知道這些
    我們最常見的手機軟體就是微信,每天我們都會使用微信做各種事情,微信在日常生活中對人們來說是非常重要的,但也有違法分子利用微信進行詐騙,下面就由找法網小編為你介紹微信成詐騙工具,謹防微信詐騙你需要知道這些的內容。
  • 【雲劍—2020】榆樹市局:破獲一起公安部督辦特大跨國電信詐騙案件
    【雲劍—2020】榆樹市局:破獲一起公安部督辦特大跨國電信詐騙案件 2020-08-11 16:14 來源:澎湃新聞·澎湃號·政務
  • 合成川普的西班牙語演講實現跨語言語音克隆|一周AI最火論文
    AI ScholarWeekly是AI領域的學術專欄,致力於為你帶來最新潮、最全面、最深度的AI學術概覽,一網打盡每周AI學術的前沿資訊。每周更新,做AI科研,每周從這一篇開始就夠啦!本周關鍵詞:半監督學習、語音合成、語音克隆、機器人本周熱門學術研究納米光子介質在人工神經幹涉中的應用本文中,學者們介紹了一種納米光子神經介質,可以執行相當於人工神經計算的複雜和非線性模式映射
  • 剛出獄的他跟著電視節目學詐騙,接連得逞四起,已被抓歸案
    齊魯晚報·齊魯壹點 記者 李懷磊 通訊員 韓豔燕近日,臨清市公安局偵破四起網絡電信詐騙案,犯罪嫌疑人孫某通過「空手套白狼」連續詐騙四名受害人65000元。2020年12月10日,市公安局刑警大隊城區中隊將孫某抓獲歸案。
  • Deepfake合成音頻 讓詐騙邁上了新臺階
    值得慶幸的是,這次詐騙並未成功,在收到語音郵件後認為其可疑並將其登記至公司的法律部門。但在此之前,已有很多利用Deepfake技術進行公司詐騙的案例。2019年9月,犯罪分子使用語音克隆軟體對英國一家能源公司高管的聲音進行模仿,該公司的執行董事在接聽詐騙電話後,未經思索,就把24萬美元匯入了一個海外帳戶。目前,該罪犯仍未被抓獲。