真實的虛擬世界:從深度偽造到深度合成

2020-12-22 中國經營網

2020年12月21日,騰訊研究院和騰訊新聞共同推出的「騰訊對話·Tencent Dialogue:始於2020」舉行了第五期線上對談。此次騰訊對話著重探討AI深度學習為基礎的深度合成技術(DeepSynthesis)的發展與應用。騰訊玄武實驗室負責人於暘、騰訊AILab視覺首席科學家劉威博士、中科院自動化研究所副總工程師張文生教授、電影《大聖歸來》出品人路偉圍繞深度合成技術展開了深入討論,此次對話由騰訊研究院院長司曉主持。

2014年,對抗生成網絡(GAN)被發明,由AI打造的虛擬世界大門初現。此後,「AI深度合成」(DeepSynthesis)逐漸從實驗室飛入尋常百姓家,成為普通人數字生活體驗的一部分。朋友圈中刷屏的換臉軍裝照、以假亂真的虛擬主播以及導航軟體中響起的明星語音都是這項技術的應用形式。AI深度合成帶來新奇體驗的同時也激起了眾多疑慮,「深度偽造」(Deepfake)的陰雲揮之不去。有了「Deepfake」, 「眼見為實」成為過時的經驗,人們擔心這項技術會帶我們進入一個「真假混淆」的世界,其中個體安全感和社會信任都岌岌可危。

我們如何理解這項技術的現在和未來?深度偽造之憂如何破解?深度合成技術如何向善發展?以下是對話實錄摘要:

合成=偽造or合成=創造力?

司曉:深度合成技術在我們身邊有哪些應用?

劉威:在很多人的印象裡,合成和偽造是天然聯繫在一起的,但實際不是這樣的。我們有很多積極的應用形式。譬如圖像修復,也是一種合成。騰訊AI Lab也與敦煌、故宮都在討論,怎麼去用人工智慧的技術,確切來說用對抗生成網絡的技術,去還原一幅古畫,用AI的想像修補殘缺。

路偉:深度合成在電影裡面的應用是越來越多了。以《大聖歸來》為例,其中有一百多個角色,很多故事情節,我們要讓它們在虛擬場景裡影像化呈現。我們還用到了AI音效,建立角色的虛擬人格。老片《上甘嶺》的重映用到了AI去做色彩還原,效果還不錯。像中國電影資料博物館有非常多老片資源,今後都可以通過技術還原手段重獲新生,能達到2K、甚至4K的清晰度。

張文生:現在大家重視的都是一些語音和圖像的深度合成,實際上能合成的東西還有很多。比如一個城市系統的智能交通,本身也是在做合成,它是我們物理空間和數字空間的合成。

司曉:埃隆·馬斯克在一段訪談裡面講,按現在通過技術去仿真的能力的提升速度,我們總有一天能夠去用完全數位化的方式去還原或者模擬一個對人類來說真假難辨的世界。大家來開一下腦洞,大膽預測一下深度合成的未來?

路偉:現在的電影仿真技術已經能以假亂真。我們現在做電影,也在用一切辦法讓觀眾進入一個虛擬的真實世界,從環境、燈光、空氣密度、照度、色溫,然后角色的運動、擁抱、談笑,全部都要讓觀眾覺得它是真的。虛擬主播也開始出現,比如洛天依和初音未來是虛擬角色1.0版本,接下來肯定會有2.0、3.0版本。在未來的五到十年,我認為虛擬明星的市場要遠遠大於真實世界的市場。

我認為未來會出現「無邊界」的概念。特別是在AI和VR的時代,觀眾感受到的不只是感官的視覺、聽覺、味覺,還有情感的感受,它應該是更加真實的、更加入心的,有時候我是認為在未來的真實的虛擬世界裡,虛擬和真實和邊界會慢慢模糊。我覺得現在的CG(計算機圖形)技術和計算能力,在不斷拓寬我們對世界的認知。

張文生:我們對深度合成的「深度」要求是與審美水平提高同步的。比如我們看到的AI主播,一開始是二維的,然後語音和圖像結合了,慢慢地把口型什麼都做得很好了。我想未來的三年,它有可能變成三維的、立體的一個場景。

只要有需求,有應用場景,這項技術就有市場。以電影製作為例,當我們拍一些危險場景,就可以使用深度合成來完成,減少演員受傷。或者一些「大場面」,用實拍成本非常高,有時根本實現不了,比如想展現成千上萬隻羊在山上跑,但是用深度合成就可以連羊鬍鬚這樣的細節都展顯出來。另外,一些想像層面的內容,比如把動物的動作附加到人身上,也可以通過技術實現。只要這些需求存在,技術一定會有大的突破。十年前,我們就在做裸眼3D,現在看,裸眼3D技術如果與深度合成技術結合,我相信那市場會更大。

司曉:我們看到的這些合成動作離真人的動作差距點還在哪?目前存在哪些瓶頸 ?

劉威:我們目前稱之為「深度合成」的技術使用的是深度神經網絡,在此之前的合成用的是統計的方法,嚴格意義上不能叫做「深度合成」。統計的方法就是說我們想合成什麼東西,我會收集跟它很像的一些樣本,然後用統計手段去「猜」一下,把這個樣本拼在一起。2014年對抗生成網(GAN)被發明,自此以後,相關應用的發展突飛猛進。

但是,就拿產生圖像來說,雖然這六年技術發生了巨大的進展,但是仍然離我們想像的那種高度自動化、高度自由度有很大的距離。何為高度自動化呢?舉例來說,我們要產生一個非常逼真的人臉圖,當然需要這個人臉圖像解析度越高越好。但是解析度一大,你需要的算力就會很大,大到在手機上是完成不了的,必須在雲上做,用若干塊GPU才能做出來。

同樣,對於自由度來說,我們現在的合成技術也有很大局限。通俗地說,自由度就是我想讓它產生什麼樣,就產生什麼樣,這個仍然很難。在對抗生成網絡發展的早期,我們是用一個噪音來產生一張人臉,最後產出的結果是無法把控的。直到今年,我們才能對生成的人臉的屬性有要求。背後我們要訓練的神經網絡模型參數是海量的,訓練方式也是非常複雜的。

儘管我們會遇到各種技術難點,我堅信未來用人工智慧技術去自動產生的影像,會越做越好,日臻完美。

於暘:我想到的最重要的其實是感情。大家看一些電影,或者電視劇,有時會有這種情節:角色的親人故去之後,他可能去找一個巫婆、法師,把親人的魂魄招回來,讓我能再看他一眼,再跟他說一句話。現在,技術讓我們可能擁有了種魔法。未來肯定會有人有這種想法,有這種需求,這對技術提出了新的要求。

「深度合成本身應該是賦能的技術」

司曉:目前深度合成技術面臨汙名化,「深度偽造」問題突出,我們怎麼樣保障我們這個技術不被用在造假、詐騙上?

劉威:在國內,騰訊在數字鑑偽——或者稍微學術一點,叫信息辯論術上取得了不小的突破。我們對語音、圖像、視頻鑑定的準確率比較可觀。當然,道高一尺魔高一丈,合成的技術變強,我們的防禦能力也得增長,這就像雙手互搏。

以目前的圖像鑑偽技術為例,我們有一個步驟,先用對抗生成技術去製造高逼真的樣本,再把數據給計算機去判定,讓它多輪反覆學習。我對鑑偽技術的發展保持樂觀。可以看到,即使在國際上的數字鑑偽比賽中,面對非常複雜的數據集、測試集,大家最後奪冠那些方法也不外如此。而造假的成本遠遠比鑑偽要高,也就是說,有人挖空心思造了假,我們一下就解決了。

於暘:假的影像或者聲音,能不能騙過人?能不能騙過機器?這其實是兩個話題。有些場景下人比機器好騙。比如,騙子給你打電話冒充你的同學,你一聽口音,我這個山東同學怎麼是福建口音?但可能未來就不一樣了,騙子先打給你這個同學,錄一段你那個同學的聲音,根據那個聲音合成一下。你一聽,十幾年沒見,這好像就是我老同學的聲音,你就信了。

關於能不能騙過機器,在技術維度上,就是單純的機器造假和機器鑑別的較量。可能攻守雙方誰都不會特別確信能取得百分之百的優勢,但落地到具體的業務裡面的時候會發現,有時候會需要讓步。這個其實會給造假者提供便利。

張文生:這個可能還關乎商業模式,就是如何從經濟上激勵「打假」相關技術的開發。此外,從打假的思路來說,如果我們要加上語義識別,可能會更容易,成本也更低。比如在電話詐騙這個場景下,騙子用了合成的語音,我馬上問一個涉及隱私的問題,對方就答不上來了,這就是語義。

司曉:我們這個行業還需要做哪些事情,真正保障深度合成這個技術是在一個向善軌道上快速運行?

劉威:我個人希望從政策上鼓勵人工智慧技術創新,尤其是影視內容層面應用的創新,來提高效率,降低製作流程的成本。同時我希望要能有一些文教方面的創新,包括老照片、老電影的上色、復原,在線教育領域的應用等等。這些都是正確的引導。在立法和技術鑑別手段逐漸完善的情況下,我覺得技術造假應該是小概率事件,整體上深度合成技術還是應該向善。

於暘:我們看整個人類發展歷史,其實就是個體所擁有的力量,不管是建設力也好,破壞力也好,力量越來越大的過程,這是不可避免的。任何情況下,冒然抑制技術發展我認為都是不對的。法律不是禁止發展技術,而是規範如何把技術用在好的方面。我覺得這個是最關鍵的。

張文生:人工智慧本身是賦能的技術。我們做技術實際上是圍繞人們的生活、社會的進步。深度合成會發展成一個新業態,全世界技術人員都會為它貢獻自己的力量。同時,我們也需要相關的規範來約束違法的、不利於社會發展的技術使用方式。做技術的人,怎麼樣在這個「魔高一尺,道高一丈」的情況下更新技術,幫助政府和公民,用技術來解決問題。

路偉:對影視業來講,有關深度合成的核心關切是版權保護,虛擬資產、虛擬人物的版權歸屬都需要法律來界定。在科技發展之外,加上對版權的管理和尊重,這個行當會越來越健康。

「用人性的溫度推動AI持續向善」

司曉:各位對深度合成的發展還有哪些期待?

劉威:我期待深度合成技術能夠便利於文教、文創事業,孕育出更好的數字鑑別技術。我們今天談到的所有的一切,無論是合成、鑑偽,最後驅動的都是人腦,人的創意。我希望AI裡面會有越來越多的有溫度的東西,這樣我們才能讓AI持續向善。

於暘:在有現代科技之前,大部分人類生活的世界其實很小。但是以網際網路為代表的現代科技讓我們每個人都能夠和全世界發生聯繫。再往後發展,類似深度合成這樣的技術,可以在我們已有的這種基礎上,再更進一步。這種技術可以把物理世界中不存在的美好創造出來,讓我們去感受,它必然會把人類生活的美好推到下一個境界。

張文生:我希望科技企業能夠把深度合成技術推動變成一個商業模式,來吸引更多的做技術的人為之服務,做出來更好的產品。科技企業也有責任和政府一起關注深度合成技術的發展,保障它在正確的、向善的軌道上。

路偉:我希望通過深度合成,通過計算機網絡,能夠讓我們未來做電影、影視、虛擬世界越來越簡單,讓我們的作品越來越有溫度,讓更多的人能夠把自己掃描進虛擬世界。我希望在這個世界裡,人性的光輝照到更多角落裡面。

相關焦點

  • 從「深度偽造」到「深度合成」:AI為啥需要一次「正名」?
    這一略帶「貶義」的Deepfake(深度偽造)的技術名詞,需要被我們重新塑造為一個技術中性詞彙——Deep Synthesis(深度合成)。為「深度合成」正名:AI的技術中性科技的每一次突破,都可能帶來意想不到的「副產品」。就如同愛因斯坦發現了質能方程式之後,即使再不情願,他也無法阻止原子彈的出現和使用。
  • 「深度偽造」技術合成伊莉莎白二世 向英國人祝賀聖誕節
    12月25日,英國電視四臺在推特上報導稱,該臺2020年將播出伊莉莎白二世的聖誕節講話,但女王是使用「深度偽造」影像合成技術人工合成的。 這位「深度偽造」的女王指出,「我並不總是能開誠布公地講話,因此感謝第4頻道給我這個的機會,讓我暢所欲言。」該電視臺把講話片段發布到了推特上。 她指出,「如果說我今天的講話還有什麼主題的話,那就是信任,信任那些本真如此的東西,信任那些並非如此的東西。」
  • 「深度偽造」deepfake逐漸普及,說不定今年就普及到真題上了!
    為了顯得視頻更真實,它混合了美國宇航局的真實鏡頭和尼克森發表的悲情演講,仿佛阿波羅11號未能成功登月。繼2019年9月換臉APP「ZAO」突然大火又迅速沉寂後,「深度偽造」這一技術動態又重新引起了學界對它的關注。因此,「深度偽造」很有可能成為今年各大高校新傳考研要考察的一大熱點哦!
  • 你的「聲音」也能被深度偽造,媽媽都聽不出差別來的那種!
    這種「深度偽造」不僅可以換臉,還可偽造聲音。而目前一些科技公司在面對深度偽造的視頻時,也顯得力不從心。萬斯的母親:如果涉及到非常重要的事情,真的挺嚇人的。深度偽造,是一種可以實時偽造面部表情,並將其渲染成2D合成視頻的人工智慧技術。「DeepFake」深度偽造,也逐漸成為這一技術的代稱。△央視財經《中國財經報導》欄目視頻
  • 人人皆可換臉,眼見不再為真:深度偽造如何影響了我們的安全與道德?
    一些人利用深度偽造技術,將她的臉與色情片女主角的臉互換,合成粗糙的短視頻,而這一虛假的圖像騙過了成千上萬的人,在臉書、推特和WhatsApp上廣泛傳播,甚至連家人都來問她:「這是你嗎?」隨後阿尤布的家庭地址等個人信息被曝光在網上,她收到了大量強姦威脅。阿尤布的遭遇並非個例。她的報復者利用了一鍵生成裸照軟體Deepnude,使用者可以上傳任意一張女性照片,系統將自動「脫去」她的衣服。
  • 圖片合成技術門檻將變低,經由AI偽造的數字內容成全球新風險
    俗話說,有圖有真相,有片有真相,意思是文本描述不夠真實,但配上圖片或視頻就能提高可信度。雖然過去已經有不少修圖、電影修片專家能合成逼真的圖片,但製作門檻還是有,只是,隨著深度學習(Deep Learning)技術與之結合發展,將為全球社會帶來新興風險。
  • Facebook擬在今年美國大選前刪除AI換臉等深度偽造視頻
    1月7日消息,據國外媒體報導,Facebook表示,將在今年美國大選前刪除AI換臉等深度偽造(deepfake)視頻,此舉是為了減少錯誤資訊傳播。Facebook Facebook在一篇博客文章中表示,利用人工智慧(AI)等技術「合併、替代、或覆蓋原有影像,使其看似真實」的視頻等含有誤導信息的媒體內容也將被刪除。Facebook稱,這項政策不適用於模仿(parody)或諷刺(satire)內容,以及那些只是為了省略或調整內容順序而進行過編輯的視頻。
  • 谷歌新研究用深度學習合成運動模糊效果,手抖也能拍出攝影師級照片
    「在圖像理解方面,運動模糊是一個有價值的線索,」進行這項研究的谷歌研究員Tim Brooks和Jonathan Barron在論文中寫道:「給定一個包含運動模糊的圖像,我們可以估計導致觀察到的模糊的場景運動的相對方向和幅度。這種運動估計在語義上可能是有意義的,或者可以用去模糊算法來合成一個清晰的圖像。」
  • 聖誕節:英國電視臺Channel 4製作「深度仿冒」女王致辭
    使用深度仿冒技術合成的女王看上去非常像女王本人。
  • 網絡暴力、人肉搜索、深度偽造、流量造假等行為被明令禁止!《網絡...
    當我們藉助網際網路的便利自由瀏覽閱讀免費、快捷、海量的網絡信息時,網絡暴力、人肉搜索、深度偽造、流量造假、操縱帳號等行為也在汙染著網絡生態。明確網絡信息內容服務使用者和生產者、平臺不得開展網絡暴力、人肉搜索、深度偽造、流量造假、操縱帳號等違法活動。
  • 發布全球最大 GPU,核彈廠英偉達為何要重新定義「虛擬世界」?
    十年的 GTC 歷史,再到最近每年的 CES 主題演講,黃教主幾乎每半年就會拿出自己的「新核彈」,按照往常,每說到這句話時,黃教主應該從口袋掏出兩款晶片,同時拿在手裡做比較,而這一次確是一個意外,他拿不起來,因為他帶來的是一款「全球最大的 GPU」。
  • 今日Paper | 物體渲染;圖像和諧化;無偏數據處理方法;面部偽造檢測...
    基於深度學習的圖像引導的物體渲染基於域驗證的圖像和諧化人體姿態估計中的無偏數據處理方法的研究面部X射線,可進行更一般的面部偽造檢測即插即用(Plug and Play)的受限文本生成方法論文名稱:IGNOR
  • |深度學習探索可編程RNA開關
    增強深度學習的模式識別可以用於預測合成生物學成分。本文用深度神經網絡(DNN)來預測合成生物學中的經典核糖開關模型——toehold開關。為了促進DNN訓練,作者在體內合成並表徵了涵蓋23個病毒基因組和906個人類轉錄因子的91,534個toehold開關的數據集。
  • 2019 到目前為止的深度學習研究進展匯總
    在剛剛結束的2019年的第一季度裡,深度學習技術在快速的向前發展。我經常會去查看相關研究人員的工作,以便了解這項技術的進展。這項工作讓我能夠了解到很多我不知道的事情,然後以此優化自己的工作時間安排。這篇論文展示了如何從最新的自我和半監督學習研究中獲得啟發,從而在無監督的圖像合成和條件設置方面都優於當前的最好效果(SOTA)。代碼可以在GitHub上找到。
  • 全景導航/手勢交互/語音合成,深度揭密UNI-K高階智能科技
    1月15日,UNI-K未來美好之旅駛入長安汽車智能研發實驗室,深度揭秘UNI-K高階智能科技的誕生歷程,探索全感官一體化智慧座艙的奧秘。全景導航、手勢交互、聽聲辨位,帶來極致安全高效的交互體驗如今,交通環境變得更複雜,駕駛員的負擔也不斷增加。長安汽車的工程師回到產品設計的原點,從零出發,圍繞用戶日常用車場景打造極致安全高效的交互體驗。
  • 2020年深度學習發展大盤點及對2021年深度學習的未來展望|極客雲算
    深度學習框架作為AI底層工具,對個人而言是進入深度學習世界的一把鑰匙,掌握深度學習框架並不等於理解了深度學習,要在AI開發中有所作為,關鍵還是要真正理解框架背後的技術、實踐和生態。隨著近年來的人工智慧發展,2020年深度學習依然是發展最快的領域之一,直奔未來工作。其發展是多方面的,而且是多方位的。
  • 英國女王遭遇變臉,深度仿冒版聖誕搞笑講話足以亂真,網友裂開了
    據英國《鏡報》12月24日報導,英國電視臺」第四頻道」(Channel 4)在聖誕前夜播出了一段以」深度仿冒版」(deepfake)計算機合成技術製作的搞笑版女王聖誕講話。
  • 韓國業者「變臉」偽造A片,臺灣明星也受害
    我國到南韓發展的人氣女歌手,驚傳被南韓AV影視業者利用時下最新科技「Deepfake」,將她的面貌「完美的複製」後,「換到」色情片女演員身上。Deepfake「深偽技術」,是英文「deep learning」(深度學習)和「fake」(偽造)的混成新詞,專指用藉助人工智慧抓取特定對象大量的影片、照片,組合而成的人體圖像影像合成;昔日在專業用詞上,則被稱為「人類影像合成(Human image synthesis)」技術。
  • 《無限深度》電影!
    《無限深度》影視投資分紅被騙?《無限深度》影視真的能如期上映嗎?《無限深度》影視霸王條款你還在籤約?《無限深度》影視被爆虛假宣傳誇大收益!   律法天空收到不少投資者詢問《無限深度》這個影視項目的真實性,懷疑自己被騙了,但又無從查詢,回憶自己投資的整個過程,疑慮重重,擔心受怕。