雷布斯有一句名言:「站在風口上,豬都能飛起來」,大意是只要適應潮流,做出符合眾人需求的產品,那麼坐上火箭一般的發展就不遠了!但2017年橫空出世的一項技術遭遇卻徹底打破了這個規律,這就是全球追捧卻被瞬間打入冷宮的DeepFake技術!
DeepFake到底是什麼技術,為何會遭全球唾棄?
DeepFake到底是什麼技術?我們先不忙說明這是啥技術,來看看如下文字和動畫:
「女士們,先生們 我是Albert Einstein。 全體人類正在陷入一場戰爭, 而我們的敵人卻看不見摸不著。 請大家待在家裡,保持距離,勤洗手。 團結起來,我們一定能夠戰勝新冠病毒。 謝謝。」
這愛因斯坦如假包換,如果他說的不是新冠病毒的話,連種花家都要信了!對了,這就是DeepFake所展現的超級換臉技術,配合製作者高超的視頻特效手法,復活名人、以假亂真不過是雕蟲小技而已!
這項劃時代的技術最早源自2017年,一個匿名的用戶「DeepFakes」將《神奇女俠》中女主蓋爾·加朵的臉移植到了一部成人電影的女主身上,再輔以技術手段將其完美的融合,之後將其上傳到了Reddit的成人交流社區,一時間這部成人電影流量大增,觀眾大呼過癮!
但很明顯這不符合Reddit的成人交流社區的目標定位,因為這部電影會讓觀眾誤會就是蓋爾·加朵,這個後果是極其嚴重的,因此Reddit的成人交流社區官方迅速行動,以侵犯了他人隱私為由將其封禁!DeepFakes對於Reddit官方的封禁極度不滿,為報復Reddit官方封禁,直接在Github將Deepfake技術的AI代碼免費公開!
此後以Deepfake的AI代碼為基礎的APP就開始出現了,當然有了專業軟體工程師的加入和其外圍技術代碼的完善,這個換臉水準是越來越高!而且這項技術真的是剛需,因為在初期野蠻發展的這段時間裡,以Deepfake技術代碼的APP製作的視頻中,有96%都涉及色情,當然娛樂圈的公眾人物妥妥的成了首選對象!
DeepFake使用了什麼技術,怎麼那麼厲害?
紐約州立大學奧本尼分校教授數字媒體取證的專家 Siwei Lyu稱這個DeepFakes在Github上公開的技術非常優秀,代碼極其緊湊!
它依賴於一種稱為自動編碼器的神經網絡,將圖像縮小到較低維空間編碼器和一個從潛在表示中重建圖像的解碼器組成,Deepfake通過通用編碼器來利用此架構,該編碼器可將人的特徵編碼到這個空間中,而特徵包括面部特徵和身體姿勢的關鍵特性,並且還有專門針對目標特徵採樣建模的訓練模型,這意味著只要採樣足夠多的數據,那麼將會建立出更逼真的模擬對象!
Deepfake是怎麼換臉的?
一般Deepfake的換臉會有幾個過程,分別是人臉定位、轉換以及圖像拼接,這比較容易理解,那麼具體是個什麼過程呢?
人臉定位
我們日常中的人臉識別中就用到了這個技術,早期是平面的,一張照片即可被欺騙,現代人臉識別中還加入了立體識別,為了防止用矽膠面套偽造圖像,最新的還有紅外模式識別,也就是矽膠這種和體溫有明顯差異的面套就難以通過!
人臉識別
不過在Deepfake中不需要立體,也不需要紅外,它主要抽取人臉的表情特徵,側重點是有差異的,因為它要建立一個運動的臉部表情數據,比如用dlib和OpenCV等主流的工具包直接抽取!如果想要更逼真的人臉的話,還需要一個強大深度模型算法!
《鋼鐵俠》中的女演員艾米·亞當斯(左)被修改為具有尼古拉斯·凱奇特徵的視頻
人臉轉換
要講抽取的人臉應用到目標臉部,那麼除了保留基本特徵以外還要對採樣臉部和目標臉部完美結合,做到無縫連接才沒有違和感,要不然人類肉眼很快就是能辨認出採樣臉部和目標頭部結合處的不一致!
這中間就包含了將取得的人臉圖像採樣成短矢量,再將此短矢量恢復到目標人臉,這些矢量元素保留了人臉的主要特徵,比如眉毛濃淡、鼻子挺拔、臉部膚色以及眼睛大小比例等。並且在這個過程中需要達到使用目標的臉部表情,但卻用採用臉部表達,完美的直播換臉方式需要強大的算力,但如果是錄播則可以慢慢操刀一幀一幀修!
圖像拼接
人臉轉換做的是否完美直接關係到表情是否生硬,但圖像如果拼接不好,就像臉化妝了脖子卻沒有,兩者生硬過度或者角度上有些不一致,很明顯就能看出是偽造,因此拼接除了需要在兩者之間做好過渡外,還需要追蹤臉部或者身體動作,以便展示的人臉角度會目標動作一致!
(a)原始人物;(b,c) Deepfake 人物
DeepFake的衍生應用
這個技術出現時革命性的,比如當前流行的在線試穿就是最簡單的應用,還在電影拍攝和後期製作中產生了極大的幫助,甚至特型替身演員都會有失業的風險,當然未來的虛擬人都有這種技術的影子。
DeepFake的嚴重危害性
其實Deepfake早在上世紀九十年代開始就萌芽了,在電影和數字視頻中早已有應用,當然被公眾關注確實是2017年Reddit上的蓋爾·加朵事件!這讓全世界都目睹了它的潛在危害性,因為你根本就搞不清楚正在跟你對話的人到底是你本人還是別人,因為Deepfake連聲音都能模擬,請問你慌不慌?
華爾街日報2019年3月報導,犯罪分子利用Deepfake技術,冒充英國某能源公司母公司CEO的聲音,成功詐騙了22萬歐元!電話中這位CEO要求將資金髮給匈牙利的供應商,並聲稱是緊急事件,要求一小時內付款,結果就是信以為真了,損失的22萬歐元由保險公司 Euler Hermes(裕利安宜)集團承擔,這保險公司夠倒黴的!
穆罕默德·阿茲明·阿里
2019年6月13日,網上曝出馬來西亞經濟部長Azmin Ali與男性發生關係的視頻,隨後穆罕默德·阿茲明·阿里本人否認是這個視頻的主角,此事轟動了馬來西亞,後來被證實這不過是Deepfake技術偽造而已!
2019年1月11日,西雅圖電視臺播放了福克斯公司的分支機構KCPQ在其橢圓形辦公室演講中播出了川普的偽造視頻,圖像中川普頭比平時要大一些,膚色也是特別的橙紅色,演講時舌頭經常伸出,此後一名手機拍攝視頻並篡改視頻的僱員被解僱。
2020年4月,一個「滅絕叛亂」的組織在Facebook上發布了比利時總理索菲·維爾梅斯關於了森林砍伐與COVID-19之間可能聯繫的演講,24小時內超過十萬人觀看了此視頻!
比利時總理索菲·維爾梅斯(右)
邪惡黑科技DeepFake是一把雙刃劍,但現在看起來似乎是邪惡的那一面更多一些,它讓我們實在難以區分真假,甚至至親之間打個視頻電話都得有一些約定的聯繫方式,否則你都不知道對面的那個人到底是不是你的爸爸(兒子)!