大數據文摘出品
作者:蔣寶尚、魏子敏
先做一個簡單的小測試。
這裡有幾組圖片,不要懷疑,每組圖片都有一張是合成的「假臉」。
上面的那三組圖片來自最近在reddit上爆火的一個網站——「哪張臉是真的(which face is real?)」,網友們非常熱情地將結果在網站上進行比拼,並貼出了測試結果。
你可以打開下面的網址,自己進行更多的圖片識別測試👇
http://www.whichfaceisreal.com/index.php
生成對抗網絡(GAN)自從2014年Ian Goodfellow提出之後,到今天已經發生了天翻地覆的變化。
早期生成的圖片還非常「辣眼睛」,遠不能騙人。比如2004年的這批「假臉」。
但是經過十多年的發展,現在生成的圖片已經和真實的相差無幾了,不是老司機根本識別不出來。
比如說你在文章開頭看到的幾組圖片。說真的,文摘菌在剛剛開始玩的時候幾乎全靠「蒙」!有幾次甚至覺得假臉比真的臉還要逼真。
看了下相關介紹,果然,網站上所採用的圖片全部是用StyleGAN生成的。
StyleGAN來自英偉達,可以說是近期火遍全網的「造假」神器了。與其他生成器不同,StyleGAN可以根據需要更改生成圖像的結果,繪製出的圖片更加逼真,不僅可以創造假的人類肖像,也被瘋狂應用於其他機器學習應用項目,例如汽車、房間、甚至是動漫人頭等。
假房網」:從圖片到文字描述均由計算機自動生成
上圖是在Reddit最近也頗多人討論的」假Airbnb」網站「,它也是由StyleGAN生成的,網站上的圖片和文字所描繪的根本不是實物。
網站地址:
https://thisairbnbdoesnotexist.com/
這隻假房生成網站每次刷新都會出現一個虛假的房源,網頁上的照片、文字描述、發布的人頭像均由計算機自動生成。由於使用的模型非常簡單,文字描述多有不合邏輯之處,但猛地一看還是能以假亂真。
StyleGAN最初是由英偉達在一篇論文中《一種用於生成式對抗網絡的基於生成器體系結構的方式(A Style-Based Generator Architecture for Generative Adversarial Networks))
論文下載地址:
https://arxiv.org/pdf/1812.04948.pdf
據論文介紹,StyleGAN是一步一步地生成人工圖像的,從非常低的解析度開始,一直到高解析度(1024×1024)。通過分別地修改網絡中每個級別的輸入,它可以控制在該級別中所表示的視覺特徵,從粗糙的特徵(姿勢、面部形狀)到精細的細節(頭髮顏色),而不會影響其它的級別。
這種技術不僅可以更好地理解所生成的輸出,而且還可以產生最高水平的結果,即比以前生成的圖像看起來更加真實的高解析度圖像。
所以說,StyleGAN是一篇突破性的技術,它不僅可以生成高質量的和逼真的圖像,而且還可以對生成的圖像進行較好的控制和理解,甚至使生成可信度較高的假圖像變得比以前更加的容易。在StyleGAN中提出的一些技術,特別是映射網絡和自適應實例標準化(AdaIN),可能是未來許多在GAN方面創新的基礎。
這麼逼真的假圖片,就沒有辦法識別了麼?別慌,再聰明的AI在造假時,都還是會留下一些痕跡。專業的研究者們一邊造假,一邊也給大家留下了一些「打假」小技巧。
斑點
StyleGAN算法雖然厲害,但是有個顯著的特點,就是生成的圖片往往會有閃亮的斑點,雖然這些斑點看起來像是照片放久了,化學反應的產物,但是這確是這些合成圖片致命的缺點。
這些斑點可以出現在圖片的任何地方,頭髮以及背景區域出現的概率最大。
這些有斑點的圖片,都是假的,都是用GAN合成的。
背景問題
另一個致命的缺點會出現在照片的背景圖上,神經網絡在對人物圖像的面部進行識別的時候,往往不會非常重視。在一些情況下,照片的背景會顯得非常的凌亂,不要多想,這並不是印象派的畫作,是神經網絡在生成圖片的時候,對背景處理的不夠好。
眼鏡
即使StyleGAN已經非常強大,但是和他的前輩們一樣,同樣無法完美的處理眼鏡,最常見的問題是眼鏡的兩邊不是對稱的。就拿框架來說,通常合成的圖片,左邊的框架風格和後邊的框架風格不太一樣,如下圖,框架的一側有時候會出現彎曲以及鋸齒狀。
其他不對稱問題
除了眼鏡之外,有些時候面部毛髮也會出現不對稱問題。左耳和右耳佩戴的耳環也不一樣,以及衣領在左右兩側也會出現不同的形狀。
現在,對稱性往往是人臉生成算法的一大挑戰,我們完全可以利用它的這個弱點,對其一擊致命。
頭髮
一般來說,合成的人物圖片,頭髮往往都不會很逼真, 有時在臉上或其他地方頭髮會斷開,如下第一張圖所示,有的時候人物的頭髮會太直,以及會呈現條紋狀。正如Kyle McDonald 所說,就像有人用調色刀弄亂了一堆丙烯酸樹脂。在一些情況下,頭髮周圍可能出現一些奇怪的光圈或者光暈,如中間那張圖所示:
背景螢光
另一個有趣的缺點是,螢光顏色有時會從背景出現到頭髮或面部。
牙齒
牙齒不容易渲染。 通常牙齒是奇數或不對稱的。 在某些情況下,合成的人物圖片會出現三顆大門牙。
如果你仍然對GAN生成的圖片感到恐懼,文摘菌曾經寫了更詳細的文章《GAN生成的假臉太逼真了!別怕,十招教你識別AI生成的假圖像》來幫你識別假照片,戳這裡獲得更多技巧。
好了,現在你應該知道神經網絡很難生成什麼東西了吧,你可以像找玩找茬遊戲一樣,找到每張合成圖片的致命缺點,培養你對識別真實圖片的信心。
看完這些技巧,再來測試一下各位的打假能力吧,再來測試幾組圖片,看看你的「看圖」能力是否提高👇