會畫畫的AI有多可怕？
你是否想像過把螞蟻和豬、螃蟹和鯨魚，或者100種生物的任意兩個組合起來會是什麼神奇的亞子？
現在，AI可以把這些天馬行空的想像全部變成現實！
而只需要我們點點滑鼠隨便塗個鴉，像這樣：
犀牛的犄角，老鷹的翅膀，恐龍的尾巴，組合起來就可以變成這樣：
妥妥地一幅專業創意作品，對繪畫小白簡直不要太友好。
更重要的是，它或許還能激發你的創意靈感，而這也是Google研究團隊推出這款工具的目的之一。
這款AI繪畫神器名為Chimera Painter，它是一個Web工具，其功能是基於動物簡圖生成高度逼真的「小怪獸」。
完成塗鴉後，只要點擊「轉換」按鈕，它就會自動生成3D效果的「怪獸」。
有意思的是，Googel研究團隊還把Chimera Painter創作的怪獸形象用來搭建了一個數字紙牌遊戲。
圖中每張紙牌的攻擊值由上面的怪獸決定，這些怪獸的技能由他們所組合的兩種物種決定。
據了解，這款AI工具的研發靈感就來自我們平時在遊戲中看到的「怪獸」。Googel研究人員認為，這些怪獸的創作往往需要遊戲美術師有高度的藝術創造力和技術知識，而AI可以充當畫筆，幫助他們節省藝術創作的時間，比如一鍵完成3D渲染，甚至還可以增強他們的創造力。
假如遊戲中有100種動物，每種動物都可以相互融合，那麼它會給任何藝術家帶來很大的工作量，但這對於機器學習來說，是很輕鬆的事。
那麼，它是如何做到的呢？
基於GAN的生成模型
Chimera Painter，是一種機器學習（ML）模型。為了可以生成高質量且任意組合的怪獸形象，研究團隊向模型提供數千張生物圖像，並標記了如爪，腿，腿，眼睛等特殊部位，以供模型進行訓練。
該模型的訓練過程利用的仍然是生成式對抗網絡（GAN）,GAN我們已經非常熟悉，它可以基於兩個卷積神經網絡：生成器和判別器生成高清且逼真的新圖像。其工作原理是，生成器用來創建新圖像，鑑別器用來確定這些圖像是否來自訓練數據集。
不過，在這裡研究人員提出了一種被稱為條件GAN的變體，其中生成器採用單獨的輸入來指導圖像生成過程。有趣的是，這種方法與其他GAN的工作完全不同，因為後者通常側重於照片真實性，而該工具的目的是融合不同的物種生成一種嵌合體。
為了訓練 GAN，研究團隊創建了一個全彩色圖像數據集，其中包含單種生物的輪廓，這些輪廓改編自3D 生物模型。這種生物的輪廓描述了每種生物的形狀和大小，並提供了一張分割地圖來識別身體的各個部分。
訓練後的模型，可以基於藝術家提供的輪廓，生成表現最好的多物種嵌合體並嵌入到 Chimera Painter中。
創建有結構的生物數據集
使用GAN生成新物種時會遇到一個問題，即在繪製圖像細節或低對比度部分時，可能會失去空間的連貫性，包括眼睛、手指，甚至是具有相似紋理的重疊身體部位之間的區分。
因此，它對訓練數據集提出了一定的要求。現有的插圖庫不適合用作訓練ML模型的數據集，原因是它們可能具有衝突樣式，或者缺少多樣性。生成嵌合體的數據集需要具備獨特性，如戲劇性的視角、構圖和燈光等。
為了解決這個問題，研究人員開發了一種用戶主導的半自動方法，即從3D生物模型中創建ML訓練數據集。在這個過程中，用戶們將創建並獲得一組3D生物模型。
具體來說，他們將用虛幻引擎製作兩組紋理，併疊加在3D模型上——一組具有全彩色紋理（左圖），另一組顯示身體每個部位（如頭，耳朵，脖子等），稱為分割圖（右圖）。
其中，圖二身體細分部分會提交給模型進行訓練，以確保GAN了解各種生物身體部位的特定結構、形狀、紋理和比例。
三維生物模型都被放置在一個3D場景中，並同樣使用虛幻引擎。一組自動化腳本將採用這個3D場景，並在不同的姿勢、視點和每個3D生物模型的縮放級別之間進行插值，創建全彩色圖像和分割地圖，形成 GAN的訓練數據集。
使用這種方法，研究人員為每個3D生物模型生成10000多個圖像+分割圖對，與手動創建這些數據相比，用戶每張圖像可以節省大約20分鐘。
生成高保真度圖像
GAN的超參數大小會影響模型輸出圖像的質量。為了驗證該模型哪個版本的性能最佳，研究團隊收集並分析了模型生成不同生物類型的樣本，並從中提取了一些顯著特徵，如深度感，有關生物紋理的樣式，以及面部、眼睛的真實感等。
這些信息不僅將用於訓練模型的新版本，而且能在模型生成成千上萬的生物圖像之後，從每種生物類別（例如瞪羚，山貓，大猩猩等）中選擇最佳的圖像。
具體來說，研究團隊通過感知損失（ Perceptual Loss）對GAN進行了優化。該損失函數組件使用從單獨的卷積神經網絡（CNN）提取的特徵來計算兩幅圖像之間的差異，該卷積神經網絡之前已經對ImageNet數據集中的數百萬張照片進行了訓練。
從CNN的不同層提取特徵，並對每個特徵施加權重，這會影響特徵對最終損耗值的貢獻，這些權重對於確定最終生成的圖像的外觀至關重要。
下面是來自不同感知損失權重訓練GANs的結果。
圖片中的顏色變化主要是數據集導致的，其原因是數據集中的一個生物往往包含多種紋理（比如蝙蝠的紅色版和灰色版），不過，忽略顏色變化，許多差異也直接與感知損失值的變化有關。
研究人員發現，特定值會產生更清晰的面部特徵，使生成的生物更具真實感。
下面是一些由GAN生成的生物，它們使用了不同的感知損失權重進行訓練，展示了模型可以處理一小部分輸出和姿勢。
在線體驗
總之，對於藝術創作者或者繪畫愛好者來說，Chimera Painter只需調整生物的局部形狀、類型或者位置，就可輕鬆創建大量圖像，而不是從頭繪製幾十種類似的生物。同時，該模型還允許使用外部程序（如Photoshop）創建的生物輪廓。
谷歌團隊在博客中表示，希望這些GAN模型和Chimera Painter演示工具可以激發人們新的藝術創作思路。
那麼，使用機器學習作為畫筆時，你想創建什麼呢？（點擊連結即可體驗~）
https://storage.googleapis.com/chimera-painter/index.html
引用連結：
https://techcrunch.com/2020/11/17/google-has-created-an-ai-powered-nightmare-creature-generator/
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html
雷鋒網雷鋒網雷鋒網