Sprite生產的幾個階段。 即草圖，線條圖，底紋，區域上色和索引。
上面的圖片來自Trajes Fatais：Feats of Fate遊戲，我作為首席開發者從事該遊戲的製作。 長話短說，每個精靈要繪製大約一小時，每個角色平均要繪製五百個精靈。 在「遊戲的機器學習輔助資料生成：像素繪畫Sprite表格研究」中，我們探索了Pix2Pix架構來自動生產Sprite的流程，將每個Sprite花費的平均時間減少了15分鐘（25％）。 這是我們首次發表的有關精靈生成的工作，我們希望在將來進一步改進它。
該論文獲得了2019年巴西遊戲與數字娛樂研討會（SBGames 2019）的最佳論文獎。
像素繪畫是視頻遊戲中最受歡迎的美學之一。 它致力於重現任天堂和Arcade舊遊戲的外觀。 在90年代，像素繪畫是大多數遊戲機的唯一選擇。 屏幕解析度有限，並且大多數設備無法實時執行高級技術。 如今，像素繪畫已成為一種選擇-一種昂貴的選擇。
為了實現街機遊戲的外觀和感覺，繪畫者必須受顏色數量限制。 最初的Game Boy只有四種綠色。 它的繼任者Game Boy Color可同時顯示多達56種不同的顏色。 後來的設備稱為16位生成器，每個像素點最多允許256種顏色，這是美學上的重大突破。 在我們的遊戲中，我們限制為每個角色256個顏色。
每個像素點都有自己的256種顏色
通常，像素點是「索引精靈」與「調色板」的混合體。 繪畫時，繪畫者使用與調色板的256種顏色之一相關的「索引」對每個像素進行著色。 在遊戲中，每個索引精靈都用其關聯的顏色替換，從而構成最終圖像。 此過程使設計人員可以為每個角色創建不同的「皮膚」，從而允許用戶自定義其體驗並為角色創建「邪惡」版本。 下圖描繪了索引精靈，調色板和渲染的混合。
索引精靈，調色板和渲染
將繪畫者的顏色選擇限制為256種是不科學的。 這使得選擇陰影很難。 為了簡化此任務，在語義上對工作進行了劃分。 在我們的通道中，生成了兩個中間的精靈：「陰影」精靈和「區域」精靈。 前者最多使用6個選擇來表示「燈光」，而後者最多使用42個選擇來表示精靈的「區域」，例如手臂，頭髮，腿等。將兩個精靈像素相乘 -之後我們獲得了索引精靈，它最多可以支持252種顏色（6 * 42）。 下圖顯示了陰影，區域和索引精靈的示例。 此過程將256色問題轉換為兩個簡單的子問題，每個子問題分別具有6和42色。
從左到右，陰影，區域和索引精靈。
最終，每個角色都是由一個人設計的，他這將為其所有動畫進行繪製。 它們以「草圖」子圖形顯示，後來又被精煉為「藝術線條」子圖形。 前者用於在遊戲中快速製作新動畫的原型，後者用於與其他繪畫者交流最終精靈的外觀。 這樣，設計人員可以在幾天內概念化整個角色，並將其餘工作外包給繪圖團隊。 以下是草圖和藝術線條精靈的示例：
草圖和藝術線條
設計師將所有動畫放在一起，通過繪製每個動畫的草圖，然後製作各自的藝術線條來創建角色。 這些線型精靈將按順序傳遞給繪圖團隊，後者將繪製它們的著色和區域。 最後，使用腳本將兩者結合起來以生成可用於遊戲的索引精靈。
總共大約需要一個小時。 草圖，線條圖和區域精靈的製作平均需要10分鐘，而陰影則需要花費其餘時間才能完成。 跟蹤每個圖紙花費的確切時間幾乎是不可能的。 為了計算它們，我們檢查了生產日誌，採訪了團隊，並以可控的方式測量了12個精靈的繪製步驟。
假設使用機器學習模型可以生成陰影和彩色圖片，那麼生成的精靈必須足夠好，以至於人類繪畫者可以用比從頭開始繪製更少的時間來完善它。
生成對抗網絡入門
在這項工作中，我們解決了兩個圖像映射問題：線條到陰影和線條到區域。 形式上，我們必須創建一個生成器G（x），該生成器從線條藝術中接收輸入，並在陰影/區域中生成輸出。 此問題也稱為圖像翻譯。
為了保證G（x）是有用的映射，我們將創建一個鑑別器D（x，y），該鑑別器查看x和y並說明y是否是一個優質子畫面。 換句話說，G是我們的「虛擬藝術家」，D是我們的「虛擬鑑賞家」。 如果我們能讓G使D開心，那麼我們就有一個有用的映射。
更詳細地說，考慮一下我們有幾個線條藝術精靈（x）以及已經繪製的人類繪畫者的陰影和區域精靈（y）。 我們知道這些通過了質量控制，因此D（x，y）將很高興。 現在我們的任務是訓練G給定x產生（對實y的模仿）。 如果複製良好，D將批准； 否則，它將予以譴責。 最後，我們會修正D的對與錯，並要求D提供有建設性的反饋。
我剛剛描述的過程稱為對抗訓練。 從某種意義上說，兩種模式「競爭」，一種正在試圖擊敗另一種。 在我們的案例中，G試圖擊敗D使其認為是y，而D則拼命試圖說出什麼是真實的，什麼是假的。 隨著時間的流逝，G將成為成功的藝術家，而D可能會被解僱。
通過使用神經網絡實現G和D，我們得到了所謂的生成對抗網絡。 將標題分解為「條件」是因為G接受x而不是隨機噪聲作為輸入，「對抗」是因為它訓練對手成為輸入器，而「網絡」則是（神奇！）神經網絡 。
從算法上來說，對於每個線條藝術x和陰影/區域精靈y：
使用G從x生成使用D評估是否看起來逼真使用y和D的反饋來訓練G訓練D認識到是假的而y是真的。多次對整個數據集重複執行此過程，最終將融合為一個G網絡（創建逼真的繪畫）和一個D網絡（無法分辨出圖像是真實的或偽造的）。
Pix2Pix架構
Pix2Pix體系結構為基於U-Net生成器和基於補丁（Patch）的鑑別器。 下圖顯示了組合的體系結構。 鑑別器經過訓練，可將每個32x32圖片分類為真實或偽造，並經過交叉熵損失訓練。 反過來，訓練生成器以使y和之間的L1損失最小，並使鑑別器損失最大。
高級Pix2Pix架構。
U-Net模型是基於編碼器-解碼器思想的全卷積神經網絡。 對於每個編碼器層，將跳過全連接添加到解碼器層。 這允許網絡利用來自編碼層的「原始」信息和通過解碼器層的「已處理」信息。 這裡給出了該體系結構及其相應出版物的全面概述。
鑑別器是一個截斷的網絡，輸出對多個補丁圖像的判斷，而不是對整個圖像的判斷。 因此，鑑別器向生成器提供詳細的反饋，指出哪些區域看起來是真實的，哪些區域看起來是偽造的。 可以在此處找到該體系結構內部細節的完整概述。
與原始網絡相比，我們進行了以下更改：
我們使用了Y型網絡。 一個編碼器，兩個解碼器和兩個鑑別器。 這樣一來，即可解決陰影和區域問題。使用分叉架構，每個分支都有兩個損失。 同樣，我們使用L2範數代替L1範數，因為它顯示出更好的結果。原始論文使用LeakyReLU單位。 我們使用了ELU單位。在編碼器中，我們對每次下採樣使用了兩次卷積運算，而不是一次卷積。數據集
在Trajes Fatais遊戲中，我們選擇了Sarah和Lucy角色作為數據集，以評估Pix2Pix體系結構。 莎拉(Sarah)角色只有87個完成的精靈，還有207個需要繪製。 它也是一個中等複雜的圖片，具有多個平滑複雜的區域。 另一方面，露西（Lucy）角色已完成，因此它具有530個完全繪製的精靈，並且非常容易繪製，具有大部分平滑的特徵。
從某種意義上說，露西是我們的上限。 它具有我們希望得到的所有數據，並且很容易繪製。 如果該算法無法處理露西，那麼其他任何數據都可能會失敗。 相比之下，莎拉是我們常見的情況：一個中等複雜的人物，只有幾十個精靈可以訓練。 如果算法對莎拉有用，那麼它可能對我們有價值。
結果
可以看出，該算法對於陰影問題和區域精靈的問題具有很好的結果。 因為顏色變化了，並且精靈周圍有一些噪聲。 對於著色精靈，只檢測到了較小的問題，例如第二行中的肩膀和腿部。
在第二批中，可以找到更多問題。 在生成的陰影列中，可以在陰影區域看到許多偽圖像，例如在女孩（第一個行），鴨嘴獸的背部（第2行）和鴨嘴獸的喙（第3行）上。 對於彩色畫面，會存在大量噪聲，使這些子畫面無法使用，因為人類很難去除噪聲。
第三批的作品來自207個精靈，僅提供藝術線條。 因此，這些需要主觀分析來評價效果。 這些行分別由類似於訓練中使用的子圖形，以前不曾看到的精靈的子圖形和其他精靈的子圖形組成。
儘管第一行最有用，但是第二和第三行上的彩色圖像會迅速惡化。 著色精靈的質量基本保持一致。 但是，著色精靈的第三列不一致。 第二行中的正面小精靈的臉應更亮，並且右下角的小精靈的亮度不連續。
現在，我們可以確定的假設著色精靈可以使用，但是區域精靈卻不能使用，因為它們噪聲太大並且存在色移問題。 讓我們將注意力轉移到露西。
露西精靈的數據多了五倍，與莎拉相比改善更加明顯。 陰影精靈幾乎完美，陰影區域的毛髮很小，頭髮的差異可忍受。 但是，區域精靈仍然遠非最佳。 色移問題和噪點仍然存在。 這表明增加數據集大小並不能使這些問題得到明顯改善。
第二批包含我們手動選擇的精靈，因為它們與大多數其他精靈有很大的不同。 儘管如此，陰影精靈仍然與人類繪製的精靈幾乎相同。 彩色圖像的質量也並沒有像莎拉一樣嚴重下降。 但是，它仍然遠遠達不到理想的結果。
考慮到這些結果，可以說增加數據集的大小可以顯著改善陰影，但不能改善區域。 由於露西是我們的最佳情況，因此可以假設我們需要另一個問題表述/體系結構來解決區域精靈問題。
為了更客觀地量化所生成內容的質量，我們計算了兩個數據集的MSE，MAE和SSIM分數。
從表中可以看出，在所有這三個指標上，陰影精靈的均值（μ）和方差（σ）比彩色圖像更好。 同樣，75％的四分位數與最大可見值之間的差異很大，這表明分布偏斜。
此外，露西（Lucy）的結果始終好於莎拉（Sarah）的結果，其方差低得多，而且歪斜度也大大降低。
SSIM評分的範圍從0（完全不相似）到1（完全相同），並衡量兩個圖像的感知相似度。 雖然MSE和MAE純粹是數學概念，但SSIM分數與人類感知更加相關。 在表中，陰影精靈的得分接近1，表明它們與平均觀察者幾乎相同，而彩色圖像則並非如此。
作為第三次也是最後一次評估，我們要求設計團隊對207個為莎拉生成的精靈進行評論。 他們的反饋意見大多是積極的，稱讚了著色精靈的質量並丟棄了彩色精靈。 總之，他們發表了四點評論：
幾乎一半的著色精靈有用，可以在20到30分鐘內完善。 彩色精靈不可用。該算法在單個動畫中效果不穩定，這可能會使子畫面失效。某些姿勢下即使是著色精靈也會產生可怕的結果。將色彩數量固定為使用6和42種顏色時，會引入一些不必要的噪音。下圖說明了觀點2、3和4。
八幀動畫中的身體明亮度不一致
使用與訓練中使用的姿勢相差太大的姿勢會產生較差的結果。
在量化為6和42種顏色數量時，會引入一些噪音。 在輪廓中可以很容易看到。
結論
在這項工作中，我們評估了使用現代生成模型來解決像素藝術生成問題的效果。 即，我們採用了改進的Pix2Pix架構，取得了一定程度的效果。 更詳細地講，著色精靈被藝術團隊認為是有用的，而彩色小精靈則被認為是無用的。
對於著色精靈，團隊提出平均需要20到30分鐘來完善每一個精靈，比從頭開始繪製一個要少10到30分鐘。 保守的估計是，每個有用的精靈都會節省10分鐘的勞動時間，這意味著生產力提高了約15％。
儘管具有更多的顏色，但對於設計團隊而言，區域精靈所花費的時間並不多於著色精靈。 正如首席美術師所解釋的那樣，動畫中的區域更容易預測，並且可以輕鬆地從一個精靈複製到另一個精靈。 因此，不生成它們不是大問題。
從技術角度來看，這項工作證明了當前模型可以有效地用作創造性任務的助手。 其他動漫領域也發現了類似的結論，動漫領域主要是由平坦而豐富的顏色組成，並且比像素藝術具有更少的限制。 此外，Pix2Pix模型適用於現實世界的圖片，也適用於像素藝術和動漫數據，這證明了其普適性。
未來的工作
我們當前的系統基於Pix2Pix模型，基於像素。 但是，我們的問題可以根據圖像分割名詞來表述為按像素分類。 這樣的思路可能會大大改善我們的結果。
有時，簡化問題可能使其更易於處理。 區域精靈共有42種顏色，但每個精靈僅出現大約十二種顏色，並且這些顏色佔據所有精靈中很大一部分。 將問題縮小為更具選擇性的陰影可能會減輕生成器的工作壓力。
Pix2Pix創始於2017年。自那時以來，GAN取得了一些進步，包括更好的損失函數，注意力機制和改進的方法。 使用更先進的技術可能會大大改善結果。
U-Net和Pix2Pix的參考資料
O. Ronneberger, P. Fischer, and T. Brox, 「U-net: Convolutional networks for biomedical image segmentation」 2016
P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros, 「Image-to-image translation with conditional adversarial networks」 2017
作者：Ygor Rebouas Serpa
deephub翻譯組：孟翔傑