塔秘 | 宅男的福音:用GAN自動生成二次元萌妹子

2021-02-21 5G融智未來

我們都喜歡動漫人物,也可能會想自己創作一些,但我們大多數人因為沒經過訓練所以無法做到。如果可以自動生成專業水準的動漫人物呢?現在,只需指定金髮/雙馬尾/微笑等屬性,無需任何進一步幹預就能生成為你定製的動漫人物!

在動漫生成領域,之前已經有一些先驅了,比如:

ChainerDCGAN:https://github.com/pfnet-research/chainer-gan-lib

Chainer を使ってコンピュータにイラストを描かせる:http://qiita.com/rezoolab/items/5cc96b6d31153e0c86bc

IllustrationGAN:https://github.com/tdrussell/IllustrationGAN

AnimeGAN:https://github.com/jayleicn/animeGAN

但這些模型得到的結果往往很模糊或會扭曲變形,要生成業界標準的動漫人物面部圖像仍然是一大難題。為了幫助解決這一難題,我們提出了一種可以相當成功地生成高質量動漫人物面部圖像的模型。

數據集:模型要想質量好,首先需要好數據集

要教計算機學會做事,就需要高質量的數據,我們的情況也不例外。Danbooru(https://danbooru.donmai.us)和 Safebooru(https://safebooru.org )等大規模圖像討論版的數據有很多噪聲,我們認為這至少一定程度上解釋了先前工作的問題所在,所以我們使用了在 Getchu 上銷售的遊戲的立繪(立ち絵)圖像。Getchu 是一家展示日本遊戲的信息並進行銷售的網站。立繪具有足夠的多樣性,因為它們具有不同的風格,來自不同主題的遊戲;但它們也具有很好的一致性,因為它們全部都是人物圖像。

我們也需要分類的元數據(即標籤/屬性),比如頭髮顏色、是否微笑。Getchu 並沒提供這樣的元數據,所以我們使用了 Illustration2Vec,這是一個基於卷積神經網絡的用於預測動漫標籤的工具,地址:https://makegirlsmoe.github.io/main/2017/08/14/saito2015illustration2vec

模型:核心部分

為了實現我們的目標,就必須要有一個優秀的生成模型。這個生成器需要能理解並遵從用戶給出的關於特定屬性的要求,這被稱為我們的先驗(prior);而且它還需要足夠的自由度來生成不同的詳細的視覺特徵,這是利用噪聲(noise)建模的。為了實現這個生成器,我們使用了生成對抗網絡(GAN)這種流行的框架。

GAN 使用一個生成器網絡根據前提和噪聲輸入來生成圖像,GAN 還有另一個網絡會試圖將生成的圖像和真實圖像區分開。我們同時訓練這兩個網絡,最終會使得生成器生成的圖像無法與對應前提下的真實圖像區分開。但是眾所周知要訓練一個合適的 GAN 是非常困難的,而且非常耗時。幸運的是,利用最近發表的相關進展 DRAGAN,可以僅需相對很少的計算能力,就能實現可與其它 GAN 媲美的結果。我們成功訓練了一個 DRAGAN,它的生成器類似於 SRResNet。

我們也需要我們的生成器能理解標籤信息,這樣才能將用戶給出的要求整合進來。受 ACGAN 的啟發,我們向生成器輸入標籤以及噪聲,並在鑑別器的頂層增加了一個多標籤分類器,用來預測圖像所分配的標籤。

使用這些數據和這個模型,我們就能在有 GPU 的機器上進行訓練。

本節所涉及的技術:

GAN:https://papers.nips.cc/paper/5423-generative-adversarial-nets

DRAGAN:https://arxiv.org/abs/1705.07215

SRResNet:https://arxiv.org/abs/1609.04802

ACGAN:https://arxiv.org/abs/1610.09585

樣例:一張圖片勝過千言萬語

為了一窺我們的模型的質量,請參看下面的圖像,可見我們的模型能很好地處理不同的屬性和視覺特徵。

固定隨機噪聲並且採樣隨機先驗是一個很有意思的設置。現在,該模型被要求生成具有相似主要視覺特徵的圖像,並與之同時結合不同的屬性,結果也很不錯:

另外,通過固定前提和採樣隨機噪聲,該模型可以生成具有不同視覺特徵,但具有相同屬性的圖像:

網頁界面:在你的瀏覽器上使用神經生成器


為了將我們的模型提供給大家使用,我們使用 React.js 構建了一個網站界面,公開在:http://make.girls.moe。通過利用 WebDNN 並將訓練後的 Chainer 模型轉換成基於 WebAssembly 的 Javascript 模型,我們使得生成過程完全在瀏覽器上完成。為了更好的用戶體驗(因為用戶在生成之前需要下載該模型),我們限制了生成器模型的大小。我們選擇了 SRResNet 生成器,使得該模型比流行的 DCGAN 生成器小了好幾倍,而且也不會影響到生成結果的質量。速度方面,即使所有的計算都在客戶端上完成,一般生成一張圖像也只需要幾秒鐘。

自從生成對抗網絡(GAN)問世之後,面部圖像的自動生成已經得到了很好的研究。在將 GAN 模型應用到動漫人物的面部圖像生成問題上已經有過一些嘗試,但現有的成果都不能得到有前途的結果。在這項成果中,我們探索了專門用於動漫面部圖像數據集的 GAN 模型的訓練。我們從數據和模型方面解決了這一問題——通過收集更加清潔更加合適的數據集以及利用 DRAGAN 的合適實際應用。通過定量分析和案例研究,我們表明我們的研究可以得到穩定且高質量的模型。此外,為了協助從事動漫人物設計的人,我們建立了一個網站,通過在線的方式提供了我們預訓練的模型,從而讓大眾可以方便的訪問模型。

相關焦點

  • B站二次元妹子:咬人貓
    我敢說,今天介紹的這個二次元妹子,絕對有不少宅友知道,如果你同時是B站用戶,那知道咬人貓是沒跑了。
  • 盤點遊戲妹子:日本萌妹多 歐美醜爆了
    紳士玩家對日本遊戲總是那麼感興趣,這和11區畫師打造的各種萌妹有莫大的關係,而反觀一些歐美遊戲,就算是女主也是醜的不能直視。
  • 宅男心目中的女神TOP4(fò)!萬萬沒想到第一會是她?!
    萌妹小可愛 你別看宅男宅,但是大男子主義一絲都不減!@本事不大脾氣不小,這個真的是在說:zhai nan@嘴上拽、心裡愛!典型的贏在面子上@容易控制的妹子最可愛...女神初音未來就是宅男心中的夢@二次元滿足宅男的各種想像空間。@虛構女永遠不會被別人奪走!@更新換代非常快,永遠不愁沒新人!
  • 《甜甜萌物語》研發團隊:最懂二次元的御宅族
    (點擊上方「GameLook」↑↑↑,訂閱微信)最近,一款名為《甜甜萌物語》的3D美少女換裝手遊在二次元領域掀起一陣換裝潮流,其背後神秘的研發團隊也受到密切關注
  • Facebook開發新技術:用照片自動生成卡通頭像
    無論要生成表情符號、表情包或虛擬角色,都能輕鬆完成。用研究人員的話說,人類一直在這樣做,為什麼人工智慧不可以呢?在某種程度上,該系統的做法是同時對人臉和運用同樣分析和特徵識別算法生成的圖像加以判斷,就像同時觀察同一個人的兩張圖片一樣。當結果數據顯示它們看起來很相近時,就意味著兩者在視覺上高度契合。
  • 日本環境廳用二次元萌娘宣傳環保被專家斥責
    受二次元文化影響,不僅是商家,部分機關單位也會利用萌角色進行宣傳。為了讓環保意識深入民心,日本環境廳最近推出兩個女子高中生形象。
  • 萌宅廚:從日語傳入中文的那些二次元用語
    萌(méng)來源自日語的「萌(も)え」。
  • 信用卡萌妹化:白毛混血娘人氣第一,確定不會透支宅男嗎?
    只是面對殘酷的現實與虛幻的二次元另外,審查的時候,按職業分類注意比較好的事,和各服務比較的報導,關於錢的專欄報導等有很多有用的信息!反正這八位是包含了各種屬性的萌妹,不知道是不是暗示不同信用卡也有這些屬性呢?每位萌妹都有更詳細的角色設定與信用卡介紹,畢竟賣萌為次,如果不了解每張卡的區別,最後吃虧的是你自己。
  • 日本"官方"認證二次元老婆:結婚證書包郵
    宅男們終於可以和自己心儀的二次元角色正式結婚了……日本的二次元產業全世界有名,這也孕育出了大量的宅人。
  • 『日本趣味知識』日本的御宅族和中國的宅男宅女有什麼區別
    宅男宅女這個詞大家都不會陌生但是對於御宅族這個詞可能很多同學都不熟悉。御宅族可不是家裡蹲的意思,OTAKU(御宅)在日語裡指「貴府」 「貴公司」,後來引申為「貴圈」 「你國」這種帶有諷刺性的意思,御宅族吵架的時候用這個詞來懟對方,日本人就管用這個詞互相稱呼的人叫御宅族。
  • 解除「老賴」限制出境,到底是不是「系統自動生成」?
    疑似違法解除「老賴」限制出境被查,到底是不是「系統自動生成」?
  • 日本宅男腐女的真實生活:骯髒的現實永遠比不上......
    熱愛二次元的宅男、腐女對於現實世界抱持著什麼看法呢?
  • 二次元迷妹的自白:我們看動漫玩遊戲,但我們不是怪物!
    來看看下面這枚喜歡二次元的妹子,是如何被奇葩相親男指手畫腳的……截圖來自妹子的聊天記錄——……這位兄dei, 你第一次和人妹子聊天,在根本還不了解對方的前提下,就用這麼冒犯的話把人給說了一頓?你的迷之優越感是哪來的??
  • 盤點二次元中的經典萌物,第八張笑噴了~
    二次元因其能無拘無束的實現天馬行空的想像力而創造出了眾多現實生活中無法看到的美好人物。
  • 日本萌妹子 竟是超級大胃王
    妹子倒是參加過一些大大小小的大胃王比賽,可上帝賜予她那副可愛的面龐註定不是要她靠吃雄霸天下,妹子靈機一動玩起了網絡主播(但也是吃),有顏值不用豈不可惜?牛奶竟然連幹3L的量.雖然用時1小時26分46秒,不過不得不承認
  • 「二次元春晚」蓄勢:領航二次元產業爆發元年
    經過2015一整年的洗禮,二次元身上曾經被附上的這層名為「非主流」的霧霾逐漸散去。社會對於二次元的偏見,慢慢轉變成了由「有生氣、有活力、有購買力、90後、00後」等關鍵詞組成的新標籤。二次元題材與人群在過去一年中迎來了全面爆發,而且這個勢頭沒有停止的跡象。
  • 今日趣聞 自動回滾式冰壺貓 & 一邊開車一邊唱動漫歌的引發的悲劇 等
    <勵志> 日本妹子因為喜歡上「飆速宅男」,最初只是開始畫一些同人作品,後來慢慢開始騎公路自行車,騎著騎著現在居然要去法國參加四年一度的騎行盛典Paris–Brest–Paris (PBP) 了,她的目標是騎完全程
  • 滿足你的一切幻想:高萌女僕餐廳來啦!
    一水兒的萌妹子,列隊對你說:「歡迎回來!主人sama~」手繪蛋包飯更是萌的不要不要的\(≧▽≦)/還有帥氣的基佬(劃掉)執事為你服務不可以幹什麼羞羞的事情喲⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄更有浴衣、JK等特別企劃,節日期間還有驚喜大趴!萬聖節之夜,聖誕節之夜,中秋之夜等特別活動,不定期live也是看宅舞和萌妹子的不二選擇。