深度學習三巨頭也成了大眼萌,這個一鍵轉換動畫電影形象的網站竟因「太火」而下線

2021-02-18 機器之心
想不想在動畫電影中擁有自己的角色？這個網站一鍵滿足你的需求，不過竟因流量太大成本過高而下線。近期熱映的電影《花木蘭》總是讓人回想起 1998 年上映的同名動畫電影。說起來，動漫真人化或動畫版翻拍真人版的現象早已有之。比如《銀魂》：

圖源：https://movie.douban.com/photos/photo/2456551491/
二次元角色在三次元世界有了對應，那我們三次元的人類能否擁有屬於自己的動畫角色呢？前不久，喜歡研究生成藝術的 Justin Pinkney 和 Doron Adler 創建了網站 Toonify Yourself!，只需上傳真人圖像，就能一鍵生成動畫形象，就像剛從迪士尼 / 皮克斯 / 夢工廠的動畫電影中走出來一樣。例如：

宮崎駿老爺爺也有自己的動畫形象了！戴著眼鏡的樣子是不是與《飛屋環遊記》裡的老爺爺有點神似？

「史皇」威爾 · 史密斯也不例外，硬漢也有「可愛」的一面。

華裔女演員楊紫瓊的動畫形象逼真復刻了真人頭像，頭髮絲兒、臉上的紋路都很一致。甚至還有深度學習三巨頭 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio：

從以上示例中我們可以看出，該網站提供的動畫形象儘量逼真地反映了原始人臉圖像的特徵，同時也具備動畫形象的一些典型特徵，比如大眼睛。這一效果的實現依賴於哪些方法呢？Justin Pinkney 在博客中介紹了背後的技術。這背後發生了什麼呢？Justin 簡要解釋了這一混合網絡背後的複雜過程。首先是經典的 StyleGAN 模型。StyleGAN2 代碼和論文的發布，帶來了非常高質量的生成結果。

然而，並不是每個人都擁有多個 GPU 和數周時間來訓練一個模型，因此我們需要一種捷徑——遷移學習，研究人員採用「預訓練模型」，並在新數據上進行訓練。採用這種方法可以快速得到較好的結果，如果新的數據集中有人臉數據，效果會更好。Doron Adler 基於動漫電影不同角色構成的數據集對人臉模型進行了微調。雖然數據集只有大約 300 張圖片，但這足以讓模型開始學習這些角色的典型特徵。

在一個小數據集上進行如此少量的訓練，其輸出結果仍然是可以的，這說明模型顯然可以很好地理解「大眼睛」這件事。然而仍然存在一些問題，例如數據集中的圖像風格有點混亂，有些是 CG 圖像，有些是手繪圖像，還有很多解析度很低。模型試圖複製所有這些圖像風格，結果卻變得更糟。由於該模型是在原始人臉模型的基礎上進行微調得到的，所以我們可以利用一種技巧直接互換模型的各個部分。這很有趣，因為根據 StyleGAN 的結構，模型中的不同層能夠以不同的方式影響生成人物外觀。低解析度層決定頭部姿態和人臉形狀，高解析度層則控制光線和紋理等細節。所以，Doron 使用 Layer Swapping 腳本從原始模型中提取高解析度層，並從微調卡通模型中提取低解析度層，最終得到了具有卡通人臉結構且具備照片級逼真渲染效果的混合卡通模型。

在使用原始人臉模型和混合卡通模型生成圖像時，可以看到兩者之間存在明顯的關聯，人物的身份保持不變，但是生成的圖像已經具備了典型的卡通形象特徵。

StyleGAN 人臉模型可以生成大量人臉圖像，也就是說你可能從中找出任何人臉圖像。所以，給定一個你想要生成卡通形象的示例圖像，則可以得到一個「代碼」（或稱潛在向量），即將它輸入到模型中，將會得到一個與示例圖像幾乎完全相同的輸出圖像。如下圖所示，左邊為原始圖像，右邊為生成圖像，兩者很難區分。

現在有了表示人臉的「代碼」，你可以將它輸入到混合模型中。鑑於「代碼」與原始圖像非常相似，模型將輸出相同的人臉，只不過是「卡通」形象版本！

用戶可以使用以下 Colab notebook 來復現這一過程。https://colab.research.google.com/drive/1s2XPNMwf6HDhrJ1FMwlW1jl-eQ2-_tlk?usp=sharing關於 Toonify Yourself! 原理的更多詳情，請戳以下視頻：對於這個能夠生成真人逼真動畫電影形象的網站，網友予以高度評價，並紛紛嘗試創建屬於自己的動畫電影形象。

 然而，Toonify Yourself! 網站上線僅一天，就因使用者多、伺服器成本過高而暫時下線。

Justin Pinkney 發推表示，該網站一小時即服務了 25000 次請求，每小時的雲服務成本達到 9 美元。在上線的短短時間內，該網站完成了 25 萬次服務。

 網站首頁顯示，在找到支付伺服器費用或更成本高效的方式後，網站將重新上線。網站地址：https://toonify.justinpinkney.com/https://www.justinpinkney.com/toonify-yourself/https://twitter.com/Buntworthy

亞馬遜AWS解決方案架構師邱越俊將於9月24日帶來一場live coding，利用Amazon Elasticsearch Service，從零開始構建一個以圖搜圖的應用程式，包括用Amazon SageMaker對圖片做特徵向量提取，用Amazon Elasticsearch做特徵向量搜索，用AWS Amplify快速搭建應用程式。

識別二維碼或點擊閱讀原文，立即預約直播。

© THE END 

轉載請聯繫本公眾號獲得授權

投稿或尋求報導：content@jiqizhixin.com

相關焦點

  • 爆火上熱搜!抖音「變身漫畫」特效是如何實現的?
    上面這個對小眼睛群體不怎麼友好的功能正是抖音新上線的「變身漫畫」特效。而在這樣的真人一鍵變身漫畫的效果背後，是生成式對抗網絡 GAN（Generative Adversarial Networks）。 當前，抖音「變身漫畫」特效榮登熱門挑戰榜的「本周實時榜」（2002 年 6 月 15-21 日）TOP 1，已有約 867.2 萬用戶使用。
  • 迪士尼版的「鄉村愛情」見過沒?劉能、趙四秒變童話臉,人人皆可使用
    最近，國外兩個技術宅Justin Pinkney和Doron Adler開發了一種AI「神奇」，分分鐘秒變「迪士尼臉」。假如你想知道自己在迪士尼動畫裡會是什麼樣子，只要在網站上上傳一張照片就能解鎖了。兩個生成器「捏造」迪士尼臉StyleGAN2大家都不陌生，這個火爆的技術被稱作「換臉神器」，是用真實人臉數據集訓練而成，但對生成卡通人臉不太在行。但開發者想到了一個把兩個生成器「捏」在一起的好方法。
  • 您看過《小黃人大眼萌》這部動畫電影嗎?您是如何評價這部電影的
    隨著電視電影行業的飛速發展，每年都有大量的電影上映，幽默搞笑的動畫電影也有很多，但是量多不代表都是好的，對於一搜一大把的動畫電影，質量好壞還參差不齊，究竟有哪些動畫電影才是好的呢？每個人都有自己喜歡的電影，即使是同一部電影每個人也會有不同的評價。
  • 海外動畫中的中國形象,正在逐漸擺脫「刻板化」
    而著名的文化學者詹明信曾在《晚期資本主義的文化邏輯》中以懷舊電影為例，指出符號本身具有高度傳播性。在他看來，雖然懷舊電影裡出現的那些東西不過是對過去之物粗劣且毫無深度的模仿，但這直白的符號拷貝卻恰恰是喚起人們懷舊之情的最佳良方。
  • 《小黃人大眼萌2》全球撤檔 成7月第一部延期電影
    《小黃人大眼萌2》全球撤檔 成7月第一部延期電影 時間：2020.03.20 來源：1905電影網 作者：kino
  • 強力安利這部「黃暴」動畫,很解氣!
    迄今為止，該劇在豆瓣上的標記人數是835人，短評基本處於「這是什麼神腦洞」的讚美帖和「啊啊啊啊什麼時候出第三集」的催更帖兩個狀態。這部劇起源於2014年Kick Starter上的一個動畫項目。Kick Starter是啥？美國專為創意籌資的網站平臺，換句話說就是前年火到飛起的「眾籌」，2009年成立的Kick Starter算得上眾籌鼻祖。
  • 小黃人大眼萌2什麼時候上映 小黃人大眼萌2撤檔了嗎
    小黃人大眼萌2什麼時候上映 小黃人大眼萌2撤檔了嗎　　受疫情影響，很多原定在三、四、五月份上映的好萊塢新片陸續撤檔，而計劃於7月3日北美上映的動畫電影《小黃人大眼萌：神偷奶爸前傳》（又名《小黃人大眼萌2》）也決定全球撤檔，新檔期待定。
  • 萬聖節定製「喪屍生成器」,編輯部親測,效果鬼畜
    前不久，有人做了個用來生成「大眼萌」漫畫形象的網站「Toonify」，但很快就有人走向了另一個極端：用類似技術做一個喪屍生成器！利用 Toonify 生成的威爾 · 史密斯漫畫形象。利用「喪屍生成器」生成的威爾 · 斯密斯喪屍形象。被玩壞的兩位美國總統候選人。
  • 一鍵「聖誕化」你的照片,這個GAN真怪誕!
    reddit上的技術男通過訓練GAN，讓你的照片一鍵「聖誕化」，一起來看有多神奇？ 注意！聖誕「怪傑」來襲～ 一鍵生成聖誕效果圖片！ 對GAN來說什麼是具有「聖誕元素」的圖片呢？ 難點就在於其中的社交和情境潛臺詞。 通常情況下，GAN是在具有高度對稱性或相似性的域之間建立圖像到圖像的轉換模型。一個例子是從馬到斑馬的轉換，條紋增添或刪除就可以完成轉換。
  • 強力安利這部「黃暴」動畫，很解氣！
    美國專為創意籌資的網站平臺，換句話說就是前年火到飛起的「眾籌」，2009年成立的Kick Starter算得上眾籌鼻祖。這兩劇竟都是活久見系列：續訂到70集的Rick and Morty因任性的主創更得慢，須得長命百歲才等得到。
  • 把「寵物變成迪士尼主角」濾鏡爆紅!IG瘋傳大眼狗狗自拍
    IG上竟然發現了一張又一張可愛到不行的「寵物照」 ！鏟屎官們最近玩瘋了一款把「寵物變成迪士尼主角」的濾鏡，是款叫「Cartoon Face」的濾鏡，目前只能在 SnapChat APP 上使用再把照片分享到IG發布。這和之前明星們玩瘋的「寶寶臉濾鏡」是一樣的使用方式喔。
  • 52年前,這個中國流浪漢搞出的動畫電影,竟然成了日本動漫的祖師爺!
    但誰也沒有料到，這個男孩後來竟成為了「孫悟空」形象最重要的推動者。沒有他，孫悟空不可能成為所有中國男孩的偶像，自然也不會出現橫掃影壇，狂收近10億票房的動畫電影：「大聖歸來」1926年，萬老製作出了中國第一部動畫片「大鬧畫室」， 1941年，又導演全亞洲的第一部動畫長片「鐵扇公主」：
  • 很經典的科幻動畫「哥普拉」,滿屏幕的性感大妞
    小初原先推薦過一部由「川尻善昭」監督的限制動畫《午夜之眼》，其原作者是在國際上都小有名氣的「寺澤武一」。
  • AI 一鍵製作「漫畫照」,Toonify yourself 工具海外爆紅
    yourself」的 AI 畫像製作軟體在海外十分火爆，這款網頁工具可以讓用戶上傳自己的照片，然後模擬迪士尼風格的動畫人物。　　只需要登陸「Toonify yourself」到網站，上傳完整清晰的正面照，即可通過機器學習生成屬於你到迪士尼風格的人物角色頭像。
  • 當你掌握了「一鍵變身迪士尼動畫角色」的技能之後...
    二次元畫像在保留了三次元真人特徵的基礎上又增添了一絲獨屬於動畫的「萌感」尤其是宮崎駿爺爺「變身」後的形象真是非常符合他溫暖動人的畫風了首先，通過預訓練模塊對數據進行學習，之後再使用處理模塊進行圖像的混合生成。為了保證卡通效果，他們二人收集了迪士尼、皮克斯、夢工廠等動畫製作廠商的約300多張漫畫圖像作為學習數據集。
  • 哈裡王子兒子萌照 渾圓大眼萌度破表
    哈裡王子兒子萌照 渾圓大眼萌度破表時間：2019-06-17 13:39   來源：今日頭條   責任編輯：毛青青 川北在線核心提示：原標題：哈裡王子兒子萌照 渾圓大眼萌度破表 英國哈利王子（Prince Harry）與妻子梅根（Meghan Markle）日前迎來兩人的第一個兒子，取名為亞契（Archie Harrison
  • 天生一對,硬核微分方程與深度學習的「聯姻」之路
    微分方程真的能結合深度神經網絡？真的能用來理解深度神經網絡、推導神經網絡架構、構建深度生成模型？我們將從鄂維南、董彬和陳天琦等研究者的工作中，窺探微分方程與深度學習聯袂前行的路徑。近日，北京智源人工智慧研究院開展了第一次論壇，其以「人工智慧的數理基礎」這一重大研究方向為主題，從數學、統計和計算等角度討論了智能系統應該怎樣融合數學系統。
  • 《小黃人大眼萌》:除了萌就不剩什麼了
    因為早在《獅子王》時期，這些動畫片已經將自己的受眾群體擴大到了全年齡階層，也就是說好萊塢的主流動畫片，並不滿足於讓孩子看了開心就行，而是連成年人的錢也想要賺到手。現在已經很少看到有觀眾這樣為動畫片辯護了，但發現大多數人依然對好萊塢動畫片有著極高的包容心，似乎因為那些可愛有趣的人設，一切都被原諒了，沒有劇情都可以接受。
  • 國產動畫電影「大護法」:一部做給成人看的殘酷童話
    說起這段時間風頭最盛的國產動畫，應該就是不思凡導演的「大護法」了。 「大護法」導演不思凡也曾表示過：動畫只是一種形式，最終還是要服務於故事。 所以「大護法」除了畫面之外，還有一個讓大眾樂於討論的話題——劇情： 奕衛國大護法為了尋找離宮出走的太子，來到了一個漂浮著巨大黑花生的詭異小鎮「花生鎮」。
  • 科普向 亞洲表情包三巨頭 花澤香菜、金館長和姚明…
    別怪小編沒提醒你們，此視頻為有毒循環向，已經循環一整天了……「戀愛循環」是日本動畫《化物語》第九集和第十集的OP，也是花澤香菜配音的角色千石撫子的角色歌。「戀愛循環」開始前，粉絲手中的應援棒是藍色的，一片藍海