魚羊 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
給一張這樣繁複的線稿：
一步步填上顏色、賦上光影：
你猜需要多長時間？
答案是最快0.7秒。
沒錯，這又是AI的手筆。
厚塗不在話下，換種漫畫上色風格，只要給出示例，這隻AI也能迅速get到靈魂。
而這，還不是Ta的全部實力。
有別於業內針對靜態漫畫的上色AI，這個來自愛奇藝的智能上色引擎，還能用來給動態漫畫賦上前後風格統一的色彩。
並且是已經正式「出道」的那種——
在愛奇藝自製輕動畫《吞噬永恆》中，這隻自動上色AI就已經落地應用，施展了自己的才能。
所以，這樣一隻AI的「上色靈感」源自何處？
我們照例一起扒一扒背後的技術~
理解線稿，精細上色
想要學會上色，AI首先要明白線稿為何物。
愛奇藝工程師們的做法，是在基於GAN的模型中引入注意力機制和語義參考模塊，使得AI能夠自動識別人類畫師給出的線稿。
如下圖所示，智能上色引擎能get到眼球、斧頭等各個部分完整的語義信息。
看懂了線稿，就可以進入到上色環節了。
為了使得上色效果精準，並在多幀情況下保持各幀風格的一致性，愛奇藝工程師們祭出了以下幾招：
根據具體需求調整網絡結構，使模型與數據更加匹配
設計色彩參考模塊和風格參考模塊等預處理模塊，提高上色圖片的色彩豐富度和風格統一性
多種loss相結合，實現像素級別的精細匹配和上色。
具體的上色手法，就像這樣：
雖然啪一下很快的，但其實愛奇藝智能上色引擎對人類老司機很「講武德」——提供了分圖層的輸出模式，專業畫師可以輕鬆在AI的基礎上靈活調整上色細節。
需要說明的是，在給動態漫畫上色的過程中，AI倒是也「參考」了一些人工上色的方法，比如背景和特效大多可以重複使用，上色模型可以只專注於對人物進行上色。
另外，值得一提的是，在打磨上色算法的過程中，工程師們也積累下了一套線稿數據生產系統。
對於用戶而言，基於愛奇藝智能上色引擎獲取到的數據，可以構建線稿資料庫和不同風格的動態漫畫資料庫。
自動動畫上色模型
看到這裡，你可能會有這樣一個疑問：這樣的AI能應用在動態漫畫的製作過程中，那麼更高難度的動畫呢？
最近，愛奇藝在一篇WACV 2021論文中，通過最新的研究進展，展示了未來的一種可能性。（論文地址見文末）
研究人員發現，動畫幀之間存在著很強的關聯性，很多只是身體位置和動作發生了變化，如果能獲得幀間的相關性，只需要一幀上好色的圖片，就能將其顏色變換到其他待上色幀，減少大量重複、非創造性的勞動。
為此，研究人員設計了一種相關匹配特徵轉移模型，稱為：基於相關性匹配的特徵遷移模塊，Correlation Matching Feature Transfer(CMFT)，來將參考幀的顏色特徵與待上色幀進行對齊。
並且，研究人員將該模型以coarse-to-fine的方式嵌入到基於U-Net的生成網絡中，逐步對匹配的特徵進行細化和修正。
效果如何？
上圖中，實際上只有第一幀是人類畫師的作品，後面幾張都是AI根據第一幀生成的。
實驗表明，在幀間一致性和上色質量上，這隻AI都超越了前輩。
這也就意味著，AI自動上色技術未來還可能在更為複雜的動畫領域大展身手。
等到這樣的AI模型從實驗室落地到工業界，一方面，能在更廣闊的領域中解放創作者的雙手，讓他們將更多的精力投入到藝術創意工作中。
另一方面，無疑能進一步提高動畫的工業化生產效率、降低生產成本。
好番連連看的日子，想想都覺得幸福感爆棚了。
當然啦，在這個過程中，想要實現AI和創作者習慣之間的無縫銜接，讓AI模型能「摸透」創作者的想法，還是少不了算法研究者和動漫創作者之間的緊密交流、合作。
推動動漫工業化新流程
轉回當下，像愛奇藝智能上色引擎這樣的AI，其實已經開始在產業中發揮價值。
事實上，熟悉動漫畫製作過程的小夥伴都知道，線稿上色這一步處於腳本創作、分鏡和線稿之後，隨著劇情的推進，動漫內容需要不斷去更新延續，在流程中存在重複勞動環節，工作量巨大。
以漫畫為例，一話通常在十到二十格之間，一部作品基本又是成百上千話的量，其中涉及大量對相同或相似幀的上色工作。
而AI恰恰能夠輔助人工完成上色環節中的底色和光影著色，有效提高行業生產力。
在2020年中國二次元用戶規模有望突破4億的背景之下，對於動漫產業而言，人工成本的攀升和有限的上色效率，目前已經成為限制動漫產量提高的一大障礙。
而愛奇藝智能上色引擎這樣已經實際落地到動態漫產業中的AI，恰恰為解決這一矛盾帶來了一種全新的可能性：改變傳統工作方式，把創意交給人類，把重複交給AI。
愛奇藝表示，相較於純人工上色，智能上色引擎預計可在動態漫製作上色環節中，節省約30%的人力。
除此之外，對於專業上色畫師而言，這樣的AI或許也能夠提供參考，激發新的靈感，甚至衍生出更多更有意思的玩法。
那麼，你是不是有什麼大膽的想法了呢？
文章最後，傳送一下這隻AI的作者——愛奇藝AI創作團隊。
該團隊的目標是：不斷探索新技術與內容製作的深度融合，以技術替代操作簡單、重複性高且繁瑣的基礎性、非原創性工作，讓創作者把時間投入到創意中，進而優化內容生產流程，推動行業的工業化水平。
目前，不僅是在動態漫上色領域，在錄製、素材管理、後期等綜藝節目製作環節，愛奇藝均探索了AI輔助一體化智能製作方案的應用。
論文連結：https://arxiv.org/abs/2004.06718
— 完 —
本文系網易新聞•網易號特色內容激勵計劃籤約帳號【量子位】原創內容，未經帳號授權，禁止隨意轉載。
原標題：《0.7秒，完成動漫線稿上色》
閱讀原文