魚羊 發自 凹非寺量子位 報導 | 公眾號 QbitAI
給一張這樣繁複的線稿：
一步步填上顏色、賦上光影：
你猜需要多長時間？
答案是最快0.7秒。
沒錯，這又是AI的手筆。
厚塗不在話下，換種漫畫上色風格，只要給出示例，這隻AI也能迅速get到靈魂。
而這，還不是Ta的全部實力。
有別於業內針對靜態漫畫的上色AI，這個來自愛奇藝的智能上色引擎，還能用來給動態漫畫賦上前後風格統一的色彩。
並且是已經正式「出道」的那種——
在愛奇藝自製輕動畫《吞噬永恆》中，這隻自動上色AI就已經落地應用，施展了自己的才能。
所以，這樣一隻AI的「上色靈感」源自何處？
我們照例一起扒一扒背後的技術~
理解線稿，精細上色
想要學會上色，AI首先要明白線稿為何物。
愛奇藝工程師們的做法，是在基於GAN的模型中引入注意力機制和語義參考模塊，使得AI能夠自動識別人類畫師給出的線稿。
如下圖所示，智能上色引擎能get到眼球、斧頭等各個部分完整的語義信息。
看懂了線稿，就可以進入到上色環節了。
為了使得上色效果精準，並在多幀情況下保持各幀風格的一致性，愛奇藝工程師們祭出了以下幾招：
根據具體需求調整網絡結構，使模型與數據更加匹配設計色彩參考模塊和風格參考模塊等預處理模塊，提高上色圖片的色彩豐富度和風格統一性多種loss相結合，實現像素級別的精細匹配和上色。具體的上色手法，就像這樣：
雖然啪一下很快的，但其實愛奇藝智能上色引擎對人類老司機很「講武德」——提供了分圖層的輸出模式，專業畫師可以輕鬆在AI的基礎上靈活調整上色細節。
需要說明的是，在給動態漫畫上色的過程中，AI倒是也「參考」了一些人工上色的方法，比如背景和特效大多可以重複使用，上色模型可以只專注於對人物進行上色。
另外，值得一提的是，在打磨上色算法的過程中，工程師們也積累下了一套線稿數據生產系統。
對於用戶而言，基於愛奇藝智能上色引擎獲取到的數據，可以構建線稿資料庫和不同風格的動態漫畫資料庫。
自動動畫上色模型
看到這裡，你可能會有這樣一個疑問：這樣的AI能應用在動態漫畫的製作過程中，那麼更高難度的動畫呢？
最近，愛奇藝在一篇WACV 2021論文中，通過最新的研究進展，展示了未來的一種可能性。（論文地址見文末）
研究人員發現，動畫幀之間存在著很強的關聯性，很多只是身體位置和動作發生了變化，如果能獲得幀間的相關性，只需要一幀上好色的圖片，就能將其顏色變換到其他待上色幀，減少大量重複、非創造性的勞動。
為此，研究人員設計了一種相關匹配特徵轉移模型，稱為：基於相關性匹配的特徵遷移模塊，Correlation Matching Feature Transfer(CMFT)，來將參考幀的顏色特徵與待上色幀進行對齊。
並且，研究人員將該模型以coarse-to-fine的方式嵌入到基於U-Net的生成網絡中，逐步對匹配的特徵進行細化和修正。
效果如何？
上圖中，實際上只有第一幀是人類畫師的作品，後面幾張都是AI根據第一幀生成的。
實驗表明，在幀間一致性和上色質量上，這隻AI都超越了前輩。
這也就意味著，AI自動上色技術未來還可能在更為複雜的動畫領域大展身手。
等到這樣的AI模型從實驗室落地到工業界，一方面，能在更廣闊的領域中解放創作者的雙手，讓他們將更多的精力投入到藝術創意工作中。
另一方面，無疑能進一步提高動畫的工業化生產效率、降低生產成本。
好番連連看的日子，想想都覺得幸福感爆棚了。
當然啦，在這個過程中，想要實現AI和創作者習慣之間的無縫銜接，讓AI模型能「摸透」創作者的想法，還是少不了算法研究者和動漫創作者之間的緊密交流、合作。
推動動漫工業化新流程
轉回當下，像愛奇藝智能上色引擎這樣的AI，其實已經開始在產業中發揮價值。
事實上，熟悉動漫畫製作過程的小夥伴都知道，線稿上色這一步處於腳本創作、分鏡和線稿之後，隨著劇情的推進，動漫內容需要不斷去更新延續，在流程中存在重複勞動環節，工作量巨大。
以漫畫為例，一話通常在十到二十格之間，一部作品基本又是成百上千話的量，其中涉及大量對相同或相似幀的上色工作。
而AI恰恰能夠輔助人工完成上色環節中的底色和光影著色，有效提高行業生產力。
在2020年中國二次元用戶規模有望突破4億的背景之下，對於動漫產業而言，人工成本的攀升和有限的上色效率，目前已經成為限制動漫產量提高的一大障礙。
而愛奇藝智能上色引擎這樣已經實際落地到動態漫產業中的AI，恰恰為解決這一矛盾帶來了一種全新的可能性：改變傳統工作方式，把創意交給人類，把重複交給AI。
愛奇藝表示，相較於純人工上色，智能上色引擎預計可在動態漫製作上色環節中，節省約30%的人力。
除此之外，對於專業上色畫師而言，這樣的AI或許也能夠提供參考，激發新的靈感，甚至衍生出更多更有意思的玩法。
那麼，你是不是有什麼大膽的想法了呢？
文章最後，傳送一下這隻AI的作者——愛奇藝AI創作團隊。
該團隊的目標是：不斷探索新技術與內容製作的深度融合，以技術替代操作簡單、重複性高且繁瑣的基礎性、非原創性工作，讓創作者把時間投入到創意中，進而優化內容生產流程，推動行業的工業化水平。
目前，不僅是在動態漫上色領域，在錄製、素材管理、後期等綜藝節目製作環節，愛奇藝均探索了AI輔助一體化智能製作方案的應用。
論文連結：https://arxiv.org/abs/2004.06718
— 完 —