在《不要小看日本的AI公司》這篇文章中,有提到一家日本公司「PaintsChainer」,他們利用AI算法為漫畫線稿上色。用戶只需上傳一張黑白線稿,便可生成不同風格的畫稿,其中文網站已上線。
PaintsChainer
通過瀏覽官網,我們發現PaintsChainer支持「提取線稿」、「指定上色顏色」、」指定上色風格「以及在pixiv Sketch中自動上色。
在此前對黑咔相機的融資報導中,36氪在文末提到了喵圖,一家計算機視覺團隊,他們與上文的PaintsChainer一樣切入動漫行業並於近期推出了一款為動漫線稿智能上色的APP。
以下是喵圖為線稿上色的效果:
經測試,喵圖APP的單張線稿的渲染時間在0.5~1秒之間,PaintsChainer需要3~5秒。
對於線稿上色,36氪過去也有過報導與了解。
在動漫製作的流程中,線稿上色處於腳本創作、分鏡與線稿之後。由於門檻不高但卻極度耗時,一般由初入行的畫師負責。近年來隨著國內動漫作品數量的暴增,動漫CP對上色人員的訴求也愈來愈大,但人工成本的攀升與有限的上色效率成為了制約動漫內容提高產量的障礙。
喵圖CEO馬慕晗認為,上色環節雖然繁雜耗時,但每部作品的畫風與筆觸幾乎一致,這對善於學習和模擬的AI會是個很好的應用場景。他向36氪列舉了一組數字:一部25分鐘標準的動漫,每秒約12副圖,每集會有18,000副圖,一位熟練的上色師一天工作10個小時,平均能完成20~30副,一個10人的團隊不算後期,周末不休需要2個月時間;但是如果用人工智慧的方式,在目前喵圖的算法與算力基礎下只需要150分鐘,相比人工操作,提升2000倍的效率。不過馬慕晗也提到,AI渲染後依然需要人工去複查,輔助機器。
毫無疑問,對於動漫行業,機器為線稿自動上色將對內容產出的效率有極大的提升作用。
基於計算機視覺技術和二次元領域數據的積累,喵圖在業務上開拓了兩個主要板塊,其一是以自動上色技術為核心的動漫製作加速服務,主要為動漫CP輸出產能,提高作品製作效率並收取服務費用。
受限於動漫行業缺乏統一的製作規範以及每部作品的風格都不同,短期內該技術會以項目制為主,同時喵圖也在嘗試推出批量化製作需求的工具平臺,希望能夠定義一套高效的製作流程。
第二個板塊,即跳出為製作方服務的局限,面向平臺方利用圖像識別算法的能力提供內容增值服務,核心是提升行業盈利能力。
展開說,喵圖會基於對動漫內容的識別與理解,為平臺內容提供動態的交互式體驗和嵌入式廣告,提昇平臺長尾流量的變現能力,比如基於對人物及場景的識別與理解,精準推送或植入與情節相關的廣告。這一模式在視頻領域和直播領域已有成功應用,在落地動漫領域時,商業模式還需驗證。
相比第一個方案,第二個方案更具備實現規模化營收的潛力,喵圖正在同時推進這兩條業務線。
算法層面,喵圖與36氪之前報導過的Versa和黑咔相機類似,都是基於圖像識別的算法,先做人景分離,再做區域識別,即結構化上色目標並理解區域語義,最後用風格遷移的算法將學習的樣本風格給線稿上色,難度並不大。
喵圖的最大優勢在於積累了大量動漫領域的垂直數據,包含了人物數據、場景數據、人物內部細粒度的標記數據以及漫畫文本數據,這些數據的沉澱直接影響最終的渲染效果,也能保證喵圖在整個領域的先發優勢。
動漫產業對效率的提升的需求是客觀存在且急迫的,不僅是動漫CP本身,平臺也希望能夠通過提升動漫內容的更新頻次進一步提昇平臺的活躍度並孵化更多新的內容。
與此同時,需求雖然客觀存在,但動漫內容創作是一個勞動力密集產業,利潤率並不高,因此會出現有付費意願但沒有付費能力的普遍情況。36氪認為,在動漫產業,內容生產效率的提升必須與行業盈利能力的提升同步推進。
最後簡單為大家介紹喵圖科技的融資歷史與團隊。
喵圖科技曾於2017年12月完成天使輪融資,投資方為雲天使基金,目前正尋求1200萬人民幣的Pre-A輪融資,用於團隊擴招以及B端產品的迭代。團隊方面,創始人兼CEO馬慕晗本科畢業於清華大學產品設計專業,研究生畢業於美國伊利諾伊理工大學設計學院(全美排名第一設計研究生院),主修產品設計,後在微軟研究院從事圖像處理與技術研發,負責產品設計和算法編程。