新智元報導
來源:GitHub
作者:lllyasviel 編輯:肖琴
【新智元導讀】Style2paints V4版本來了!這是目前最好的線稿上色AI工具,由蘇州大學和香港中文大學的團隊創造,作者提供線上APP和中文教程,趕緊來試試吧!
還記得那個給本子上色的Style2paints嗎?這是目前最好的線稿上色AI工具,沒有之一。
Style2paints由蘇州大學和香港中文大學的團隊創造,現在,作者發布了它的V4版本。
發布上一個版本時,作者在知乎專欄中寫道:「藉助人工智慧,任何人都能快速給漫畫上色的時代真的到了! 」
「您現在看到的是人工智慧界目前唯一的一個真正能夠讓任何人都可以快速(15 分鐘一頁的速度)給自己喜歡的本子上色的技術。本文技術發布之前的任何人工智慧技術都做不到這一點。」
而style2paint V4的效果之前的版本更好,也超越了同類模型Paintschainer。
style2paints V4的想法很簡單:在標準的人類工作流程中進行上色,想這樣:
填充顏色>>添加顏色漸變>>添加陰影
作者設計了一個白盒系統,將三個分開的pipeline組合在一起,進行顏色填充、製作顏色漸變和渲染。
該系統的強處:
最高的質量。在針對53個草圖和6位使用者的用戶研究中,style2paint V4在100%的情況下擊敗了所有之前版本的style2paint和所有之前版本的paintschainer。廣泛分布的用例。style2paint V4的輸出是層。藝術家可以從結果中選擇他們需要的層。style2paint V4是第一個實現這一點的AI系統。魯棒性。在這個GitHub庫中展示的所有結果都是來自不同國家的藝術家和Twitter用戶使用現實中的線稿生成的。來自真實生活中的twitter用戶的結果比其他任何東西都更令人信服。
不足之處:
無法處理整頁漫畫。因為模型是在線稿上訓練的,所以我們的系統不能給大多數整頁漫畫上色。整頁漫畫可以用MangaCraft。對於歐美漫畫的線稿比較弱。仍然不能給非常複雜的線稿上色。
GitHub:https://github.com/lllyasviel/style2paints
漫畫家的強大AI助手:獲得分層結果
與以往的端到端image-to-image的轉換方法不同,style2paint V4是第一個在現實生活的工作流中對線稿進行著色的系統,而且,它的輸出是分層的。
輸入:
線稿圖人類提示(可選)顏色樣式參考圖像(可選)光線位置和顏色(可選)
輸出:
無線條自動顏色展平黑色線條自動顏色展平無線條自動著色黑色線條自動著色彩色線條自動著色自動渲染(分層)自動渲染著色
Style2paint V4提供了目前最高質量的結果。並且,你可以從系統中分離出不同的層,這些層可以直接用在你的繪畫工作流程中。
與以往的人工智慧上色處理工具不同的是,Style2paint V4的結果不是單一的』JPG/PNG』圖像,而是是』PSD』層。
作者提供了在線APP,試用請戳:http://s2p.moe/
用戶指南:https://style2paints.github.io/
大多數人類藝術家都很熟悉給漫畫線稿上色的工作流程:
草繪->顏色填充/展平->添加漸變/細節->陰影
對應的層是:
lineart layers + flat color layers + gradient layers + shading layers
style2paint V4正是為這個標準的著色工作流程而設計的!在style2paint V4中,你可以獲得每個步驟的結果!
示例
這裡我們用ABCD格式展示了一些結果。用戶只需要上傳自己的草圖,選擇一個樣式,然後選擇一個光源。
無需人類色彩校正的情況下,結果立即就能得到。
如果需要色彩校正,用戶可以很容易地在畫布上添加一些色彩提示來指導AI的著色過程。
在這個示例中,我們將這些結果視為半自動的。如果半自動的結果中,人類色彩提示點的數量小於10,則認為這些結果是幾乎全自動的。
以下的示例中,大約一半的結果是全自動的,其餘是幾乎全自動的結果。
並且,以下所有結果都只需不到15次滑鼠點擊即可完成。
請看視頻演示:
瀏覽器版本過低,暫不支持視頻播放
視頻完全是屏幕錄製,沒有任何修改或速度修改。
示例1
從視頻的11:28開始。
所有人類局部顏色修改:只需3次點擊。
*CC-BY-NC-SA-4.0 (c) Various artist of style2paints team, 2018. This image is OK for ACM/IEEE fair use.
示例 2
在視頻的06:19開始。
所有人類局部顏色修改:只需2次點擊。
*CC-BY-NC-SA-4.0 (c) Various artist of style2paints team, 2018. This image is OK for ACM/IEEE fair use.
示例 3
從視頻的01:40開始。
所有人類局部顏色修改:只有6次點擊。
*CC-BY-NC-SA-4.0 (c) Various artist of style2paints team, 2018. This image is OK for ACM/IEEE fair use.
示例 4
從視頻的00:42開始。
無人類局部顏色修改。
*CC-BY-NC-SA-4.0 (c) Various artist of style2paints team, 2018. This image is OK for ACM/IEEE fair use.
示例 5
從視頻的02:57開始。
無人類局部顏色修改。
*CC-BY-NC-SA-4.0 (c) Various artist of style2paints team, 2018. This image is OK for ACM/IEEE fair use.
示例 6
從視頻的07:57開始。
所有人類局部顏色修改:11次點擊。
示例 8
從視頻的04:27開始。
所有人類局部顏色修改:只需3次點擊。
示例 9
從視頻的09:46開始。
所有人類局部顏色修改:只需5次點擊。
*CC-BY-NC-SA-4.0 (c) Various artist of style2paints team, 2018. This image is OK for ACM/IEEE fair use.
Style2Paints V4 教程
作者提供了Style2Paints V4 教程,任何人都能在十分鐘內學會!
你只需要一張線稿:
*CC-BY-NC-SA-4.0 (c) Various artist of style2paints team, 2018. This image is OK for ACM/IEEE fair use.
然後上傳,選擇一個合適的AI畫師,然後,事情就變成了這樣:
你可以滾動滾輪,右鍵拖拽畫布,來查看細節;通過左鍵點擊來添加提示點來控制局部顏色;點擊上色按鈕來刷新上色結果。
值得一提的是,最新版本的軟體提供細心模式和粗心模式:careful mode (細心模式) 和 careless mode (粗心模式)。
在細心模式 (careful mode)中,人工智慧會細心的塗抹平滑,精細的顏色。但是這個模式下的人工智慧會限制自我的發揮來迎合人類。
在粗心模式 (careless mode)中,人工智慧會自己發揮,但是可能細節上會出現丟失。同時可能人工智慧會反抗你的提示。
完整教程地址:
https://style2paints.github.io/README_zh
GitHub:
https://github.com/lllyasviel/style2paints
在線APP:
http://s2p.moe/
新智元 AI 技術 + 產業社群招募中,歡迎對 AI 技術 + 產業落地感興趣的同學,加小助手_2 入群;通過審核後我們將邀請進群,加入社群後務必修改群備註(姓名 - 公司 - 職位;專業群審核較嚴,敬請諒解)。