「摳圖」技術由來已久,從最早的美圖秀秀的「點線」摳圖到區域摳圖再到「一鍵摳圖」。如今,美圖秀秀基於美圖影像實驗室MTlab獨家研發的人臉點檢測和實例分割等尖端技術,已可以實現自動且極為精準的人像摳圖。其能夠智能識別背景與人像,即使再複雜的背景也可以進行完整的人像分割,對發梢、飾品、眼鏡框等圖形也可以有效識別。
日前,美圖秀秀推出「我的漫畫劇場」功能,用戶只需上傳一張自拍照,經過精準的摳圖和風格化處理,就可以化身二次元的動漫人物,並與美圖秀秀內設漫畫人物進行劇情互動。
據了解,此次「我的漫畫劇場」功能主要通過自動識別摳圖的方式,將用戶的自拍照進行摳圖並進行繪畫風格處理,生成水彩、素描、漫畫等多種手繪風格,並嵌入已有的漫畫場景中,生成屬於用戶自己的「愛情漫畫故事」。男生也可以通過上傳自己的自拍進入漫畫故事中,與二次元「女神」戀愛互動。
這款拍照玩法本身操作也極為簡單,用戶可以通過自拍或上傳一張照片,選擇美化-摳圖,就可以看到自己的人像已經被自動識別並完成背景分離,之後選擇漫畫主題效果和喜歡的漫畫劇情,將處理好的手繪風照片移動至合適的位置。如果還想進行更多玩法,可以點擊新建-導入圖片,選擇一張新的照片,點擊濾鏡-線稿,將新導入的照片放在其他可以替換的位置,就能夠完成一組屬於自己的有愛又有趣的「定製漫畫」。
而在此技術的基礎上,該功能還加入了人像線稿技術,讓人像處理看起來更為手繪風格化,仿佛真的漫畫效果。同時保持人臉特徵的可識別度,仿佛畫手繪做,尤其是線條筆觸更接近藝術家手繪感,而非死板、單一線條。
「即便是非常複雜的衣物和頭髮區域,也能夠通過人像線稿技術打造出完美的手繪線條。」美圖影像實驗室(MTlab)負責人許清泉介紹道,「為了讓生成線稿和用戶真實照片更接近,同時保持線條的順滑,我們設計使用了特殊的損失函數。同時為了讓線稿具有手繪藝術風格,而不是死板的線條,我們打造了一個新的網絡結構——sketch net。在這兩者的結合之下,人像線稿技術誕生了。」
據了解,在人像線稿的基礎上,MTlab的工程師和設計師又通力合作,實現了線稿上色算法,經過數月的探討和多次調試,最終得到了不錯的效果,讓用戶可以瞬間穿越到漫畫世界中。