新的快速圖像轉手繪方法,人類水準、戶外場景

雷鋒網 AI 科技評論按：下面的 AI 生成的手繪圖看起來怎麼樣？有耳目一新的感覺嗎？像你不好好聽課的時候在草稿紙上隨便畫的風格嗎？

作者們尤其希望讀者關注下面那張臥室的生成手繪圖像。其中的物體邊界線並不像初學繪畫的人那樣畫成了完全的直線。

從照片生成簡筆畫或者素描樣式的手繪圖像是許多普通人都感興趣的計算機視覺任務。但是這項任務並沒有那麼容易做好。一直以來計算機視覺研究人員們花了很多精力關注的任務都是圖像分類和語義分割，即便是像素級、實例區分的語義分割也只能抓取到不同物體的外部輪廓，對同樣刻畫了物體形狀、但是位於外輪廓線內部的線條就無能為力了；而另一方面，各類邊緣檢測算法雖然能捕捉到邊緣，但是無法區分出人類重點關注的、帶有較多語意信息的輪廓內部的主要線條並予以加強。高度簡化的簡筆畫又會與實物相距甚遠。

不同寫實程度的簡筆畫風格

不同邊緣檢測方法之間的對比

近期的一篇新論文《Photo-Sketching: Inferring Contour Drawings from Images》（照片速寫：從圖像生成輪廓繪畫，arxiv.org/abs/1901.00542）就在這個問題上邁出了自己的一步。一作是 CMU 的中國留學生 Mengtian Li，他本科在南京大學匡亞明學院；別的作者來自 Adobe 研究院、Uber 以及 Argo AI。

作者們的方法並不意外，收集一個新的手繪數據集（真人進行的照片手繪），然後訓練神經網絡。不過與類似研究有所不同的是，作者們收集的是一個一對多的數據集，每張照片可以對應多個真人手繪 ground truth 圖像。所以作者們認為這不應當是在傳統的「優化調節邊緣檢測器」路線上繼續發展，同時直接使用各類現成的 cGAN 也無法帶來理想的表現。作者們提出了一種新的、可以處理多種不同的稀疏輸入的 cGAN 來進行處理。作者們與其它方法進行了定性以及定量的對比。

為了便於視覺理解及簡筆畫生成的後續研究，作者們也一併發布了這個數據集，它由一組組圖像和對應的輪廓簡筆畫組成。數據中含有 1000 張戶外場景的照片，每張照片都有 5 張對應的人類繪製的輪廓簡筆畫（一共 5000 張）。簡筆畫中的筆畫已經與照片中的邊界做過粗略的對齊，便於把人類的筆畫和照片中的邊界對應起來。

數據集是通過亞馬遜眾包平臺 Mechanical Turk 收集的。收集過程中先給參與者展示墊在半透明背景下的照片，然後要求他們在上面用簡筆畫描繪出圖中的邊界。為了獲得高質量的簡筆畫（標註），研究人員們專門設計了一個標註界面，其中含有一個詳細的指導頁面，展示了許多正面和負面例子。標註還會經過人工的質量檢查；內部邊線有缺失的、缺少重要的畫面內容的、手繪的邊界線與原圖有較大出入的、無法識別簡筆畫內容的、簡筆畫中的人物非常糟糕的、在空的部分畫了線，這六類質量不高的圖像都有可能被拒絕。所以實際上，在收集到這 5000 張可用的手繪簡筆畫的同時，研究人員們也獲得了 1947 張質量不高而被拒絕的簡筆畫；這些畫未來可以用作自動質量控制的樣本。

數據集中部分手繪圖像（帶有筆畫方向及順序）

論文摘要：邊界、邊線、輪廓，這三者在計算機圖形學和計算機視覺兩個領域都是重要的研究課題。一方面，它們是表達了三維形狀的二維平面元素；另一方面，它們是互相遮蓋的物體的指示器，我們正是藉助它們才能分辨不同的物體或者語義概念。在這篇論文中，作者們的目標是生成物體輪廓繪畫，也就是類似邊線的筆畫，通過它們勾畫出視覺場景的主要線條。早期的研究中通常把這類任務稱作「邊緣檢測」。然而，邊緣檢測任務的理想輸出中包含的視覺元素與輪廓繪畫之間其實有著不小區別，而且也缺失了輪廓繪畫中的藝術風格。作者們解決這個問題的方式是收集了一個新的輪廓簡筆畫數據集，並提出了一種基於學習的方法來解析不同的標註之間的多樣性；而且與邊緣檢測器不同的是，他們的方法可以在真實照片和手繪素材不完全對齊的情況下工作。相比以往的方法，作者們的方法定型、定量地都取得了更好的表現。令人驚訝的是，當作者們在 BSDS500 數據集上精細調節模型時，他們在突出邊界檢測任務中取得了目前最好的成績，這表明他們的輪廓繪畫可能可以成為邊緣標註的一種可拓展的替代方案，但同時對於標註人員來說更容易做、也更有趣。

項目主頁：http://www.cs.cmu.edu/~mengtial/proj/sketch/

論文地址：https://arxiv.org/abs/1901.00542

P.S. 單獨的手繪圖像技術和數據集可以參見雷鋒網 AI 科技評論往期文章 《谷歌大腦教機器畫簡筆畫，神經網絡的大作都長啥樣？》以及《同濟大學「智能大數據可視化實驗室」開源FaceX，包含500餘萬張卡通人臉表情簡筆畫》

雷鋒網 AI 科技評論報導。