GAN模型生成山水畫,騙過半數觀察者,普林斯頓大學本科生出品

2020-12-08 AI科技大本營

作者 | 高衛華

出品 | AI科技大本營

近年來，基於生成對抗網絡GAN模型，圖像生成領域實現了許多有趣的應用，尤其是在繪畫創作方面。

英偉達曾在2019年提出一款名叫GauGAN的神經網絡作圖工具，可以利用GAN將語意分割圖轉換為逼真的圖像，即使不擅長作畫的用戶，也能有機會享受到作畫的樂趣，將粗糙的塗鴉變成照片級的寫實作品。通過100 萬張圖片的訓練結果，該工具的神經網絡技術能夠根據對真實圖像的了解，填充所有細節和紋理，以及反射、陰影和顏色，自動生成寫實的美麗風景圖。

此外，MIT和IBM沃森聯合實驗室也曾聯合發布一個在線工具AI Portraits Ars，該工具可利用AI將用戶上傳的照片變成文藝復興時期的大師畫作，一度成為熱門網站，其資料庫涵蓋從倫勃朗、提香再到梵谷等著名藝術家的藝術繪畫風格。並且，其研究人員表示，AI Portraits Ars並不是單純的轉換風格，而是由模型自己決定肖像的樣式，完全重新設計照片中的面部線條。

肖像畫方面，在CVPR2019上，清華大學計算機系的劉永進教授課題組提出了一個層次化的GAN模型APDrawingGAN，可將人臉照片轉化為高質量的藝術肖像線條畫。

前不久，reddit上的一個技術博主AtreveteTeTe基於StyleGAN模型，開發了一個可將普通人像照片卡通化的應用，並通過First Order Motion模型生成了動畫；類似的AI應用還有Cartoonize，其核心技術來自CVPR 2020的投稿論文，在該應用上一鍵上傳拍攝的圖像或視頻，就可以在很短時間內將它卡通化。

大多數GAN研究都集中在西方藝術上，目前我們已經看到不少AI生成寫實主義、後現代，甚至是抽象主義的作品，而很少能看到AI在傳統東方藝術上的表現。傳統東方藝術同樣擁有悠久的歷史和深刻的文化意義，在美學上也與西方藝術一樣值得深入研究。

近日，一位普林斯頓大學的本科學生Alice Xue將目光投向了中國山水畫，在畢業論文中開發了一款名為SAPGAN（Sketch-And-Paint GAN)的AI模型，該模型可以「從無到有」生成高質量的中國山水畫。

（a）由人類藝術家創建的中國山水畫；

（b）基線模型；

（c）和（d）通過提出的Sketch-And-Paint框架，結合RaLSGAN和StyleGAN2繪製

實現過程

傳統中國山水畫在繪製過程中，一般有勾、皴、點、染等步驟，顧名思義，就是先勾畫出大致輪廓，再進行渲染。而AIice提出的端到端生成中國山水畫無條件輸入模型，遵循的也是這個步驟。

為了實現這一過程，AIice構建了兩個模型：Stage I: SketchGAN ；Stage II: PaintGAN。SketchGAN是從樣本圖像中採集高解析度的邊緣圖，而PaintGAN是根據SketchGAN進行「翻譯」創作，從而生成一幅完整的山水畫。

訓練數據集

SAPGAN模型是基於一個新的中國傳統山水畫數據集上訓練的，這一數據集不是來自百度或者谷歌，而是由作者本人收集畫作並建立的。

AIice表示，目前的山水畫數據集存在不唯一性和圖像質量及數量不足的問題。為了促進該領域的更多研究發展，Alice建立了一個涵蓋2192幅高質量中國傳統山水畫的新數據集，並在GitHub上發布了這一數據集，供公眾研究使用。

數據集中的山水畫來自史密森尼弗裡爾美術館、大都會藝術博物館、普林斯頓大學美術館和哈佛大學美術館等開放式博物館畫廊，Alice還手動過濾掉了非景觀藝術品，並手工裁剪調整其大小，以進行模型訓練。

真實性測試

論文中提到，為驗證SAPGAN創作畫作的真實性，進行了一項有242名參與者的視覺圖靈測試，而測試結果出乎意料。

SAPGAN創作出的畫作被誤認為人類藝術品的頻率高達55%，而基線GAN模型創作的畫作僅以11％的頻率出現。在美學品質方面，SAPGAN模型在所有藝術類別中的評分也始終高於基線GAN模型。

測試人員中，有29位是中國人，其餘都是以英語為母語的外國人。然而，比較其測試結果得出，華語應試者判斷畫作來源的準確率明顯低於講英語的應試者，說漢語的參與者平均得分為49.2%，明顯低於說英語參與者的73.5%。也就是說，說中文的人70%的時候還會把SAPGAN的畫誤認為是人，而整體水平是55%。

顯然，無論是否熟悉中國文化，參與者都難以區分畫作的來源，由此也可見SAPGAN模型所生成畫作的真實感。

更令人驚訝的是，在做這項研究之前，Alice從未上過機器學習課程，作為一個新手，她反而找到了更有趣的角度去處理問題，得出這樣一項創新研究成果。

論文連結：

https://arxiv.org/pdf/2011.05552.pdf

數據集連結：

https://github.com/alicex2020/Chinese-Landscape-Painting-Dataset

相關焦點

  • AI生成中國山水畫!普林斯頓姑娘本科畢業作品,線條筆觸騙過半數...
    但是正如東西方巨大的文化溝壑一樣，在藝術和技術結合的領域，AI似乎也更偏向西方，我們看到不少AI生成寫實主義、後現代，甚至是抽象主義的作品，但是卻很少能看到AI在傳統東方藝術上的表現。終於，一位普林斯頓大學的本科學生Alice Xue將目光投向了中國山水畫。
  • 外國姑娘的本科畢業論文,通過AI生成山水畫,騙過了專業繪畫家
    隨著時代的發展，中國山水畫越來越受到國外學者的關注，這已經是不爭的事實了。尤其是在最近一段時間當中，一位普林斯頓大學的本科畢業生，居然用AI圖像識別技術，生成了一幅完美的中國山水畫，無論是精巧的線條筆觸，或者是濃淡相宜的著色，均能騙過專業的繪畫家，引起了大家的普遍關注。由此也可以看出，中國山水畫的博大精深，實在太讓人嘆為觀止了。
  • 老外大學生發明AI模型:可快速生成中國山水畫 人眼難辨真假
    近日，普林斯頓大學本科生Alice Xue的畢業論文，獲得了普林斯頓2020優秀畢業論文獎。在畢業論文中，Alice Xue介紹了他開發的一款名為SAPGAN（Sketch-And-Paint GAN)的AI模型，利用這一模型，可快速生成人類難以分辨真假的中國山水畫。
  • AI生成中國山水畫!普林斯頓姑娘本科畢業作品,線條筆觸能騙過你嗎
    日前，一位普林斯頓大學的本科學生Alice Xue將目光投向了中國山水畫。在她的畢業論文中，她開發了一款名為SAPGAN（Sketch-And-Paint GAN)的AI模型，該模型可以生成傳統的中國山水畫，為此她也獲得了普林斯頓2020優秀畢業論文獎。
  • AI 生成中國山水畫,你能認得出真假嗎?
    用戶只需要簡單的勾畫幾條線條輪廓，便會自動生成美麗的風景圖片。這款 AI 使用的技術是生成對抗網絡（GAN），也是一種深度學習模型，現在被廣泛用於圖像生成。終於，一位普林斯頓大學的本科學生 Alice Xue 將目光投向了中國山水畫。
  • GAN生成式對抗網絡及應用詳解
    這個想法最初是由 Ian Goodfellow 提出的，他曾就職於蒙特婁大學的 Google Brain 團隊，現就職於 OpenAI 團隊。什麼是GANGAN 的關鍵過程很容易理解，就好像製作贗品的過程一樣，贗品製作是仿造未被原創者授權藝術品的過程，原創者通常是更有名的藝術家。
  • 經典GAN實戰教程:理解並運行自己的GAN生成手寫數字
    而生成網絡則要儘可能地欺騙判別網絡。兩個網絡相互對抗、不斷調整參數，最終目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。一句話解釋：G要騙過A。、「這些生成的圖像是否足夠多樣化？」而且GAN的黑盒屬性使得我們並不清楚模型的哪些組件對學習過程和結果質量造成影響。
  • 輕鬆構建 PyTorch 生成對抗網絡(GAN)
    生成對抗網絡（GAN）是一種生成式機器學習模型，它被廣泛應用於廣告、遊戲、娛樂、媒體、製藥等行業，可以用來創造虛構的人物、場景，模擬人臉老化，圖像風格變換，以及產生化學分子式等等。主要內容課題及方案概覽模型的開發環境生成對抗網絡模型模型的訓練和驗證結論與總結課題及方案概覽下面顯示的兩組手寫體數字圖片，您是否能從中夠辨認出由計算機生成的『手寫』字體是其中哪一組？
  • 精準生成Fake人臉!Amazon全新GAN模型給你全方位無死角美顏
    Amazon One團隊最近提出了一個可以對生成的圖像進行顯式屬性控制的GAN訓練框架，能夠通過設置確切的屬性來控制生成的圖像，如年齡、姿勢、表情等。這篇論文目前已經發布在arxiv上，並且在Google網盤中有相應的補充說明。目前大多數編輯GAN生成的圖像的方法都是通過利用隱空間解構屬性來實現部分控制，這些屬性是在標準GAN訓練後隱式獲得的。
  • 基於深度學習的三大生成模型:VAE、GAN、GAN的變種模型
    這種生成模型相當於構建了圖像的分布，因此利用這類模型，我們可以完成圖像自動生成（採樣）、圖像信息補全等工作。在深度學習之前已經有很多生成模型，但苦於生成模型難以描述難以建模，科研人員遇到了很多挑戰，而深度學習的出現幫助他們解決了不少問題。本章介紹基於深度學習思想的生成模型——VAE和GAN，以及GAN的變種模型。
  • 能生成Deepfake也能診斷癌症,GAN與惡的距離
    在蒙特婁一個酒吧，一些朋友希望他能幫忙看看手頭上一個棘手的項目：計算機如何自己生成圖片。研究人員已經使用了神經網絡（模擬人腦的神經元網絡的一種算法），作為生成模型來創造合理的新數據。但結果往往不盡人意。計算機生成的人臉圖像通常不是模糊不清，就是缺耳少鼻。
  • 美國十大名校之一——普林斯頓大學
    我是在北美生活的管大大，在哪個國家都有很多優秀的大學，美國也不例外，今天我給大家介紹一下美國普林斯頓大學。普林斯頓大學選擇這裡上學的國際學生會十分幸運，不同於其他美國大學，普林斯頓大學的學生不分國籍、種族、性別都有享受學生經濟援助的權利。學校超過半數的學生都收到了不同程度的經濟幫助。
  • VAE、GAN、Info-GAN:全解深度學習三大生成模型
    在深度學習之前已經有很多生成模型，但苦於生成模型難以描述難以建模，科研人員遇到了很多挑戰，而深度學習的出現幫助他們解決了不少問題。本章介紹基於深度學習思想的生成模型——VAE和GAN，以及GAN的變種模型。本節將為讀者介紹基於變分思想的深度學習的生成模型——Variational autoencoder，簡稱VAE。
  • 在TensorFlow中對比兩大生成模型:VAE與GAN
    本文中，作者在 MNIST 上對這兩類生成模型的性能進行了對比測試。項目連結：https://github.com/kvmanohar22/Generative-Models本項目總結了使用變分自編碼器（Variational Autoencode，VAE）和生成對抗網絡（GAN）對給定數據分布進行建模，並且對比了這些模型的性能。
  • GAN快速入門資料推薦:17種變體的Keras開原始碼,附相關論文
    夏乙 編譯整理量子位 出品 | 公眾號 QbitAI圖片來源：Kaggle blog從2014年誕生至今，生成對抗網絡（GAN）始終廣受關注，已經出現了200多種有名有姓的變體。在這類GAN變體中，生成器生成的每張圖像，都帶有一個類別標籤，鑑別器也會同時針對來源和類別標籤給出兩個概率分布。論文中描述的模型，可以生成符合1000個ImageNet類別的128×128圖像。
  • GAN(生成對抗網絡)萬字長文綜述
    其他常見生成式模型自回歸模型：pixelRNN與pixelCNN自回歸模型通過對圖像數據的概率分布 Pdata(x) 進行顯式建模，並利用極大似然估計優化模型。具體如下：GAN 的思路比較粗暴，使用一個判別器去度量分布轉換模塊（即生成器）生成分布與真實數據分布的距離。 2. VAE 則沒有那麼直觀，VAE 通過約束隱變量 z 服從標準正態分布以及重構數據實現了分布轉換映射 X=G(z)。生成式模型對比 1. 自回歸模型通過對概率分布顯式建模來生成數據；2.
  • 不僅僅是生成二次元萌妹子,來看 GAN 模型還有哪些有趣應用吧!
    它的全稱是 Generator adversarial networks，中文是生成對抗網絡，是一種生成式模型，由 good fellow 在 14 年提出，近四年來被 AI 研究者瘋狂研（guan）究（shui），更有大神建立一個 GAN zoo，收集了上百種不同的GAN：https://github.com/hindupuravinash/the-gan-zoo
  • 萬字綜述之生成對抗網絡(GAN)
    文章目錄如下：GAN的基本介紹生成對抗網絡（GAN，Generative Adversarial Networks）作為一種優秀的生成式模型，引爆了許多圖像生成的有趣應用。其他常見生成式模型自回歸模型：pixelRNN與pixelCNN自回歸模型通過對圖像數據的概率分布 Pdata(x) 進行顯式建模，並利用極大似然估計優化模型。具體如下：上述公式很好理解，給定 x1,x2,...
  • 涵蓋18+ SOTA GAN實現,這個圖像生成領域的PyTorch庫火了
    我們可以將 GAN 分為兩類，一類是無條件下的生成；另一類是基於條件信息的生成。近日，來自韓國浦項科技大學的碩士生在 GitHub 上開源了一個項目，提供了條件 / 無條件圖像生成的代表性生成對抗網絡（GAN）的實現。
  • 【專知薈萃11】GAN生成式對抗網絡知識資料全集(理論/報告/教程/綜述/代碼等)
    參考連結：[https://github.com/soumith/ganhacks]The GAN Zoo千奇百怪的生成對抗網絡，都在這裡了。/soumith/ganhacks]OpenAI生成模型參考連結：[https://blog.openai.com/generative-models/]用Keras實現MNIST生成對抗模型參考連結：[https://oshearesearch.com/index.PHP/2016/07/01/mnist-generative-adversarial-model-in-keras