日前,一位普林斯頓大學的本科學生Alice Xue將目光投向了中國山水畫。
在她的畢業論文中,她開發了一款名為SAPGAN(Sketch-And-Paint GAN)的AI模型,該模型可以生成傳統的中國山水畫,為此她也獲得了普林斯頓2020優秀畢業論文獎。
論文提到,在一項242人的圖靈視覺測試研究表明,SAPGAN創作出的畫作被誤認為人類藝術品的頻率高達55%,顯著高於基線GAN模型創作的畫作。
和人類一樣,先畫草圖後著色
傳統中國山水畫在繪製過程中,一般有勾、皴、點、染等步驟,顧名思義,就是先勾畫出大致輪廓,再進行渲染。
AIice提出的端到端生成中國山水畫無條件輸入模型遵循的也是這個步驟。為了實現這一過程,AIice構建了兩個模型:
Stage I: SketchGANStage II: PaintGANSketchGAN從樣本圖像中採集高解析度的邊緣圖,而PaintGAN是根據SketchGAN進行「翻譯」創作,從而生成一幅完整的山水畫。
中國人反而更容易誤判
實驗的結果也很驚人。
在最後進行測評時,242名參與者中,模型生成的畫有一半以上(55%)被誤認為是人類作品。
視覺圖靈測試的分數分布,要求參與者判斷藝術品是由人類還是計算機製作的(平均值= 70.5%)
在「審美愉悅」、「藝術構圖」、「清晰」和「創造力」方面,SAPGAN模型在所有藝術類別中的評分始終高於基線。SAPGAN與人類繪畫最大的區別是「清晰」。
讓人匪夷所思的是,中國人可能更容易被SAPGAN欺騙。作為母語為漢語的人,多少是見過幾幅山水畫的,但是在判別一幅山水畫是否為SAPGAN所作時,中國人可能更容易被欺騙。
作者比較了母語為漢語和英語的參與者的結果,看看文化接觸是否能讓中國參與者正確判斷這些畫。然而,說漢語的參與者平均得分為49.2%,明顯低於說英語的考生的73.5%。
也就是說,說中文的人70%的時候還會把SAPGAN的畫誤認為是人,而整體水平是55%。顯然,不管對中國文化的熟悉程度如何,參與者都很難區分繪畫的來源。
自己收集兩千多張山水畫數據,GitHub上公開
文章提出的模型是在一個新的中國傳統山水畫數據集上訓練的,這一數據集不是來自百度或者谷歌,而是由作者本人收集。
AIice表示,目前的山水畫數據集存在不唯一性和圖像質量和數量不足的問題,為了促進這一領域的發展,Alice本人建立了2192幅高質量中國傳統山水畫組成的新數據集,這些山水畫來自普林斯頓藝術博物館藏品。
目前,這些有價值的繪畫在很大程度上還沒有被生成創作研究觸及,作者也在GitHub上發布了這一數據集供公眾使用。
Alice在接受學校採訪時說,普林斯頓大學美術館有一個令人驚異的開放式數字收藏中國畫,這對我的數據集很有價值,但不幸的是,大多數研究人員沒有充分利用它。
寫論文之前從沒上過機器學習課,準備去Facebook工作
看到這裡,你可能覺得Alice是一位「資深程式設計師」了。但是她表示,「我寫這篇論文的時候從來沒有上過機器學習課程,所以我經常被這樣一個問題弄得不知所措: 像我這樣的新手能為已經存在的創新研究做些什麼。但是我發現總是有一個有趣的角度來處理一個問題,因為一個人的興趣和技能是他們獨一無二的。」
在談到對其他的學生建議時,Alice說,將數位化人文融入你的工作中是自然而然的事。找到你感興趣的東西——無論是19世紀的文學作品還是爵士樂——總有一種方法可以從中收集數據,用來分析或製作與之相關的技術工具。
談到自己未來的規劃,Alice表示自己準備去Facebook工作,成為一名軟體工程師。
文章來源:大數據文摘(ID:BigDataDigest)等
本文為錢江晚報原創作品,未經許可,禁止轉載、複製、摘編、改寫及進行網絡傳播等一切作品版權使用行為,否則本報將循司法途徑追究侵權人的法律責任。