馬裡蘭大學和Adobe公司研發出了一個新的機器學習系統LPaintB,它能夠在一分鐘內繪畫出達文西、梵谷、維梅爾風格的畫作,並且它的作品都具有很高的真實性和信服力。
6月19日消息,近日,馬裡蘭大學和Adobe研究所的研究人員在Arxi.org上新發表了一篇論文,論文表明,他們研發出了一種新的機器學習系統——LPaintB,它能夠通過自我監督學習,在不到一分鐘的時間內手繪達文西、梵谷、維梅爾風格的畫作。
其研究論文名為《LPaintB:從自我監督中學習繪畫(LPaintB: Learning to Paint from Self-Superision)》 ,於2019年6月17日提交。
值得一提的是,在2018年舉辦的國際機器人藝術大賽中,冠軍CloudPainter機器人的作品使人十分印象深刻,它採用了機器學習技術,能使用多種抽象手法來繪製畫作。
這也向大家證明了,算法在繪畫、素描和雕刻方面都具有人性化的精準度。
一、通過自我監督學習進行訓練
研究論文表明,一方面,隨著非真實感渲染技術的發展,包括基於壁畫的渲染、繪畫渲染、特殊設計以及手工設計的方法,都可以通過應用啟發的方式來模擬繪畫過程。
另一方面,這些算法生成的畫作雖然都非常真實,但研究人員很難將它們擴展到新的或不可見的樣式。因此,研究人員選擇重點構建一個智能繪畫代理,它可以通過一系列繪畫動作,用相同或轉換的樣式向人們再現參考圖像。
在LPaintB的研發過程中,研究人員利用了一種叫自我監督學習的方法。在這種方法中,未標記的數據能與少量標記數據結合使用,以提高學習的準確性,從而使系統能在有限數量的參考圖像上從頭開始訓練代理。
此外,研究人員通過對系統的動作狀態進行數學建模,例如長度、方向等畫筆配置和畫筆大小,並將失敗的目標狀態替換為最終狀態,使系統生成一個具有正向獎勵的配對語料庫。同時,再將生成的語料庫提供給人工智慧模型,使它學會用特定的藝術風格來繪製參考圖像。
▲頂部是參考圖像,底部是AI代理的圖像
二、一分鐘內創作1000×800像素圖像
這個研發過程並不是一帆風順的。
研究人員表示,在通常情況下,系統採樣的行為中只有一小部分具有正向獎勵。但他們用強化學習技術解決了這個問題,該技術能夠使用目標狀態作為配對數據來訓練策略。
但是,通過這項技術生成的策略並不強大,因為用於訓練模型的配對數據只包括具有正向獎勵的行為以及一系列連續行動的結果,並且前者還會讓模型很難從產生負向獎勵的不良行為中恢復過來。
解決這一問題需要讓模型再一次進行強化學習,讓它為有助於泛化模型的行為添加噪聲,並通過獎勵優化了模型的行為。
研究人員經過這一些列的測試和調整,最終使這個人工智慧框架可以通過描述筆畫大小、顏色、和位置信息的參數來執行繪畫動作,並能相應地更新畫布,使用獎勵函數來評估當前狀態和目標狀態之間的距離。
為了編寫訓練數據集,研究人員還從不同比例的參考圖像中隨機抽出特定風格的補丁,並將補丁採樣到固定大小。接著,他們再將這些數據輸入模型,經過一個小時的訓練後,系統能夠在一臺配置16核處理器和英偉達GTX 1080圖形晶片的電腦上重新描繪一副1000×800像素的圖像。
值得一提的是,在系統描繪圖像的過程中,它的畫筆數為2萬,用時不到一分鐘。
三、其他人工智慧在藝術領域的成果
除了馬裡蘭大學和Adobe研發出的LPaintB系統之外,微軟的微軟小冰也具有強大的繪畫能力。
微軟小冰運用了生成式對抗網絡算法(GAN),在學習了人類歷史上236位頂尖畫家的繪畫作品後,進行了長達22個月的作品訓練,最後能通過大量激發源來進行繪畫。
不僅如此,微軟小冰還在今年以「夏語冰」的化名,成功通過中央美術學院碩士畢業生的畢業考試,其作品也在中央美術學院的2019屆研究生畢業作品展上展出。
另外,在模型的訓練方面,LPaintB系統的研究人員表示,訓練模型的泛化高度依賴於訓練數據,並且他們的訓練方法都是基於一個相當基礎的繪畫環境。同時他們還表示,系統的自我監督和強化學習的結合,極大地提高了策略的效率和性能。
在未來的工作中,研究團隊將繼續整合系統的筆畫參數,包括筆畫的大小、顏色以及位置等各個方面,並構建一個基於模型的強化學習框架,該框架可以添加到繪畫模擬器中。
結語:AI繪畫將為設計領域提供源源不斷的創意
LPaintB系統最大的亮點,就在於它能通過自我監督學習的方式,在一分鐘內描繪出一副1000×800像素圖像,並且描繪的作品也極具達文西、梵谷、維梅爾風格的藝術風格。
可見,從CloudPainter機器人到微軟小冰,再到LPaintB系統,如今的人工智慧不僅在工業、醫療等領域有著豐富的應用,它在藝術領域也開始大施拳腳。
今後,在人工智慧進一步商業化落地的進程中,繪畫機器人是否能打破各個行業中隨時會產生的設計瓶頸,在設計領域為人們帶源不斷的藝術創意,這也是值得我們所期待的。
如果您喜歡此類文章,請關注或使用評論功能↓↓
聲明:轉載此文是出於傳遞更多信息之目的。若有來源標註錯誤或侵犯了您的合法權益,請作者持權屬證明與本網聯繫,我們將及時更正、刪除,謝謝。