神經風格遷移算法:讓人人能變成梵谷

2021-01-15 腦極體

隨著人工智慧越來越全能,TA們似乎已經能接替我們完成一切工作,或許未來真的像某位大佬說的一樣,人類只負責研究藝術和哲學。

不過目前看來,藝術這塊陣地也快要失守了。

用過Prisma的應該都知道,把照片變成名畫風格如今只是動動手指的事情。事實上,只要有一兩張樣本,神經網絡可以迅速的學會各種風格,這種技術被稱為「神經風格遷移」。

如何實現神經風格遷移

卷積神經網絡將圖像分割為「內容」和「風格」,在抓取時,高層神經網絡抓取了圖片的風格,比如色彩和排列。而底層神經網絡抓取的則是圖像的內容,也就是圖像的細節。

這只是神經風格遷移的第一步,在抓取了風格之後,還要將風格迭代到需要改變的圖片上。

風格迭代通常有兩種方式,一種基於圖片,直接更新迭代圖片像素,最終實現風格的遷移。很多算法會在過程中計算最大均值差,測量風格圖像和內容圖像之間的差異。讓兩種圖像「對齊」,從而減少圖像迭代時造成的損失和誤差。

另一種則是基於模型迭代的,當需要用某一種風格迭代大量圖像時,可以訓練前饋網絡,使用梯度下降,通過迭代式地更新模型來優化網絡模型。

神經風格遷移應用,不僅僅是畫作

如果你認為神經風格遷移只是一個升級版的photoshop濾鏡,那就大錯特錯了,很多案例表明,這一技術正在被應用于越來越多的領域之上。

比如Flipboard軟體工程師曾經發布過一個將神經風格遷移應用在漢字字體上的項目。

提供2000個左右的樣本字體,讓神經網絡識別出偏旁部件和筆觸風格的區別,最終就能實現出字體之間的轉化。

又比如在暮光之城女主角克裡斯汀·斯圖爾特拍攝的電影《Come swim》中,也利用了神經風格遷移技術將印象派繪畫風格和電影畫面相融合。就此,克裡斯汀還寫了一篇題為「運用神經風格轉移實現印象派風格之在電影「Come Swim」中的應用」的論文。

如上圖一樣,從畫作中提取風格,再通過算法迭代渲染到畫面之上。不過在論文中基本沒有提到成本,尤其是時間成本問題。《Come swim》中的情節是一半現實(未經處理過的畫面)和一半夢境(經由神經風格遷移處理過的畫面)。從拍攝上來說自然是直接渲染更加方便,如果是完全的動畫電影,這種先拍攝再渲染的方式是否比直接電腦繪製更有性價比還值得商榷。

神經風格遷移真的能「替代」藝術嗎?

其實說了這麼多,多少有點聳人聽聞的嫌疑。從藝術的角度來講,神經網絡遷移只不過是另一種「印刷術」,過去的印刷術是在複製圖像,而神經網絡遷移是在複製風格。

而且神經網絡遷移是沒有「創作」能力的,如果不給TA需迭代的圖像內容,TA只能產出一些無意義的、混亂的像素點。雖然目前有人利用圖像語義布局技術讓AI創造出全新的畫面,但對於AI來說,這只是一種模仿,在創造時沒有付諸情感,可能和我們定義中的藝術還有著不小的差距。

(作畫機器人)

可神經風格遷移能做到的,卻是在藝術商業化過程中為人們節約大量的時間。

比如在字體項目中,藝術創作者只需創造少量字的字體,機器則負責完成剩下的工作。又比如以《Cool swim》為代表的影視後期工作,只需要幾張畫作確立風格,就能完成對整部電影的渲染。

目前看來,神經風格遷移最適合應用在動畫產業上。比如新海誠的作品,就是出了名的和實景高度相似,色彩風格顯著。之前還有照片後期產品推出過新海誠風格的濾鏡,和風景照結合,和動畫中的畫面非常相似。而神經網絡遷移,則可以更好的完成這項工作。包括對動畫原稿的上色等等,都能極大的提高產業工作效率。

這也給藝術創作提出了一個全新的問題,我們是否應該為「風格」設立所有權?畢竟利用神經網絡遷移,人人都可以以假亂真的模仿梵谷。如果一幅畫作由我原創,卻經由他人風格迭代處理,那這幅畫的作者究竟應該是我還是別人,又或者該屬於算法的開發者?在模仿的成本極低時,又該如何為模仿和抄襲劃分界限?

當然,這些都是後話。科技的發展,除了為人類生活帶來便利之外,還在不斷刷新著我們對各種事物的定義。像是一百年前我們認為藝術只能誕生於畫布和顏料中,而如今數位板、Photoshop都是創造藝術的工具。人工智慧不會從人類手中奪走創作權,更不會「消滅」藝術,只會將這項美妙的事業帶上更高的境界。

相關焦點

  • 神經風格遷移指南(第一部分)
    - 第一部分神經風格遷移學說在本系列中,我們會從神經風格的基礎開始,你將從中學到一種自下而上(從基礎開始)的方法。目前,實現這一目標的先決條件如下: Python基本理解卷積神經網絡的工作原理.如果你對這些知識(卷積神經網絡)不是很了解,我們建議你看一下這篇文章卷積神經網絡.那麼,風格遷移是什麼意思呢?在過去幾年裡,有一些APP湧現出來,例如Prisma等等,可以把照片風格化,看起來就像是一幅畫一樣。這些為你提供非常多漂亮的藝術風格,就像是梵谷所畫的《星夜》。
  • 不會編程也能做酷炫視頻風格遷移?這個工具衝上Reddit熱榜
    使用很簡單,只需要上傳目標圖像和「風格」,一鍵點擊,就能生成。生成的圖片效果完全由上傳的「風格」決定:有了這工具,就算是既不懂藝術,也不懂編程的小白,也能批量生產藝術作品。視頻風格遷移的兩種方法儘管Deep Dream Generator官網上並沒有給出任何技術說明,但Deep Dream早已開源,並且風格遷移已經是深度神經網絡應用中輕車熟路的一個領域了。一般常見的風格遷移遷移算法由兩種基本思路,一是優化法,第二種是在它之上優化而來的前饋法。
  • 不會編程也能做這麼酷炫的視頻風格遷移?這個工具衝上Reddit熱榜...
    生成的圖片效果完全由上傳的「風格」決定:有了這工具,就算是既不懂藝術,也不懂編程的小白,也能批量生產藝術作品。視頻風格遷移的兩種方法儘管Deep Dream Generator官網上並沒有給出任何技術說明,但Deep Dream早已開源,並且風格遷移已經是深度神經網絡應用中輕車熟路的一個領域了。
  • 幾行代碼教你在Pytorch和Python中實現神經風格遷移
    全文共5146字,預計學習時長10分鐘風格遷移是計算機視覺的一個激動人心的子領域,目的是將一幅圖像的風格遷移到另一幅圖像上,稱為內容圖像。這項技術支持結合不同圖像的內容和風格合成新圖像。在這個子領域已經取得了一些進展,但最顯著的初步工作(神經類型遷移)是Gatys等人在2015年完成的。以下是應用這種技術的效果圖。
  • 一種利用兩個輕型的卷積神經網絡來學習獲取任意遷移矩陣的方法
    一種利用兩個輕型的卷積神經網絡來學習獲取任意遷移矩陣的方法 李倩 發表於 2018-08-31 11:16:03 藝術風格轉換算得上是AI最有趣的應用之一了,你可以將梵谷的名畫風格添加到自己的照片中,也可以個自己的頭像來一幅映像派的油畫
  • 換臉新潮流:風靡全球的人臉風格遷移技術引
    基於GAN的方法生成的換臉圖片相比3D方法更加真實自然,但是很難產生高清的換臉效果,另外源圖片姿態比較大時很難兼顧姿態的一致性和換臉的ID遷移能力。BIGO的算法團隊經過探索,提出了基於風格遷移+ID注入的FaceMagic方案,在生成高清自然人臉的同時能夠保持人臉姿態、屬性一致。目前FaceMagic已在線上運營,每日用戶使用量過百萬級。
  • OpenCV DNN 模塊-風格遷移
    本文們就以風格遷移為例,來看一下OpenCV DNN模塊的用法。本文引用地址:http://www.eepw.com.cn/article/202007/415158.htm相比於複雜而耗時的模型訓練過程,模型推理就顯得簡單多了。簡單來說,過程就是:加載模型輸入圖像預處理(跟訓練過程一樣的方式,增強除外)模型推理1.
  • 風格遷移新方法:微軟與上海交大提出深度圖像類比技術
    最近這一領域的研究集中於深度卷積神經網絡,除康奈爾大學和Adobe 的真實照片風格轉換以外,UC Berkeley 推出的手繪紋理生成模型也引起了很多人的關注。它們隨著社交媒體的發展而變得廣為人們所知——因為圖片分享是互動的重要組成部分。Prisma 和 Facetune 等應用就成功利用了這種吸引力。來自微軟和上海交大的廖菁等人最近推出了又一種圖像風格轉換方法。
  • 神經網絡算法原理_神經網絡算法的應用_神經網絡算法實例說明
    神經網絡的用途非常廣泛,在系統辨識、模式識別、智能控制等領域都能一展身手。而現在最吸引IT巨頭們關注的就是神經網絡在智能控制領域中的自動學習功能,特別適合在需要代入一定條件,並且信息本身是不確定和模糊的情況下,進行相關問題的處理,例如語音識別。
  • ...計算機視覺的廣泛應用:網絡壓縮、視覺問答、可視化、風格遷移等
    ▌ 紋理生成(texture synthesis)和風格遷移(style transform) 給定一小張包含特定紋理的圖像,紋理合成旨在生成更大的包含相同紋理的圖像。給定一張普通圖像和一張包含特定繪畫風格的圖像,風格遷移旨在保留原圖內容的同時,將給定風格遷移到該圖中。特徵逆向工程(feature inversion) 這兩類問題的基本思路。
  • 深度學習:神經網絡算法的昨天、今天和明天
    但是,深度學習還沒能全方面超越人類。相反,它的工作完全依賴於人類對算法的設計。深度學習從誕生到爆發用了大約五十年。從其發展歷程,我們可以窺見計算機科學家們的步步巧思,並從中探討其可能的發展方向。一、什麼是深度學習深度學習就是人工神經網絡(Artificial Neural Network)。
  • 谷歌推出Art Transfer照片藝術風格轉換工具
    比如近日推出的一款名叫 Art Transfer 的工具,便可將網友們的照片轉換成特定藝術家的風格。該公司在一篇博客文章中稱:其並非在原始圖片上創建一個疊加圖層,也不是將藝術作品的圖片混雜糅合到一起。(圖自:Google Blog)據悉,Art Transfer 能夠以用戶選擇的特定藝術風格為靈感,對原始照片展開獨特的算法再創造。
  • 好玩│一次性紙杯變成兵馬俑,舊膠捲拼成梵谷自畫像
    用廢舊一次性吸管「畫」成的齊天大聖,用廢舊杯子、膠捲拼成的梵谷自畫像,用回收的一次性紙杯做成的兵馬俑,用回收的飲料瓶做成的桌椅組合藝術家們仿佛有「魔法」,把生活中的廢棄物變成了藝術品,讓商場變成了藝術中心。
  • 你的自拍和名畫之間 只隔幾層人工神經網絡
    要緊的是,Prisma可以把你隨手拍下的平凡生活場景脫胎換骨,使其搖身變成與這些名畫風格類似的藝術作品,而且立等可取。除了名家名作,Prisma裡還有素描、馬賽克、日本漫畫,30多種濾鏡任你挑選。你要做的只是上傳或拍一張照片,然後選擇自己喜歡的濾鏡風格。
  • | 人人都是產品經理
    現在搞AI的公司,不管用什麼樣的算法,都想讓自己跟深度學習扯上點關係,因為這樣好像顯得逼格夠高。目前比較前沿的語音交互、計算機視覺等,就連神壇的Alpha Go的算法都是用深度學習。那究竟深度學習是什麼?到底有多強大?要怎麼實現?本文就跟大家一起討論下。
  • BAIR提出MC-GAN,使用GAN實現字體風格遷移
    選自BAIR作者:Samaneh Azadi機器之心編譯參與:Nurhachu Null、路近日,BAIR 發布博客提出 MC-GAN(Multi-Content GAN),可以快速生成相同風格的字體。左圖:已有的一張電影海報;右圖:使用 MC-GAN 生成的新電影名稱。
  • 程式設計師面試常問算法:不用高等數學講明白神經網絡
    生物神經網絡通常神經網絡可以分兩種,一是生物神經網絡,一是人工神經網絡。生物神經網絡:一般指生物的大腦神經元、細胞、觸點等組成的網絡,它產生生物的意識,幫助其進行思考和行動。人工神經網絡:它是一種模仿動物神經網絡行為特徵的算法數學模型。二、算法思維分析這是一道考察神經網絡基本原理的題目,一般來說生物神經網絡和人工神經網絡基本沒關係,但是它有助於理解人工神經網絡。
  • 訓練神經網絡的五大算法
    訓練神經網絡的五大算法 Alberto Quesada 發表於 2017-11-16 15:30:54   神經網絡模型的每一類學習過程通常被歸納為一種訓練算法。
  • 梵谷筆下的柳樹,美極了
    夕陽下的波拉德柳樹 荷蘭 梵谷 油畫波拉德柳樹 荷蘭 梵谷 油畫此畫又名《剪過枝的柳樹》。梵谷這這件《剪過枝的柳樹》在紐南時期的作品中這種風格似乎不多見。作品中畫有幾株被剪去枝條的柳樹,柳樹下有一個人仿佛在做某種儀式或者在祈禱。
  • 誰說遺傳算法只能用來湊論文?它還有好多有趣的玩法
    什麼是遺傳算法?簡單來說,遺傳算法是一種隨機搜索算法,主要目的是用來優化。和自然界的遺傳一樣,遺傳算法秉持的是適者生存、優勝劣汰。通過選擇、交叉和變異,不斷迭代出更優秀的解法。通過編碼,將解空間變成編碼空間,從中選擇當前較為優秀的解當做「父母」,下一步則是將多種解的特徵進行交叉,誕生下一代,最後再經過變異成為「子嗣」。