賈浩楠 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
這兩天，Reddit上一則關於視頻風格遷移的帖子火了，發布僅一天就衝上了機器學習社區的熱榜第一。
明豔、華麗的Demo引起了網友們驚嘆。
著名的恐怖片《閃靈》經過處理後，變得色彩明豔，有了漫畫風格：
而電影《低俗小說》，處理效果像極了天主教堂五彩繽紛的玻璃窗：
大家紛紛留言追問「是不是對CNN的層過濾器進行過修改」？
但樓主卻說「我不是程式設計師，也不清楚CNN是什麼東西…….」
這就有點不可思議了，一個沒接觸過機器學習的小白，是怎麼做到效果這麼好的視頻風格遷移呢？
「一鍵式」視頻風格遷移工具
Reedit熱帖的樓主，是一位純藝術從業者，沒學過計算機和編程。
但是他卻卻藉助一款「一鍵式」的傻瓜工具，輕鬆完成了視頻風格遷移。
這款工具名叫Deep Dream Generator。
熟悉圖像風格遷移的讀者可能對Deep Dream很熟悉，早在2015年穀歌就公布了這個軟體。
最早Deep Dream是為2014年ImageNet視覺識別挑戰賽而開發的，主要的目的也是識別圖像中的人臉和其他目標。
但是隨後有人發現，經過訓練的Deep Dream能夠反向運行，將給定圖片的像素特徵整合到目標中。
隨後，Deep Dream開始在藝術創作圈流行，由它生成的風格遷移圖像頗具夢幻色彩，所以被叫做「Deep Dream」。
而製作這個工具的團隊將Deep Dream做成了簡單易上手，不需要任何計算機知識，能夠直接在網頁使用的版本。
使用很簡單，只需要上傳目標圖像和「風格」，一鍵點擊，就能生成。
生成的圖片效果完全由上傳的「風格」決定：
有了這工具，就算是既不懂藝術，也不懂編程的小白，也能批量生產藝術作品。
視頻風格遷移的兩種方法
儘管Deep Dream Generator官網上並沒有給出任何技術說明，但Deep Dream早已開源，並且風格遷移已經是深度神經網絡應用中輕車熟路的一個領域了。
一般常見的風格遷移遷移算法由兩種基本思路，一是優化法，第二種是在它之上優化而來的前饋法。
優化法
在這種方法中，其實並沒有使用真正意義上的神經網絡。
任務中並沒有訓練神經網絡來做任何事情。只是利用反向傳播的優勢來最小化兩個定義的損失值。
反向傳播到的張量是希望實現的圖像，從這裡開始我們稱之為「復刻」。希望轉移其風格的藝術品，稱為風格圖像。而要將風格轉移到其中的圖片，稱為內容圖像。
「復刻」被初始化為隨機噪聲。然後與內容和風格圖像一起，通過一個預先訓練過的圖像分類網絡的幾個層。
算法使用各個中間層的輸出來計算兩種類型的損失：風格損失和內容損失。在風格上，「復刻」與風格圖像有多接近，在內容上就有有多接近。
△內容損失公式
然後通過直接改變「復刻」，將這些損失降到最低。
經過幾次迭代，「復刻」就能夠具備風格圖像的風格和內容圖像的內容。它是原始內容圖像的風格化版本。
前饋法
優化法的缺點是運算成本較高，處理時間也比較長。
那麼有沒有好的方法能夠直接利用深度神經網絡的特性，減輕開發者的負擔呢？
前饋法的本質，是創建一個未經訓練的圖像轉換網絡，它的功能是將內容圖像轉換為對「復刻」的最佳猜測。
然後將圖像轉換網絡的輸出結果作為「復刻，與內容和風格圖像一起通過預訓練圖像分類網絡來計算內容和樣式損失。
最後，為了減少損失，需要將損失函數反向傳播到圖像轉換網絡的參數中，而不是直接到「復刻結果中。
任意風格遷移
雖然前饋法可以立即生成風格化的結果，但它只能對一個給定的風格圖像進行復刻。
是否可以訓練一個網絡可以接受任何風格圖像，並從這兩張圖像中產生一個風格化的結果呢？
換句話說，能不能做出一個真正任意的風格轉移網絡？
幾年前，有研究人員發現，圖像轉換網絡中的實例歸一化層是唯一重要的代表風格的層。
如果保持所有卷積參數不變，只學習新的實例正則化參數，就可以實現在一個網絡中表示完全不同的風格。
來自康奈爾大學的一個團隊首次將這個想法變成現實。他們的解決方案是使用自適應實例歸一化（Adaptive Instance Normalization），使用編碼器-解碼器架構從風格圖像中生成Instance Norm參數，取得了相當好的效果。
當然，以上介紹的這三種方法都要求一定的編程計算機基礎，但如果你只是想試玩Deep Dream Generator，可以直接點擊下方傳送門：
https://deepdreamgenerator.com/generator
參考連結
https://arxiv.org/abs/1703.06868
— 完 —
本文系網易新聞•網易號特色內容激勵計劃籤約帳號【量子位】原創內容，未經帳號授權，禁止隨意轉載。
原標題：《不會編程也能做這麼酷炫的視頻風格遷移？這個工具衝上Reddit熱榜，還能在線試玩》
閱讀原文