成對抗網絡圖像處理工具 CycleGAN

2021-01-20 雲端智慧機器人

CycleGAN 是一個圖像處理工具,可將繪畫作品生成照片。可以把它理解為是一個 「反濾鏡」,該工具來自來自加州大學伯克利分校。

將畫作還原成照片

當然,把畫作轉化成照片是一個較小的需求,CycleGAN 利用這項技術實現了更為實用的功能:將夏天轉換成冬天,或將普通的馬轉化成斑馬。


與其它人工智慧繪畫不同,CycleGAN 的研究團隊試圖建立一個可雙向轉化不丟失信息的雙向算法。在以往的人工智慧繪畫,尤其是將照片轉化成繪畫的 App 裡,人工智慧其實忽略了很多無法與算法對應的細節,使得細節豐富的照片被轉化成細節沒那麼豐富並帶有風格化特徵的圖片。

但在 CycleGAN 裡細節被要求完全保留,儘管算法找不到可以對應的元素。研究人員希望能夠將一張圖片輸入 CycleGAN 後進行多次反覆轉化(照片→繪畫→照片→繪畫→照片),最終可以獲得與原始照片相同或相近的圖片。

除了每次轉化後要丟失一些像素外,CycleGAN 在循環轉換中的表現不錯

為了實現這一點,研究團隊必須以機器可以理解的方式去描述每種風格之間的關係,並給機器 「吃下」 大量來自 Flicker 的照片進行訓練,再人工去糾正機器在訓練過程中產生的錯誤。CycleGAN 目前在針對幾何、顏色和風格上的轉化都不錯。

環境要求:

Linux or OSX

NVIDIA GPU + CUDA CuDNN (CPU mode and CUDA without CuDNN may work with minimal modification, but untested)

For MAC users, you need the Linux/GNU commands gfind and gwc, which can be installed with brew install findutils coreutils.

部分內容來自:品玩


下載地址:https://www.oschina.net/p/cyclegan(可點原文連結之美進入)


維權聲明:凡是機器人2025發布的文章都會找原文作者授權並給予白名單,若沒有授權到的文章,如涉及版權等問題,請及時聯繫運營者(微信:xiaoejiqiren)我們將第一時間處理,謝謝!


大家好,我是機器人2025一個專注於全球智慧機器人產業的開放合作平臺,為打造機器人產業界第一高端人脈與價值分享平臺而努力。

相關焦點

  • 無需成對示例、無監督訓練,CycleGAN生成圖像簡直不要太簡單
    這一簡單的技術非常強大,在一系列應用領域中取得了令人印象深刻的視覺效果,最著名的便是將馬的照片轉換成斑馬(或相反)。  在這篇文章中,你將了解非成對的 CycleGAN 圖像到圖像的轉換技術。CycleGAN 非成對圖像轉換CycleGAN 是一種成功的非成對圖像到圖像的轉換方法。CycleGAN 是一種利用生成對抗網絡,或者說 GAN 模型架構訓練圖像到圖像轉換模型的方法。我們提出了一種方法,可以學習[捕獲]一個圖像集的特性,並找出如何在沒有任何成對訓練示例的情況下,將這些特徵轉換為另一個圖像集。
  • 系列(二)CycleGAN
    系列(一)StyleGAN》裡我們介紹了2014年時被提出的生成對抗網絡(GAN)可有效地通過改進鑑別器(Discriminator)而生成高質量的圖像。GAN 地圖 ©  Image from Google「 圖像到圖像的轉譯是一類視覺和圖形問題,其目標是使用成對圖像對訓練集來學習輸入圖像和輸出圖像之間的映射關係。」
  • 告別邪神作畫:加州大學開源全新圖像處理工具CycleGAN
    比如加州大學伯克利分校近日開源的一個新的圖像處理工具CycleGAN的藝術造詣就比Google要高尚不知道多少。話不多說先看圖:你一定會說這個不是和去年流行的手機App麼?錯!上圖中其實左圖是原圖,右圖是CycleGAN處理過的圖片。與廣為流行的Prisma相反,CycleGAN可以將一副繪畫作品還原成照片。
  • 循環生成網絡 CycleGan 原理介紹
    本文旨在解釋「循環生成網絡」的內部工作原理,以及如何將其應用於解決現實世界中的任務。介紹循環生成對抗網絡(簡稱CycleGans)[1]是功能強大的計算機算法,具有改善數字生態系統的潛力。 它們能夠將信息從一種表示形式轉換為另一種表示形式。
  • 異父異母的三胞胎:CycleGAN, DiscoGAN, DualGAN
    任務這裡的任務是圖像到圖像的翻譯。如果大家看過去年一篇cvpr的論文,叫pix2pix的話,對這個任務就比較熟悉。就算你們不知道pix2pix,之前有一個很火的,可以把線條畫變成貓的網頁應用,就是用的pix2pix的算法。然而pix2pix的模型是在成對的數據上訓練的,也就是說,對於線條到貓的應用,我們訓練的時候就需要提供一對一對的數據:一個線條畫,和對應的真實的貓圖片。
  • 常用的十大 python 圖像處理工具
    但無論是用於何種用途,這些圖像都需要進行處理。圖像處理就是分析和處理數字圖像的過程,主要旨在提高其質量或從中提取一些信息,然後可以將其用於某種用途。圖像處理中的常見任務包括顯示圖像,基本操作如裁剪、翻轉、旋轉等,圖像分割,分類和特徵提取,圖像恢復和圖像識別。
  • PS圖像處理:編輯圖像時常用的輔助工具
    輔助工具:在圖像處理的過程中,利用輔助工具可以使處理的圖像更加精確。主要包括標尺、參考線、網格標尺工具1、執行Ctrl+R快捷鍵,可在窗口頂部和左側分別顯示水平和垂直標尺2、在標尺上右擊滑鼠,在彈出的快捷菜單中可以更改標尺的單位3、系統默認為釐米4、再次單擊Ctrl+R快捷鍵可隱藏標尺參考線1、參考線不能直接用來編輯圖像,但可以輔助用戶更精確地完成圖像的編輯和定位
  • 人工智慧利用單眼強度圖像進行面部深度圖估計的對抗架構深度學習
    通過遵循圖像到圖像的方法,我們結合了監督學習和對抗訓練的優勢,提出了一個有條件的生成對抗網絡,有效地學習將強度人臉圖像轉換為相應的深度圖。通過遵循圖像到圖像的方法,我們結合了監督學習和對抗訓練的優勢,提出了一個有條件的生成對抗網絡,有效地學習將強度人臉圖像轉換為相應的深度圖。 兩個公共數據集,即Biwi資料庫和Pandora數據集,被用來證明所提出的模型生成高質量的合成深度圖像,無論是在視覺外觀和信息內容方面。
  • 10款實用的批量圖像處理工具
    首頁 > 評論 > 關鍵詞 > 工具最新資訊 > 正文 10款實用的批量圖像處理工具
  • 淺析人工智慧的卷積神經網絡與圖像處理
    淺析人工智慧的卷積神經網絡與圖像處理 demi 發表於 2019-11-02 11:23:43 在人工智慧深度學習技術中,有一個很重要的概念就是卷積神經網絡 CNN(Convolutional Neural
  • 【明星自動大變臉】最新StarGAN對抗生成網絡實現多領域圖像變換(附代碼)
    圖像到圖像轉化的任務是將一個給定圖像的特定方面改變到另一個方面,例如,將一個人的面部表情從微笑到皺眉改變(見圖1)。自從生成對抗網絡(GANs)的引入,這個任務經歷了很大的發展,從改變發色,改變邊緣圖以重建照片,到改變風景圖像的季節等。圖1.
  • 生成式對抗網絡GAN的高級議題
    生成對抗網絡(GAN)就是一個幫你實現的新朋友。"GAN是過去10年機器學習中最有趣的想法。" - Facebook AI人工智慧研究總監Yann LeCun最近引入了生成對抗網作為訓練生成模型的新方法,即創建能夠生成數據的模型。它們由兩個"對抗"模式:生成模型G獲得數據和判別模型D來估計訓練數據提供的樣本的準確性。G和D可能是一個非線性映射函數,如多層感知。在生成對抗網絡(GAN)中,我們有兩個神經網絡在零和遊戲中相互對抗,其中第一個網絡,即生成器,其任務是欺騙第二個網絡,即鑑別器。
  • 預防AI 被誤導,IBM 開源檢測模型及對抗攻擊工具箱
    IBM 研究團隊近日開源了檢測模型及對抗攻擊的工具箱 Adversarial Robustness Toolbox,來協助開發人員加強針對深度神經網路攻擊的防禦性,讓 AI 系統變得更加安全。不過,深度學習網絡若受到設計過的幹擾訊號影響,很容易產生錯誤的判斷,而這類型的幹擾是人類難以察覺的,有心人可能會利用這樣的弱點,誤導 AI 模型的判斷,用於不當的行為。
  • 【明星自動大變臉,嬉笑怒罵加變性】最新StarGAN對抗生成網絡實現多領域圖像變換(附代碼)
    圖1.(a)為處理多個域,應該在每一對域都建立跨域模型。(b)StarGAN用單個發生器學習多域之間的映射。該圖表示連接多個域的拓撲圖。為解決這些問題我們提出了StarGAN,它是生成對抗網絡,能夠學習多個域之間的映射。如圖2(b)所示,文章中提出的模型接受多個域的訓練數據,並且只使用一個生成器學習所有可用域之間的映射。這個想法是非常簡單的。
  • 18個生成對抗網絡(GAN)的絕妙應用!你確定不收藏一下?
    GAN是使用兩個神經網絡模型訓練而成的一種生成模型。其中一個稱為「生成器」或「生成網絡」模型,可學習生成新的可用案例。另一個稱為「判別器」或「判別網絡」,可學習判別生成的案例與實際案例。兩種模型(從博弈論的意義上來說)處於一種競爭狀態,生成器企圖愚弄判別器,而判別器則要同時處理生成案例和實際案例。經學習,生成模型可生成所需的新案例。
  • 對抗中的主動防禦——攻防演練及小規模網絡對抗的戰術
    四、如果內部安全人員有限,可以更多地使用自動化工具或外採人工服務包括政府、事業單位、央企、國企、大中型企業等在內的大部分組織中,受內部信息安全崗位編制、人員專業技能等的局限,往往對於突發性或階段性高強度的網絡對抗感到資源有限、力不從心。在這種情況下,長期或階段性使用自動化工具會讓工作事半功倍。
  • 機器不學習:生成對抗網絡-NIPS 2017對抗樣本攻防賽冠軍算法分享
    再看下圖的第一行,它表示的是識別不同鳥類的網絡,高亮的部分是網絡中神經元有響應的部位,可以看出響應基本集中在鳥的頭部,即網絡通過識別鳥的頭部特徵來給出預測的鳥類結果。下圖第二行是一些對抗樣本在該網絡上的表現,可以看到網絡在這些圖像的響應部位與鳥的頭部非常相似,此時網絡會以較高的概率將這些圖像錯誤地識別成某些鳥類。
  • 生成對抗網絡的最新研究進展
    生成對抗網絡是一類功能強大、應用廣泛的神經網絡。它們基本上是由兩個神經網絡組成的系統——生成器和判別器,這兩個網絡相互制約。計算機視覺和人工智慧的愛好者 Bharath Raj 近日發布以一篇博文,總結了生成對抗網絡的原理、缺點和為了克服這些缺點所做的研究的最新進展。雷鋒網 AI 科技評論編譯整理如下:
  • 【變狗為貓】伯克利圖像遷移cycleGAN,貓狗互換效果感人
    來源:qiita.com作者:itok_msi   編譯:neko【新智元導讀】日本 NTT Data 的研究者用 cycleGAN 網絡,做了一個「將狗和貓的圖像互換」的模型,並且生成的貓或者狗的姿勢和毛色與輸入的圖像保持一致。