【總結】超100期經典GAN模型的解讀,從結構設計到應用,你不動心嗎?

2022-01-02 有三AI

GAN無疑是這幾年深度學習領域裡最酷的技術，不管是理論的研究，還是GAN在圖像生成，圖像翻譯，語音圖像等基礎領域的應用，都非常的豐富。我們公眾號輸出過非常多的GAN相關資源，本次做一個簡單匯總，並重點介紹其中的各類GAN模型解讀的專題。

2021年初我們在阿里雲上開設了免費視頻課程《深度學習原理與實踐》，其中包含了GAN的基礎理論和一個簡單實踐，一共有8期內容，如下：

內容包括生成模型基礎，自編碼器與變分自編碼器，生成對抗網絡基礎，GAN優化目標設計與改進，數據生成GAN結構與應用，圖像翻譯GAN結構與應用，GAN的評估，DCGAN模型的原理與結構，項目的解讀，訓練與測試……

詳細介紹請閱讀：

另一方面有三的親師弟小米粥同學，在我們公眾號開設過專欄《GAN的優化》。

本專欄及其後續內容有超過15篇文章，從生成模型出發，講述了GAN的基本理論，包括工作原理，更具有普適性的f散度度量和Wasserstein距離，以及IPM框架；接著介紹了GAN訓練困難的原因以及幾個訓練技巧，各種GAN的正則項的優劣；GAN中的模式崩潰問題以及幾個比較好的解決方案。

詳細的文章列表請閱讀下文：

為了讓大家能夠從理論和實踐同時掌握好GAN模型，我們公眾號也開設過《百戰GAN》的實戰專欄。

本專欄挑選經典GAN模型進行原理講解，代碼剖析，完成模型訓練與測試，已有的內容包括圖像生成，圖像分割，圖像增強，圖像風格化，圖像超分辨等領域，歡迎大家進行投稿。

以上，就是咱們公眾號裡的內容，從視頻到文本，非常的豐富。但在我們知識星球中，還有著更加豐富的內容，那裡才是我們社區中GAN的真正寶庫，下面且聽介紹！

有三AI知識星球是我們公眾號內容的升級，包含更多更新技術的解讀，其中關於星球的介紹，大家可以看看去年的一篇文章，如下。

知識星球中一個非常重要的模塊就是GAN，內有超過100期經典GAN模型的解讀，下面是其中一些重要模塊的歸類預覽。

細分到各個方向，包括圖像與語音生成GAN，圖像分割與目標檢測GAN，圖像編輯與創作GAN，圖像翻譯/風格化GAN，圖像增強GAN，人臉與人體GAN，以及其他各領域未明確歸類的GAN。

(1) 圖像與語音生成GAN。

內容覆蓋基本的GAN模型（從DCGAN到SAGAN），條件GAN（CGAN等），多尺度GAN模型（從LAPGAN到StyleGAN），與VAE的結合（ALI等），圖像增強與仿真GAN（從BAGAN到SimGAN），多判別器與生成器GAN（從TripleGAN到MAD-GAN），三維GAN（VON）等，視頻GAN（從MocoGAN到MDGAN等）。

(2) 圖像翻譯/風格化GAN。

內容包括有監督的圖像翻譯GAN（從Pix2pix到Pix2pixHD）與無監督的圖像翻譯GAN。其中無監督的圖像翻譯GAN是重點，介紹各類基本模型（UNIT，CycleGAN等），多域拓展（從MUNIT到StarGAN），以及各類應用（Whitebox GAN等）。

(3) 圖像增強GAN。

內容包括GAN在各類圖像增強任務中的應用，包括圖像降噪（GCBD等），對比度增強（EnhanceGAN等），超分辨（從SRGAN到Cycle in Cycle GAN），圖像修復（從CE到ARGAN等），圖像去模糊（從DeblurGAN到DBGAN等）。

(4) 人臉人體GAN。

內容包括GAN在人臉人體生成與編輯中的各類應用，包括人臉風格化（UGATIT等），人臉妝造（BeautyGAN等），年齡編輯（CAAE等），表情編輯（G2GAN等），姿態編輯（FFGAN等），關鍵點檢測（Boundary-aware GAN等），人臉補全（Face De-occusion GAN等），人臉識別（Dual Agent GAN等），人臉超分辨（Pulse等），人臉修復（Old Photo Restore GAN等），人臉驅動（ReenactGAN等），通用人臉屬性編輯（StyleGAN及其變種），姿態遷移（Everybody Dance GAN等），人臉換裝（VITON等）。

(5) 圖像分割與目標檢測GAN。

內容包括GAN在圖像分割與目標檢測等經典任務中的應用，包括分割GAN（從SegGAN到Background Matting），檢測GAN（從FindFaceTinyGAN到Perceptual GAN）。

如果你想學習相關內容，歡迎掃碼加入有三AI知識星球：

如果你只想要GAN，而不想要星球的其他內容，還有一個學習辦法，那就是訂閱我們的頭條專欄，如下。

當然，有三並不推薦大家那樣做；因為頭條裡GAN的內容並不全，而且星球裡的內容並不僅限於GAN，要豐富的多。

當然，需要提醒大家的是，知識星球是我們的高階社區，裡面不會涉及很基本的模型解讀，諸如圖像分類，圖像分割，目標檢測的一些基本的模型解讀，請大家移步我們的視頻專欄進行學習，介紹如下：

最後，如果你想一次性擁有以上內容，獲得更多GAN的實戰視頻資料，以及後續長期更新的GAN相關資料，並且需要更深入學習GAN的其他內容，以及加入技術交流討論，歡迎加入有三AI秋季劃GAN學習小組。

GAN組將永久擁有我們平臺所有GAN相關的技術資料，並贈送有三AI知識星球一年的權限和最新書籍一本，介紹如下：

[5] Veit A, Wilber M J, Belongie S. Residual networks behave like ensembles of relatively shallow networks[C]//Advances in neural information processing systems. 2016: 550-558.

相關焦點

  • CNN結構演變總結(一)經典模型
    在本文將對這些經典模型的結構設計演變做一個總結，旨在讓讀者了解一些結構的設計原理，產生效果的原因。在面對一個具體任務時能夠準確地選擇一個合理的特徵提取網絡，而不是隨便選擇一個。在自主設計網絡時，也能根據總結的原則和經驗設計出合理的結構，避免隨心設計。在這個系列將按照以下三個部分對CNN結構演變進行總結。
  • 結構方程模型,你會嗎?
    結構方程模型是進階高級量化分析，發表高水平量化文章的必經之路。多少人在走到這一步的時候折戟沉沙！為此，學長再次為大家邀請到「統計亞洲一哥」張偉豪老師。他將帶來為期3天的結構方程模型特訓營，帶領大家手把手學會結構方程模型從數據到建模到結果解讀的全流程，並結合國際頂級期刊的範式，講解如何將結構方程模型用於量化論文的寫作與發表。本次內容在於帶領有興趣進入SEM領域的研究人員，快速了解Mplus的功能使用及語法的編寫，讓大家可以在最短的時間內，學會駕馭這套SEM工具。
  • PyTorch 零基礎入門 GAN 模型之基礎篇
    近年來，各種生成模型及其應用廣泛地出現在大家的視野範圍內，像最近非常火爆的 Alias-Free GAN 更是從一個全新的視角，為生成模型領域中新的發展方向打下了堅實的理論基礎。但是現在來看，無論是之前的 StyleGAN2 還是現在的 Alias-Free GAN，模型細節還有訓練過程都是非常繁雜的。
  • 訓練GAN,你應該知道的二三事
    1. model choice如果你不知道選擇什麼樣的模型，那就選擇 DCGAN[3] 或者 ResNet[4] 作為 base model。簡單的做法就是對於輸入圖片，把它下採樣（maxpooling）到不同 scale 的大小，輸入三個不同參數但結構相同的 discriminator。
  • 深度學習中最常見GAN模型應用與解讀
    Generative Adversarial Network (GAN)2014年Ian Goodfellow首次提出GAN模型結構，可以生成各種圖像數據集，論文地址https://arxiv.org/pdf/1406.2661.pdf運行效果如下：
  • 【經典精讀】Transformer模型深度解讀
    它開創性的思想，顛覆了以往序列建模和RNN劃等號的思路，現在被廣泛應用於NLP的各個領域。目前在NLP各業務全面開花的語言模型如GPT,BERT等，都是基於Transformer模型。因此弄清楚Transformer模型內部的每一個細節就顯得尤為重要。
  • 【乾貨】基於GAN實現圖像銳化應用(附代碼)
    首先介紹了GAN的基本網絡架構，然後從數據、模型、訓練等幾個方面介紹GAN在圖像銳化的應用。本文是一篇很好的GAN學習實例，並且給出了許多不錯的GAN學習連結，對GAN感興趣的讀者不容錯過！我們首先將圖像分配到兩個不同文件夾中，A（模糊）和B（銳利）。A&B結果來自於這篇關於pix2pix的文章：https://phillipi.github.io/pix2pix/。我在倉庫中創建了一個自定義腳本來實現這個任務，請按照README的步驟使用。
  • 機械設計資源分享網(2019年)
    常見不常見的齒輪傳動動畫演示，都有了！直徑0.01的超微鑽頭，你見過嗎？細到你無法想像機械零件為什麼要進行熱處理，一文搞懂！2019-01-23【溫故知新】非標自動化機構設計經典動態圖【知識拓展】一波動圖帶你了解力學性能！【電控基礎】88張PPT講解PLC基礎知識！
  • 機械模型中的結構設計
    電機總結   ======================這次來說一說機械結構設計。這裡的每一個模型都是我們見過實物的，希望能幫助把這些枯燥的知識變得接受起來不那麼難以下咽。因為內容太廣泛，所以這裡主要針對木板切割的模型中的結構設計問題來討論。
  • 社區分享 | 「漫畫臉」是這樣誕生的:從模型到部署全解析
    我們來看一下模型保存和轉換。主要介紹如何將 TF 1.x 模型轉換為 TensorFlow Lite (TFLite)，然後將其部署到 Android，從而將自拍圖像轉換為合理的動漫圖像。以下是分步總結：從預訓練的 U-GAT-IT 模型檢查點中生成 SavedModel。
  • 機械設計資源分享網(20200823)
    專訪任正非：不用美國零部件是可以的，但是別人不買怎麼辦收藏 ，100條Solidworks 使用技巧大全，讓你快速上手繪圖！【機構設計】視頻加動圖展示巧妙的機械設計31張電驅動力總成拆分圖，十分精彩2020-05-04給你寶馬發動機設計圖紙，你能造出來嗎？
  • 超材料研究及在國防領域的應用前景(上)
    比如屬於超材料的左手材料（負折射率材料）同光波相互作用的方式與自然材料迥然不同。因為超材料的物性由人工結構決定而不是由材料本徵特性所決定，所以超材料的誕生為材料界引入一個全新的設計理念，以往是自然界有何種材料，就能製造出何種物件，而超材料完全是逆向設計，即針對電磁波的應用需求製造出相應功能的材料。超材料的目標是利用人造構成要素替代原子及分子、以類似結晶的結構規律來形成新的傳輸介質[1]。
  • 手把手教你用keras搭建GAN
    /gan.py大家好,我是中國海洋大學的陳揚。不只是demo哦，我還會在接下來的一系列 keras教程中教你搭建Alexnet，Vggnet，Resnet,DCGAN,ACGAN,CGAN,SRGAN,等等實際的模型並且教你如何在GPU伺服器 上運行。
  • 深入解讀首個萬億級語言模型Switch Transformer
    （1）問題：模型編譯是靜態確定的，計算是動態的，如何確定每一個expert維度；（2）方法：使用capacity factor擴展，太多的容量導致計算和內存消耗增加，太小的容量導致token被放棄計算傳到下一層，結論是經驗性的根據「model quality and speed」的權衡來選擇較低比例「dropped tokens」。
  • 【年前最後一波】15部模擬電路設計視頻教程,限時特惠!帶你吃透模電設計!
    第4部分：極點、零點--你熟悉了嗎？——嵌入式系統組成部分第22講 數字部分的原理圖設計——CPU和晶振選擇第23講 STM32使用手冊解讀（CPU到memory mapping）第24講 STM32使用手冊解讀（電氣特性）第25講 通信部分的原理圖設計第26講 電源部分的原理圖設計（以SGM3207為例）第27講 電源部分的原理圖設計（以AMS1117
  • 何愷明團隊神經結構搜索最新力作:設計隨機連接網絡,效果超ResNet
    用於圖像識別的神經網絡經過大量的人工設計，已經從簡單的鏈狀模型發展到具有多個連接路徑的結構。ResNets 和 DenseNets 的成功在很大程度上歸功於它們創新的連接規劃。然後，研究人員採用三種經典的隨機圖模型來生成網絡的隨機連接圖。實驗結果令人驚訝：這些隨機生成器生成的網絡實例在 ImageNet 基準測試中獲得了有競爭力的準確度。研究人員表示，這些結果表明，專注於設計更好的網絡生成器的研究可以通過探索更少約束的搜索空間，為新設計提供更多空間，從而帶來新的突破。
  • 深度學習在CTR預估中的應用 | CTR深度模型大盤點
    ，一般 0~100）。PNN，全稱為 Product-based Neural Network，認為在 embedding 輸入到 MLP 之後學習的交叉特徵表達並不充分，提出了一種 product layer 的思想，既基於乘法的運算來體現體徵交叉的 DNN 網絡結構，如圖 4 所示。
  • 學會【超參數與模型驗證】,大不了我請你吃辣條~
    準確得分是1.0，也就是說模型識別標籤的正確率是100% ！但是這樣測量的準確率可靠嗎？我們真的有一個在任何時候準確率都是100% 的模型嗎？答案是否定的。其實這個方法有個根本缺陷：它用同一套數據訓練和評估模型。另外，最近鄰模型是一種與距離相關的評估器，只會簡單地存儲訓練數據，然後把新數據與存儲的已知數據進行對比來預測標籤。在理想情況下，模型的準確率總是100%。
  • ​結構方程模型還傻傻學不會?說的就是你,看這裡!
    學術志聯合張偉豪量化學院耗時半年傾力打造一套《社會統計學進階：潛變量分析》課程，涵蓋AmosMplus（建議二選一）及PLS，從入門到精通，讓你在學習結構方程模型的路上，少走彎路！量化研究萬千課程,一生只需這一套！
  • 都在GAN什麼?系列(三)CGAN
    -  生成對抗網絡（簡稱GAN）是2014年由Ian Goodfellow等人發表用於訓練基於深度學習的生成模型的體系結構。-  GAN具有兩個網絡，生成器網絡和鑑別器網絡。-  生成器（G）模型負責生成新的逼真的虛假圖像樣本，鑑別器（D)模型則負責判斷圖像是真實的還是虛假的。