學界| 斯坦福論文:馬爾可夫鏈的生成對抗式學習 - 機器之心Pro

2020-12-05 機器之心Pro

機器之心編譯參與：機器之心編輯部

論文地址：https://openreview.net/pdf?id=S1L-hCNtl

摘要：我們研究了生成對抗的訓練方法來對馬爾可夫鏈（Markov chain）的轉移算子（transition operator）進行學習，目的是將其靜態分布（stationary distribution）和目標數據分布相匹配。我們提出了一種新型的訓練流程，以避免從靜態分布中直接採樣，但是仍然有能力逐漸達到目標分布。此模型可以從隨機噪聲開始，是無似然性的，並且能夠在單步運行期間生成多個不同的樣本。初步試驗結果顯示，當它臨近其靜態時，馬爾可夫鏈可以生成高質量樣本，即使是對於傳統生成對抗網絡相關理念中的較小結構亦是如此。

1 引言（略）

2 問題預設

設 S 為隨機變量

的序列的狀態空間。設 π0 是 X0 的初始概率分布，Tθ(·|x) 是被 θ 參數化的轉移核（transition kernel），例如，使用一個神經網絡。假定 Tθ 易於採樣，而且對任意 θ 都有一個有效的轉移核，例如，它對所有的 x ∈ S 都滿足：

因此，在 X 的範圍內每一個 Tθ都定義一個時間同質的馬爾可夫鏈。我們把

表示成時間 t 下的生成概率分布。如果我們假設對所有的 xt, xt1 ∈ S，Tθ(xt|xt1) > 0，那麼被 Tθ 所定義的馬爾可夫鏈是不能歸復（Irreducible）的，且值為正數的循環神經，因此有一個獨特的靜態分布

，且對於所有的x ∈ S，πθ滿足於：

假設在我們可以得到的樣本中有一個未知分布 pd(x)，比如，數據分布。我們的目的有二：找到一個 θ 使

πθ 接近 Pd(x)；對應的馬爾科夫鏈快速收斂。

3 馬爾可夫鏈的對抗性訓練

對於任意θ，即使πθ因為唯一的靜態分布而存在，大多數情況下直接計算 x 分布的實際似然度仍然是十分困難的。然而，從

獲得樣本卻十分簡單，並且如果 t 足夠大，那麼它將依概率收斂到πθ。這正好和 GAN 框架是一致的，即訓練只需要從模型中抽樣就行。

生成對抗網絡（GAN）（Goodfellow et al., 2014）是採用兩個參與者極小極大博弈來訓練深度生成模型的框架。GAN 訓練一個生成器網絡 G 以轉換噪聲變量 z p(z) 為 G(z) 而生成樣本。而辨別器網絡 D(x) 則區分樣本是來自生成器還是來自給定數據分布 pd 的真實樣本。該關係可正式表述為以下關係式：

在我們的預設中，我們選擇 z π 0，並令 Gθ(z) 為 t 步後的馬爾可夫鏈狀態，如果 t 足夠大的話，那麼 Gθ(z) 就是πθ良好的近似值。然而，我們遇到了優化方面的問題，因為需要求沿整條馬爾可夫鏈反向傳播的梯度，這就導致了梯度更新極其昂貴，即因為梯度估計量的大方差而降低的收斂速度。因此，我們提出了更加高效的近似方法，該方法可由以下目標函數表達：

其中

表示 x 的分布，而從 xd 開始轉移核（transition kernel）需要應用 t^次。我們為訓練生成器使用兩種類型的樣本，並優化 θ 這樣的樣本以騙過辨別器：

1. 樣本在 t步時，給定起始樣本 x0 π 0。

2. 樣本在 t步時，給定一個帶小量隨機擾動的數據樣本 x pd。

直觀講，第一個條件鼓勵馬爾可夫鏈在（長度 t 的）相對短的運行中向 pd 收斂。我們只考慮這一需求，這個方法將對應於一個潛層變量模型的原始採樣，就像 Sohl-Dickstein et al. (2015)、Salimans et al. (2015) 和 Bordes et al. (2017) 的情況。然而，相比於這些模型，我們的目標是訓練一個迭代步驟，其中樣本的質量通過增加模擬步的數量而獲得提升。並且在鏈的 burn-in 期後，可廉價生成多個樣本。這種完成需要第二個條件，它迫使收斂變成靜態，其中 pd 的每個點轉化至數據流形中的另一個點。

在靜態分布中，等式 3 中的目標比 等式 2 優化起來更簡單。通過利用帶有更低方差的評估梯度，平均上，生成器將只運行 (t + t)/2 步，而不是從鏈中取樣直至收斂，如果最初的馬爾可夫鏈的混合需要多步操作，這將極其費時。

4 實驗

圖 1. 馬爾可夫鏈和 mlp 架構的例子。從左上到右下，每個小圖都分別進行了π 1 θ、 π 2 θ、π 5 θ、π 10 θ、π 20 θ、π 50 θ採樣。該圖通過初始 x0 的採樣，100 批的數據樣本生成的，遷躍算符重複使用。

我們在 MNIST 數據集上訓練了這個模型，其目標是將數據生成分布與πθ相匹配，研究人員傾向於使用簡單遷躍算符來匹配複雜分布。研究人員考慮了三種遷躍算符架構 Tθ(·|x)。每個都有一個對稱的編碼器-解碼器結構，高斯噪聲被加入了隱代碼中，解碼器架構分別為：

DCGAN（Radford 等人，2015）所用的生成網絡架構，其中包含兩個全連接層，隨後是兩個轉置卷積。該模型強大到足以在一個步長中生成清晰圖像。弱化的 DCGAN，一個全連接層和一個轉置卷積層（conv）。兩個全連接層組成的 MLP，它是最弱的模型（mlp）。

相關焦點

  • 三角獸被 EMNLP 錄取論文精華導讀:基於對抗學習的生成式對話...
    論文中提出了一種新的對話文本對抗生成學習框架，目的是解決文本生成過程中的採樣操作帶來的誤差無法反向傳導的實際問題，從而實現基於對抗學習的聊天回復生成模型。一個直觀的思想，開啟了生成式對抗網絡（Generative Adversarial Networks, GAN）[11]在生成式聊天問題中的曲折探索。
  • 機器之心Pro:開發者請準備,前方有一大波更新正在接近
    1 個月前，我們發布了最新產品：人工智慧領域專業信息及數據平臺「機器之心Pro」。在首個測試版本中，機器之心 Pro 上線了 dashboard、新聞資料庫、行業資料庫和深度精選四個模塊，共收錄 10000+ 條新聞數據、6000+ 機構及解決方案與落地案例、100+ 篇深度文章、60+ 份行研報告，覆蓋 38 個技術領域及 55 個智能應用領域。
  • 學界 | 綜述論文:對抗攻擊的12種攻擊方法和15種防禦方法
    選自arXiv作者：Naveed Akhtar等機器之心編譯
  • 學界| 斯坦福Nature論文宣布新突破:深度學習皮膚癌診斷達專家水平
    選自斯坦福機器之心編譯為了讓人們能獲得更好的醫療，史丹福大學的研究者已經成功訓練了一個可以診斷皮膚癌的算法。該研究的相關論文《Dermatologist-level classification of skin cancer with deep neural networks》已經發表在 Nature 上。
  • 生成式模型入門:訓練似然模型的技巧 - 機器之心Pro
    機器之心編譯參與：李志偉、Geek AI生成模型不止有 GAN，本教程討論了數學上最直接的生成模型（易處理的密度估計模型）。讀罷本文，你將了解如何定量地比較似然模型。散度最小化：生成模型的一般框架生成模型（其實都是統計機器學習模型）旨在從一些（可能是條件的）概率分布 p(x) 中取樣本數據，並學習對 p(x) 進行近似的模型 pθ(x)。建模過程使我們可以基於給定的原始數據外推觀察到的信息。
  • 機器不學習:生成對抗網絡-NIPS 2017對抗樣本攻防賽冠軍算法分享
    第二項是non-target attack，即事先不知道需要攻擊的網絡細節，也不指定預測的類別，生成對抗樣本來欺騙防守方的網絡。最後一項是defense，抵禦前兩個項目的攻擊，即需要將前兩個項目生成的對抗樣本分類到正確的類別上。
  • 想入門機器學習?機器之心為你準備了一份中文資源合集
    機器之心整理參與：機器之心編輯部機器學習日益廣為人知，越來越多的計算機科學家和工程師投身其中。不幸的是，理論、算法、應用、論文、書籍、視頻等信息如此之多，很容易讓初學者迷失其中，不清楚如何才能提升技能。本文作者依據自身經驗給出了一套快速上手的可行方法及學習資源的分類匯總，機器之心在其基礎上做了增益，希望對讀者有所幫助。
  • 機器之心年度盤點:2018年重大研究與開源項目
    機器之心原創作者：思源、劉曉坤2018 年即將結束，要問今年深度學習領域有什麼要關注的進展，恐怕首先想到的就是 Deepmind 的 BigGAN 和 Google 的 BERT。這兩項進展有一些共同點：除了弱監督或無監督，那就是大，數據大，模型大，計算大，算法改動沒那麼大，主要靠計算。
  • 機器之心GMIS 2017嘉賓揭秘:人工智慧「標準教科書」作者——Stuart Russell
    由機器之心主辦的全球人工智慧盛會——2017 全球機器智能峰會（GMIS 2017）——將於 5 月 27 日至 28 日在北京 898 創新空間舉行。本次大會將邀請海內外眾多嘉賓及機構，權威、系統地介紹機器智能相關技術的前沿研究，探討如何將技術轉化成產品和應用等問題。
  • 程式設計師學習人工智慧,生成式對抗網絡(GAN)1,簡介與算法原理
    一、簡介生成式對抗網絡（GAN, Generative Adversarial Networks ）是一種深度學習模型，是近年來複雜分布上無監督學習最具前景的方法之一。模型通過框架中（至少）兩個模塊：生成模型（Generative Model）和判別模型（Discriminative Model）的互相博弈學習產生相當好的輸出。原始 GAN 理論中，並不要求 G 和 D 都是神經網絡，只需要是能擬合相應生成和判別的函數即可。但實用中一般均使用深度神經網絡作為 G 和 D 。
  • ACM MM最佳論文全文:通過多對抗訓練,從圖像生成詩歌
    ACM TOMM 期刊最佳論文一篇Learning from Collective Intelligence: Feature Learning using Social Image and Tags最佳論文全文閱讀ACM MM 2018 最佳論文《Beyond Narrative Description
  • ICLR 2020 匿名評審九篇滿分論文,最佳論文或許就在其中|模型|杜克...
    機器之心整理參與：思源、蛋醬、澤南從反傳的自動微分機制，到不平行語料的翻譯模型，ICLR 2020 這 9 篇滿分論文值得你仔細閱讀。早在去年12月，ICLR 2020的論文接收結果就已經出來了，其接收率達到了26.5%。
  • 深度學習貝葉斯,這是一份密集的6天速成課程(視頻與PPT)
    選自GitHubBayesian Methods Research Group機器之心整理在 Deep|Bayes 夏季課程中，授課人將討論貝葉斯方法如何結合深度學習，並在機器學習應用中實現更好的結果。近期研究表明貝葉斯方法的利用可以帶來許多好處。學生將學到對理解當前機器學習研究非常重要的方法和技術。
  • 突破AI和機器理解的界限,牛津CS博士143頁畢業論文學習重建和分割...
    選自arXiv作者：Bo Yang機器之心編譯讓機器擁有像人類一樣感知 3D 物體和環境的能力，是人工智慧領域的一項重要課題。總體而言，本文開發了一系列新型數據驅動算法，以實現機器感知到真實世界三維環境的目的。作者表示：「本文可以說是突破了人工智慧和機器理解的界限。」這篇博士論文有 143 頁，共六章。機器之心對該論文的核心內容進行了簡要介紹，感興趣的讀者可以閱讀論文原文。
  • 學界| 微軟亞洲研究院CVPR 2017 Oral論文:逐層集中Attention的...
    原標題：學界 | 微軟亞洲研究院CVPR 2017 Oral論文：逐層集中Attention的卷積模型 選自CVPR 2017 參與：Smith、路雪、蔣思源
  • 萬字綜述之生成對抗網絡(GAN)
    機器之心經授權轉載作者：郭曉鋒 （愛奇藝）前陣子學習 GAN 的過程發現現在的 GAN 綜述文章大都是 2016 年 Ian Goodfellow 或者自動化所王飛躍老師那篇。可是在深度學習，GAN 領域，其進展都是以月來計算的，感覺那兩篇綜述有些老了。最近發現有一篇最新的 GAN 綜述論文，四十餘頁，介紹了 GAN 的各個方面，於是就學習並整理筆記如下。文中許多內容大都根據自己所學總結，有不當之處歡迎指出。此外，本文參考了許多博客資料，已給出參考連結。如有侵權，請私信刪除。
  • 北大、斯坦福提出基於動態圖網絡學習的三維部件拼裝
    機器之心轉載來源：北京大學前沿計算研究中心在一篇 NeurIPS 2020 論文中，北大、史丹福大學的研究者提出了一種基於迭代式圖神經網絡的動態圖神經網絡學習的框架在這一框架下，機器人通過對各個部件幾何形狀的觀察和推理去隱式學習各個部件之間的關係，並將這一隱式學到的部件關係應用到部件拼裝任務當中，甚至達到了比使用給定各部件之間真實連接關係更好的效果。本文是對這篇論文的解讀。
  • 二十載AI論文大調查,十萬多篇論文分析「學界鴻溝在加劇」
    這篇論文研究了從2000到2019年，包括ACL、ICML和NeurIPS在內57個頂會，涵蓋的領域包括：計算機視覺、數據挖掘、機器學習和自然語言學習等，調查樣本總數多達171394篇論文。 在這篇論文中，作者也證明了：「計算」在人工智慧研究中發揮的作用越來越大。
  • 生成對抗網絡的最新研究進展
    然而，他們的對偶形式（用下確界代替上確界或者用上確界代替下確界）可能易於優化。對偶原則為將一種形式轉換為另一種形式奠定了框架。關於這一點的詳細解釋，你可以查看這篇博客。4.Lipschitz 連續性一個 Lipschitz 連續函數的變化速度是有限的。
  • 谷歌AutoML創造者Quoc Le:未來最好的人工智慧模型將由機器生成
    機器之心原創作者：Tony Peng過去十年，谷歌在人工智慧領域的重重突破，有很大一部分和 Quoc Le 有關。2011 年在史丹福大學讀博時，Le 和他的老師吳恩達以及谷歌大腦的研究人員一起，基於千萬張 YouTube 圖像開發了一個能夠識別貓的無監督學習系統；2014 年，他將深度學習技術應用在自然語言理解任務上，提出了能將文本轉換為向量表徵、基於循環神經網絡的 Seq2Seq 學習模型，將機器翻譯的前沿水平又向前推進了一步