讓DL可解釋?這一份66頁貝葉斯深度學習教程告訴你

2021-03-06 專知

【導讀】貝葉斯深度學習對於理解深度學習這個黑盒子能提供可解釋性,在深度學習理論研究中這幾年也是非常地熱。機器學習專家Andrew Gordon Wilson 在這個PPT教程詳細講述了模型選擇、貝葉斯和頻率的區別、貝葉斯推斷、預測分布、Beta分布、高斯過程、神經網絡、以及作者最新提出的Bayesian GAN

為什麼需要使用貝葉斯深度學習(Bayesian Deep Learning)?

為什麼不呢?

在過去的兩年裡,作者將這些局限性作為一個非常富有成果的研究方向的一部分,並取得了令人振奮的進展。詳細見PPT內容。

摘要

生成對抗網絡(GANs)可以隱式地學習圖像,音頻和數據上豐富的分布表示,這些分布難以顯式地進行建模。 作者提出了一種實用的貝葉斯公式,用於使用GAN進行無監督和半監督學習。 

在此框架內,作者使用隨機梯度哈密頓蒙特卡羅(Hamiltonian Monte Carlo)來邊緣化生成器和判別器網絡的權重。 這種方法簡單直觀,並且在沒有任何標準幹預(比如標籤平滑或小批量判別)的情況下獲得良好的性能。 通過探索生成器參數的表達後驗,Bayesian GAN避免了模型崩潰,產生了可解釋和多樣化的候選樣本,並為包括SVHN,CelebA和CIFAR-10在內的基準測試提供半監督學習的最好的(state-of-the-art)定量結果。 並且表現優於DCGAN,Wasserstein GAN和DCGAN。

https://arxiv.org/abs/1705.09558

https://github.com/andrewgordonwilson/bayesgan


請關注專知公眾號(掃一掃最下面專知二維碼,或者點擊上方藍色專知),

作者主頁連結:

https://people.orie.cornell.edu/andrew/

附PPT原文:

人工智慧領域主題知識資料查看與加入專知人工智慧服務群

【專知AI服務計劃】專知AI知識技術服務會員群加入與人工智慧領域26個主題知識資料全集獲取。歡迎微信掃一掃加入專知人工智慧知識星球群,獲取專業知識教程視頻資料和與專家交流諮詢

請PC登錄www.zhuanzhi.ai或者點擊閱讀原文,註冊登錄專知,獲取更多AI知識資料

請加專知小助手微信(掃一掃如下二維碼添加),加入專知主題群(請備註主題類型:AI、NLP、CV、 KG等)交流~

關注專知公眾號,獲取人工智慧的專業知識!

點擊「閱讀原文」,使用專知

相關焦點

  • 資源連結|深度學習教程資源整理(伯克利、斯坦福、MIT、阿里、吳恩達)
    從基礎概念到數學公式,這是一份520頁的機器學習筆記(圖文並茂)教程文檔下載地址(百度雲):https://pan.baidu.com/s/1tNXYQNadAsDGfPvuuj7_Tw近日,來自SAP(全球第一大商業軟體公司)的梁勁(Jim Liang)公開了自己所寫的一份 520 頁的學習教程
  • 貝葉斯深度學習研究進展
    這方面的工作也稱為深度貝葉斯學習(Deep Bayesian Learning),近期的典型研究進展為深度生成模型:一個簡單的隱變量(如均勻分布或標準高斯分布)經過適當的函數變換之後,可以建模複雜的數據分布,如圖4所示。在實際應用中,我們能拿到的是訓練數據,因此,需要「逆向工程」得到對應的變換函數。
  • ICCV 2019教程《面向計算機視覺的可解釋機器學習》,附280頁PPT下載
    為了獲得更好的精度,人們不斷加深網絡的層數,但這使得理解模型的預測變得更加困難。本文介紹ICCV 2019的面向計算機視覺的可解釋機器學習教程。諸如深度卷積神經網絡和遞歸神經網絡之類的複雜機器學習模型最近在諸如對象/場景識別,圖像字幕,視覺問題解答等廣泛的計算機視覺應用中取得了長足進步。但它們通常被視為黑匣子。
  • 貝葉斯方法與深度學習的結合及應用(2)
    摘要貝葉斯方法是解決數據稀疏、數據樣本帶有噪音等問題的有效方法,與圖論的結合又衍生出具有可解釋性的貝葉斯網絡,在醫療、生物、系統可靠性和金融等領域都有著廣泛的應用。近年來,也有越來越多的研究開始將貝葉斯方法應用到深度學習中,如文獻[1]提出了用以貝葉斯方法為基礎的概率圖與深度神經網絡構建具有視覺和任務兩個功能模塊的系統。有關這方面的更多信息可以參考往期文章概率圖模型在深度學習的應用。
  • 【乾貨薈萃】機器學習&深度學習知識資料大全集(二)(論文/教程/代碼/書籍/數據/課程等)
    介紹:David Silver的深度強化學習教程.  介紹:深度神經網絡的可解釋性.  介紹:深度神經網絡的灰色區域:可解釋性問題,中文版.  介紹:這是一本在線的深度學習書籍,合著者有Ian Goodfellow, Yoshua Bengio 和 Aaron Courville.如果你是一位新入門的學員可以先看這本書籍Yoshua Bengio: How can one get started
  • 700頁《圖形深度學習》教程「PPT」,限時免費領取!
    學習Pandas最好的方法就是看官方文檔:《10 Minutes to pandas》、《Pandas cookbook》、《Learn Pandas》英文版讀起來稍顯吃力,所以向大家推薦Pandas官方文檔中文版!書籍PDF電子書下載:《pandas官方文檔中文版》PDF已經打包好,可以通過下述步驟來獲取: 2.
  • 從貝葉斯角度,看深度學習的屬性和改進方法 - 機器之心Pro
    機器之心編譯參與:蔣思源、吳攀深度學習是一種高效的非線性高維數據處理方法,它可以更自然地解釋為一種工程或算法,而本論文希望從貝葉斯的角度將深度學習看作是一種廣義線性模型的堆疊而提供一些新的研究視角和應用方向。論文首先論文首先從將單變量半仿射函數疊加構建高維映射的方法解釋深度學習,然後從深度概率模型、貝葉斯預測器到算法問題進一步探討其特性。
  • 機器學習算法集錦:從貝葉斯到深度學習及各自優缺點
    這是一個非常強大的技術集,因此廣受歡迎。深度學習(Deep Learning)深度學習是人工神經網絡的最新分支,它受益於當代硬體的快速發展。眾多研究者目前的方向主要集中於構建更大、更複雜的神經網絡,目前有許多方法正在聚焦半監督學習問題,其中用於訓練的大數據集只包含很少的標記。
  • 如何優化深度學習模型
    如果你聽說過AutoML,那麼Google基本上就是這樣做的:將所有內容都設置為超參數,然後扔大量TPU在這個問題上讓它自行解決。但是對於我們絕大多數隻想在黑色星期五銷售之後用經濟型機器分類貓狗的人來說,現在是時候該弄清楚如何使這些深度學習模型真正起作用了。網格搜索這是獲得良好超參數的最簡單方法。
  • 學完吳恩達全部深度學習課程,這有一份課程解讀
    學習這些課程的基礎知識要求不多,只要求你事先掌握一些線性代數,以及 Python 基礎編程知識。在我看來,你也需要了解向量計算來理解優化過程的內在知識。但如果你不關心內部運作方式,並只希望了解高級層面上的內容,那就儘管跳過微積分的部分。第 1 課:為什麼深度學習如此熱門?
  • 貝葉斯神經網絡系列教程(二):背景知識
    編譯:chux出品:ATYUN訂閱號此篇教程將貝葉斯神經網絡分解為貝葉斯神經網絡和神經網絡兩部分。
  • 想入門機器學習?機器之心為你準備了一份中文資源合集
    數學並非是一個可選可不選的理論方法,而是不可或缺的支柱。如果你是一名計算機工程師,每天使用 UML、ORM、設計模式及其他軟體工程工具/技術,那麼請閉眼一秒鐘,忘掉一切。這並不是說這些概念不重要,絕不是!但是機器學習需要一種不同的方法。如今 Python 如此流行的原因之一是其「原型設計速度」。在機器學習中,一種使用幾行代碼即可建模算法的語言絕對是必要的。
  • 這是一份超全機器學習&深度學習資源清單(105個AI站點),請收藏!
    ,主流的都涵蓋到,是深度學習從業者不錯的一個導航,歡迎使用!topnav=1&wvr=6&topsug=1): 知名網際網路資訊博主超智能體 (https://zhuanlan.zhihu.com/YJango): 分享最通俗易懂的深度學習教程人工智慧筆記 (https://zhuanlan.zhihu.com/ainote
  • 貝葉斯線性回歸方法的解釋和優點
    我認為貝葉斯學派和頻率學派之間的紛爭是「可遠觀而不可褻玩」的學術爭論之一。與其熱衷於站隊,我認為同時學習這兩種統計推斷方法並且將它們應用到恰當的場景之下會更加富有成效。出於這種考慮,最近我努力學習和應用貝葉斯推斷方法,補充學校課程所學的頻率統計方法。貝葉斯線性模型是我最早對應用貝葉斯推斷的關注點之一。
  • 深度學習全網最全學習資料匯總之入門篇
    下面進入本文的正題。要入門深度學習,首選的一個教程是來自臺灣大學電機系李宏毅教授的演講 PPT。該 PPT 共計301頁,源於 IEEE DSC 2016 系列活動,當時打出的標題是「一天搞懂深度學習」。該課程非常適合初學者,以最簡單易懂的圖示和文字闡述了深度學習的基本原理、深度學習模型的各種訓練小技巧、遞歸神經網絡和一些常見的深度學習應用。
  • 五天入門深度學習,這裡有一份PyTorch實戰課程
    機器之心整理參與:李亞洲、路這是一門五天入門深度學習的實戰課程想入門深度學習的小夥伴有福了!dataflowr 最近推出了一門五天初步掌握深度學習的實戰教程(實戰使用 PyTorch 框架),有知識點有實例有代碼,值得一看。
  • NIPS2018深度學習(18)|亮點: 貝葉斯深度學習;圖卷積(論文及代碼)
    這篇文章提出一種新的模型,這種模型是對現有方法結構化預測能量網絡的一種泛化。幾種模型的對比如下但是,如何設計模型來尋找能夠優化期望屬性的分子,同時融合高複雜度和非可微的規則,具有一定的挑戰性。作者們提出圖卷積策略網絡(GCPN),這是一種基於通用的圖卷積網絡的模型,用於目標導向的圖生成,同時還藉助了增強學習。該模型利用策略梯度優化特定領域的回報函數和對抗損失,還可以融合特定領域的規則來優化環境中的行動。本文提出的圖生成過程如下
  • 深度學習的可解釋性研究(一):讓模型「說人話」
    非常開心本文成為 BIGSCity 興趣組的第一篇投稿,《深度學習的可解釋性研究》系列預計包含 3-4 篇內容,用儘可能淺顯的語言帶領大家了解可解釋性的概念與方法以及關於深度學習可解釋性工作的研究成果,不定期更新內容(歡迎催更)。可解釋性是什麼?
  • Bengio、Sutton的深度學習&強化學習暑期班又來了,2019視頻已放出
    今年夏季課程的視頻已經全部出爐,導師包括 Yoshua Bengio、Richard Sutton 等業內大牛,Youtube 可在線觀看,還有實時機翻字幕。心心念念的 2019 深度學習&強化學習夏季課程終於來了。機器之心從 2016 年起就開始報導這一夏季課程,每一年都是大師雲集,幾十節課程視頻都乾貨滿滿、廣受好評。
  • 深度學習的可解釋性!
    在本章,我們將從深度學習可解釋性的定義、研究意義、分類方法 3 個方面對這一話題展開討論。 何為可解釋性對於深度學習的用戶而言,模型的可解釋性是一種較為主觀的性質,我們無法通過嚴謹的數學表達方法形式化定義可解釋性。