NIPS2018深度學習(26)|亮點:代表樣本選擇;上下文卷積網絡;反饋編碼(論文及代碼)

2021-02-13 機器學習blog

[1] Representer Point Selection forExplaining Deep Neural Networks

Chih-Kuan Yeh, Joon Sik Kim, Ian E.H. Yen, Pradeep Ravikumar

Carnegie Mellon University

https://papers.nips.cc/paper/8141-representer-point-selection-for-explaining-deep-neural-networks.pdf

這篇文章提出如何解釋深度神經網絡的預測, 即通過指向訓練集中的一組稱為代表樣本, 用於對給定的測試樣本給出預測。

具體而言, 可以將神經網絡的激活前的預測分解為訓練點激活狀態的線性組合, 其權重與代表樣本相對應, 從而可以體現出該樣本點對網絡參數的重要性。

這種做法能夠促使對網絡進行更深入的理解, 而不僅僅是訓練樣本的影響: 標籤為正的代表樣本對應興奮的訓練樣本, 同時,標籤為負的代表樣本對應抑制的訓練樣本。

這種方法具有比較好的可擴展性, 能夠突破影響函數的限制,該方法能夠進行實時反饋。

真實的與預測的softmax輸出之間的皮爾遜係數圖示如下

幾種方法的效果對比如下

兩種方法的耗時對比如下

代碼地址

https://github.com/chihkuanyeh/Representer_Point_Selection

              我是分割線

[2] Gather-Excite: Exploiting Feature Context inConvolutional Neural Networks

Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Andrea Vedaldi

Momenta, University of Oxford

https://papers.nips.cc/paper/8151-gather-excite-exploiting-feature-context-in-convolutional-neural-networks.pdf

雖然在卷積神經網絡 (Cnn) 中使用自下而上的局部算子與自然圖像的一些統計特性非常吻合, 但這種局部算子也可能阻止卷積神經網絡捕獲上下文中遠程的特徵交互作用。

在這篇論文中, 作者們提出一種簡單的, 輕量級的方法, 該方法能夠在卷積神經網絡中更好地利用上下文信息。學者們引入一對算子來實現這一點: 第一點即為收集, 它有效地聚合了來自較大空間範圍的特徵響應, 第二點即為激發這些聚合信息, 將聚合信息重新分配為局部特徵。

不管是在所帶來的參數數量的增加上還是在額外的計算複雜性方面, 這些算子都很廉價, 可以直接集成到現有架構中, 並且可以提高性能。

在幾個數據集上的實驗表明, 收集和激發算子帶來的好處可以與以很小的成本來增加美國有線電視新聞網的滲透率相當。比如, 融入收集和激發算子的 Resnet-50 能夠在 ImageNet 上取得優於其101層所取得的效果, 同時無需額外的可學習參數。作者們還提出了一個參數採集-激發算子對, 這種做法能夠帶來進一步的性能增益。該文作者將其與最近推出的壓縮和激發網絡聯繫起來, 並分析了這些算子對 CNN 特徵激活統計所帶來的影響。

採集和激發算子圖示如下

收集激發算子對ResNet-50的影響如下

不同的收集激發算子的影響對比如下

不同的收集激發算子對ShuffleNet的影響如下

其中ShuffleNet對應的論文為

Shufflenet: An extremely efficientconvolutional neural network for mobile devices. In CVPR, 2018

代碼地址

https://github.com/camel007/Caffe-ShuffleNet

https://github.com/MG2033/ShuffleNet

不同的網絡在Cifar-100上的效果對比如下

其中WRN-16-8對應的論文為

Wide residual networks. In BMVC, 2016

代碼地址

https://github.com/szagoruyko/wide-residual-networks

代碼地址

https://github.com/hujie-frank/GENet

              我是分割線

[3] Deepcode: Feedback Codes via Deep Learning

Hyeji Kim, Yihan Jiang, Sreeram Kannan, Sewoong Oh, Pramod Viswanath

Samsung AI Centre Cambridge, University of Washington, University of Illinois at Urbana Champaign

https://papers.nips.cc/paper/8154-deepcode-feedback-codes-via-deep-learning.pdf

在深度數學研究和廣泛實際應用中,在統計明確的通道上設計可靠通信的編碼非常重要。這篇文章中,通過深度學習提出了一族編碼,遠遠優於過去幾十年研究的最佳編碼。

本文所考慮的通訊通道是帶有反饋的高斯噪聲通道,該研究最初由山農提出,反饋機制在理論上能夠提升通信的可靠性,但是這樣的實用的編碼還沒有提出。為了突破這種僵局,作者們通過將信息理論洞察與基於遞歸神經網絡的編碼器和解碼器進行和諧地集成, 進而創造出在可靠性方面比已知代碼高出3個數量級的新代碼。

這種新代碼具有以下幾個期望屬性: 

(1) 能夠泛化到更大的塊長度;

(2) 可與現有代碼相結合;

(3) 能夠適應實際中的制約因素。

本文的結果對編碼理論產生了更廣泛的影響: 即使信道具有清晰的數學模型, 某種深度學習方法, 如果與信道特定的信息理論相結合, 也有可能戰勝目前最先進的代碼, 雖然這種最先進的代碼可能經歷了幾十年的數學研究而得到。

Deepcodey與其他幾種方法的效果對比圖示如下

基於簡單線性RNN的編碼效果對比如下

Deepcode跟其他幾種方法的效果對比圖示如下

代碼地址

https://github.com/hyejikim1/Deepcode

https://github.com/yihanjiang/feedback_code

              我是分割線

您可能感興趣

NIPS2018深度學習(17)|亮點: 記憶重現GAN;圖GAN;箱卷積(論文及代碼)

NIPS2018深度學習(12)|亮點: CNN正交正則;循環控制循環網絡(論文及代碼)

NIPS2018深度學習(9)|亮點:多元卷積稀疏編碼、循環關係網絡

ICML 2018 深度學習論文及代碼集錦(9)

深度學習用於文本摘要的論文及代碼集錦

深度學習用於機器翻譯的論文及代碼集錦

深度學習用於序列標註中的論文及代碼集錦

深度學習在推薦系統中的應用及代碼集錦(4)

深度學習在OCR中的應用論文及代碼集錦 (2)

相關焦點

  • NIPS2018深度學習(18)|亮點: 貝葉斯深度學習;圖卷積(論文及代碼)
    /paper/7862-slang-fast-structured-covariance-approximations-for-bayesian-deep-learning-with-natural-gradient.pdf在深度學習模型中,不確定性估計計算非常複雜,即時對後驗分布進行高斯逼近也非常困難。
  • NIPS2018深度學習(20)|亮點: 雙向RNN時間序列;對抗自編碼異常檢測;脈衝神經網絡(論文及代碼)
    最近有一些方法主要利用深層編碼解碼網絡結構來計算重構誤差,該誤差可以用來計算新穎度得分或者訓練一分類的分類器。這篇文章也利用類似的網絡結構,不過他們利用概率方法,並且能夠高效的計算一個樣本是否是由正常分布生成的。為此,他們首先對正常分布的潛在結構所暗含的參數流形結構線性化,進而使得新穎度概率可計算。並且給出了概率如何分解,然後關於流形正切空間的局部坐標來計算。
  • NIPS2018深度學習(24)|亮點: 可複製特徵選擇;隨意InfoGAN;快速融合(論文及代碼)
    但是,大多數深度學習方法由於內在的複雜性,在很大程度上被視為可解釋性較差的黑箱工具。儘管最近已經有學者嘗試得到深度神經網絡(DNN)的可解釋性,但是現有方法容易受到噪聲影響並且缺乏魯棒性。因此,科學家們對發現的可重複性持謹慎態度,這通常與底層統計模型的可解釋性有關。
  • NIPS 2017 深度學習論文集錦 (2)
    本文是NIPS 2017 深度學習論文集錦第二篇,第一篇是NIPS 2017 深度學習論文集錦 (1)本文是對上文的續
  • ...ACEnet上下文編碼網絡;卷積網絡生物系統;欺詐檢測;DialogueGCN等
    目錄ACEnet:用於神經解剖分割的解剖上下文編碼網絡圖延長卷積網絡:圖上的顯式多尺度機器學習及其在生物系統建模中的應用用於欺詐檢測的交織序列RNNs DialogueGCN:用於對話情感識別的圖卷積神經網絡模型
  • 【GAN貨】生成對抗網絡知識資料全集(論文/代碼/教程/視頻/文章等)
    基於深度卷積生成對抗網絡的無監督學習(Unsupervised Representation Learning with  Deep     Convolutional Generative  Adversarial Networks (DCGANs))2015https://arxiv.org/pdf/1511.06434v2.pdf對抗實例的解釋和利用(Explaining  and
  • 【專知薈萃11】GAN生成式對抗網絡知識資料全集(理論/報告/教程/綜述/代碼等)
    Nets)2014原文連結:[https://arxiv.org/pdf/1411.1784v1.pdf]2015基於深度卷積生成對抗網絡的無監督學習(Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
  • 深度|NIPS 2016最全盤點:主題詳解、前沿論文及下載資源(附會場趣聞)
    生成對抗網絡。今年,來自其他會議(比如 ICLR)的 GAN 研究熱席捲了本次大會。這與模擬有關,儘管更多的是面向減輕樣本複雜性而非科學方法論主題。人們正在弄清楚 GAN 能實現如此好的優化能力的奇怪原因,這些原因應該能在近期內幫助深度學習獲得一些有趣的改進(不止於許多漂亮照片)。
  • NeurIPS 2019|騰訊AI Lab詳解入選論文,含模仿學習、強化學習、自動機器學習等主題
    因此,本文提議:1)根據與真實目標的接近程度和對各種偽目標的探索好奇心,自適應地選擇失敗經驗;2)逐漸改變選擇指標中目標臨近度和多樣性的比例:本文採用類似人的學習的策略,即在早期階段提高好奇心,之後又將重心轉向臨近度。這種「目標和好奇心驅動的課程學習」就引出了「課程指導的後驗經驗回放(CHER)」。該算法可以在強化學習過程中通過對失敗經驗選擇而實現自適應,動態地控制探索與開發的權衡。
  • 萬字長文帶你看盡深度學習中的各種卷積網絡(下篇)
    正因為此,空洞卷積常被用以低成本地增加輸出單元上的感受野,同時還不需要增加卷積核大小,當多個空洞卷積一個接一個堆疊在一起時,這種方式是非常有效的。 《通過空洞卷積做多規模的上下文聚合》的論文作者在多層空洞卷積以外創建了一個網絡,其中的空洞率 l 每層都以指數級的方式增長。結果,當參數數量每層僅有直線式的增長時,有效的感受野實現了指數型的增長。
  • 譯文 | 讓深度卷積網絡對抗:DCGAN——深度卷積生成對抗網絡
    它只是把經典GAN中的G和D換成了兩個卷積神經網絡(CNN)。但是,並不是直接替換就可以了, DCGAN 對卷積神經網絡的結構做了一些改變,以提高樣本的質量和收斂的速度。具體有哪些改變,將在本文中看到。摘要    近年來,深度卷積神經網絡(CNN)的監督學習在計算機視覺應用上發揮巨大的作用,然而CNN的非監督學習只受到較少的關注。
  • 深度學習 | 第四門課:卷積神經網絡(Convolutional Neural Networks)
    精確率是指分類正確的正樣本個數佔分類器判定為正樣本的樣本個數的比例。查全率是指分類正確的正樣本個數佔真正的正樣本個數的比例。李航老師給出的定義更加的直觀。需要補充的一點是,某個點對應的精確率和召回率是不能全面的衡量模型的性能的,可以通過P-R曲線的整體表現,對模型進行更為全面的評估。
  • NeurIPS 2019 少樣本學習研究亮點全解析
    本文涵蓋了本屆 NeurIPS 收錄的少樣本學習文章,著眼於工作的實用性,創新性以及延續性三個維度,詳解分析了三篇筆者認為非常具有啟發性和實用性的少樣本學習文章,概述了其餘幾篇的貢獻和亮點,以期給感興趣的讀者呈現關於該方向最新的研究進展,以及對後續研發的啟示。
  • 深度學習元老Yann Lecun詳解卷積神經網絡
    早在20世紀80年代末,Yann LeCun就作為貝爾實驗室的研究員提出了卷積網絡技術,並展示如何使用它來大幅度提高手寫識別能力。上世紀末本世紀初,當神經網絡失寵時Yann LeCun是少數幾名一直堅持的科學家之一。他於2003年成為紐約大學教授,並從此引領了深度學習的發展,目前任職於Facebook FAIR實驗室。
  • 萬字長文帶你看盡深度學習中的各種卷積網絡
    來源:AI科技評論摘要:深度學習中的各種卷積網絡大家知多少?深度學習中的各種卷積網絡大家知多少?
  • 從全卷積網絡到大型卷積核:深度學習的語義分割全指南
    By路雪 2017年7月14日  語義分割一直是計算機視覺中十分重要的領域,隨著深度學習的流行,語義分割任務也得到了大量的進步。本文首先闡釋何為語義分割,然後再從論文出發概述多種解決方案。本文由淺層模型到深度模型,簡要介紹了語義分割各種技術,雖然本文並沒有深入講解語義分割的具體實現,但本文簡要地概述了每一篇重要論文的精要和亮點,希望能給讀者一些指南。  什麼是語義分割?  語義分割指像素級地識別圖像,即標註出圖像中每個像素所屬的對象類別。
  • NIPS 2018 | 騰訊 AI Lab 入選 20 篇論文,含 2 篇 Spotlight
    騰訊 AI Lab 第三次參加 NIPS,共有 20 篇論文入選,其中 2 篇被選為亮點論文(Spotlight),涵蓋遷移學習、模仿學習、半監督學習等多個研究主題,去年我們入選論文 8 篇,含 1 篇口頭報告(Oral)。
  • 騰訊AI Lab 20 篇論文入選 NIPS2018,含 2 篇 Spotlight
    騰訊 AI Lab 第三次參加 NIPS,共有 20 篇論文入選,其中 2 篇被選為亮點論文(Spotlight),涵蓋遷移學習、模仿學習、半監督學習等多個研究主題,而去年他們入選論文8篇,含1篇口頭報告(Oral)。
  • 時間卷積網絡(TCN)在 NLP 多領域發光,RNN 或將沒落
    FairSeq 的代碼已發布至 GitHub。 Facebook 稱他們的 FairSeq 網絡的運行速度比基本的 RNN 快 9 倍。 原論文連結: https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf。
  • 深度學習系列文章Part2:遷移學習和微調深度卷積神經網絡(附論文)
    >選自 RevolutionAnalytics作者: Anusua Trivedi機器之心編譯參與:武競、吳攀、李亞洲本文是微軟數據科學家 Anusua Trivedi 所寫的《Deep Learning》系列文章的第二部分,是對遷移學習和微調深度卷積神經網絡的介紹