NIPS2018深度學習(26)|亮點:代表樣本選擇;上下文卷積網絡;反饋編碼(論文及代碼)

2021-02-23 機器學習blog

[1] Representer Point Selection forExplaining Deep Neural Networks

Chih-Kuan Yeh, Joon Sik Kim, Ian E.H. Yen, Pradeep Ravikumar

Carnegie Mellon University

https://papers.nips.cc/paper/8141-representer-point-selection-for-explaining-deep-neural-networks.pdf

這篇文章提出如何解釋深度神經網絡的預測, 即通過指向訓練集中的一組稱為代表樣本, 用於對給定的測試樣本給出預測。

具體而言, 可以將神經網絡的激活前的預測分解為訓練點激活狀態的線性組合, 其權重與代表樣本相對應, 從而可以體現出該樣本點對網絡參數的重要性。

這種做法能夠促使對網絡進行更深入的理解, 而不僅僅是訓練樣本的影響: 標籤為正的代表樣本對應興奮的訓練樣本, 同時，標籤為負的代表樣本對應抑制的訓練樣本。

這種方法具有比較好的可擴展性, 能夠突破影響函數的限制，該方法能夠進行實時反饋。

真實的與預測的softmax輸出之間的皮爾遜係數圖示如下

幾種方法的效果對比如下

兩種方法的耗時對比如下

代碼地址

https://github.com/chihkuanyeh/Representer_Point_Selection

              我是分割線

[2] Gather-Excite: Exploiting Feature Context inConvolutional Neural Networks

Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Andrea Vedaldi

Momenta, University of Oxford

https://papers.nips.cc/paper/8151-gather-excite-exploiting-feature-context-in-convolutional-neural-networks.pdf

雖然在卷積神經網絡 (Cnn) 中使用自下而上的局部算子與自然圖像的一些統計特性非常吻合, 但這種局部算子也可能阻止卷積神經網絡捕獲上下文中遠程的特徵交互作用。

在這篇論文中, 作者們提出一種簡單的, 輕量級的方法, 該方法能夠在卷積神經網絡中更好地利用上下文信息。學者們引入一對算子來實現這一點: 第一點即為收集, 它有效地聚合了來自較大空間範圍的特徵響應, 第二點即為激發這些聚合信息, 將聚合信息重新分配為局部特徵。

不管是在所帶來的參數數量的增加上還是在額外的計算複雜性方面, 這些算子都很廉價, 可以直接集成到現有架構中, 並且可以提高性能。

在幾個數據集上的實驗表明, 收集和激發算子帶來的好處可以與以很小的成本來增加美國有線電視新聞網的滲透率相當。比如, 融入收集和激發算子的 Resnet-50 能夠在 ImageNet 上取得優於其101層所取得的效果, 同時無需額外的可學習參數。作者們還提出了一個參數採集-激發算子對, 這種做法能夠帶來進一步的性能增益。該文作者將其與最近推出的壓縮和激發網絡聯繫起來, 並分析了這些算子對 CNN 特徵激活統計所帶來的影響。

採集和激發算子圖示如下

收集激發算子對ResNet-50的影響如下

不同的收集激發算子的影響對比如下

不同的收集激發算子對ShuffleNet的影響如下

其中ShuffleNet對應的論文為

Shufflenet: An extremely efficientconvolutional neural network for mobile devices. In CVPR, 2018

代碼地址

https://github.com/camel007/Caffe-ShuffleNet

https://github.com/MG2033/ShuffleNet

不同的網絡在Cifar-100上的效果對比如下

其中WRN-16-8對應的論文為

Wide residual networks. In BMVC, 2016

代碼地址

https://github.com/szagoruyko/wide-residual-networks

代碼地址

https://github.com/hujie-frank/GENet

              我是分割線

[3] Deepcode: Feedback Codes via Deep Learning

Hyeji Kim, Yihan Jiang, Sreeram Kannan, Sewoong Oh, Pramod Viswanath

Samsung AI Centre Cambridge, University of Washington, University of Illinois at Urbana Champaign

https://papers.nips.cc/paper/8154-deepcode-feedback-codes-via-deep-learning.pdf

在深度數學研究和廣泛實際應用中，在統計明確的通道上設計可靠通信的編碼非常重要。這篇文章中，通過深度學習提出了一族編碼，遠遠優於過去幾十年研究的最佳編碼。

本文所考慮的通訊通道是帶有反饋的高斯噪聲通道，該研究最初由山農提出，反饋機制在理論上能夠提升通信的可靠性，但是這樣的實用的編碼還沒有提出。為了突破這種僵局，作者們通過將信息理論洞察與基於遞歸神經網絡的編碼器和解碼器進行和諧地集成, 進而創造出在可靠性方面比已知代碼高出3個數量級的新代碼。

這種新代碼具有以下幾個期望屬性: 

(1) 能夠泛化到更大的塊長度;

(2) 可與現有代碼相結合;

(3) 能夠適應實際中的制約因素。

本文的結果對編碼理論產生了更廣泛的影響: 即使信道具有清晰的數學模型, 某種深度學習方法, 如果與信道特定的信息理論相結合, 也有可能戰勝目前最先進的代碼, 雖然這種最先進的代碼可能經歷了幾十年的數學研究而得到。

Deepcodey與其他幾種方法的效果對比圖示如下

基於簡單線性RNN的編碼效果對比如下

Deepcode跟其他幾種方法的效果對比圖示如下

代碼地址

https://github.com/hyejikim1/Deepcode

https://github.com/yihanjiang/feedback_code

              我是分割線

您可能感興趣

NIPS2018深度學習(17)|亮點: 記憶重現GAN;圖GAN;箱卷積(論文及代碼)

NIPS2018深度學習(12)|亮點: CNN正交正則;循環控制循環網絡(論文及代碼)

NIPS2018深度學習(9)|亮點：多元卷積稀疏編碼、循環關係網絡

ICML 2018 深度學習論文及代碼集錦(9)

深度學習用於文本摘要的論文及代碼集錦

深度學習用於機器翻譯的論文及代碼集錦

深度學習用於序列標註中的論文及代碼集錦

深度學習在推薦系統中的應用及代碼集錦(4)

深度學習在OCR中的應用論文及代碼集錦 (2)

相關焦點

  • NIPS2018深度學習(18)|亮點: 貝葉斯深度學習;圖卷積(論文及代碼)
    /paper/7862-slang-fast-structured-covariance-approximations-for-bayesian-deep-learning-with-natural-gradient.pdf在深度學習模型中，不確定性估計計算非常複雜，即時對後驗分布進行高斯逼近也非常困難。
  • NIPS 2017 深度學習論文集錦 (2)
    本文是NIPS 2017 深度學習論文集錦第二篇，第一篇是NIPS 2017 深度學習論文集錦 (1)本文是對上文的續
  • 推薦系統頂會RecSys 2017深度學習論文及代碼集錦
    為了模擬這些通常具有不同類型和性質的數據，作者們使用三維卷積神經網絡，對所有輸入數據進行字符級編碼。3D結構提供了捕獲時空模式的自然方式，字符級網絡允許使用其原始文本表示對不同數據類型進行建模，從而減少了特徵工程。作者們將所提方法用於預測電子商務網站中的添加到購物車事件，這比預測下次點擊更加困難。
  • 深度學習用於目標檢測的論文及代碼集錦
    UNC Chapel HillECCV 2016https://www.cs.unc.edu/~wliu/papers/ssd.pdfSSD利用深度神經網絡將邊界框的輸出空間離散化到多個特徵映射中，這些特徵映射具有不同的縱橫比和尺度。
  • 【GAN貨】生成對抗網絡知識資料全集(論文/代碼/教程/視頻/文章等)
    基於深度卷積生成對抗網絡的無監督學習（Unsupervised Representation Learning with  Deep     Convolutional Generative  Adversarial Networks (DCGANs)）2015https://arxiv.org/pdf/1511.06434v2.pdf對抗實例的解釋和利用（Explaining  and
  • 深度卷積網絡:實例探究——吳恩達DeepLearning.ai深度學習筆記之卷積神經網絡(二)
    相關論文：Krizhevsky et al.,2012. ImageNet classification with deep convolutional neural networks。這是一篇易於理解並且影響巨大的論文，計算機視覺群體自此開始重視深度學習。
  • NIPS2018 | 騰訊AI Lab入選20篇論文,含2篇Spotlight
    騰訊AI Lab第三次參加NIPS，共有20篇論文入選，其中2篇被選為亮點論文（Spotlight），涵蓋遷移學習、模仿學習、半監督學習等多個研究主題，去年我們入選論文8篇，含1篇口頭報告（Oral）。
  • NIPS 2018四大最佳論文出爐!陳天奇等獲獎,7場重磅演講預告
    新智元導讀】NeurIPS 2018最佳論文公布，4篇最佳論文中有一篇一作是陳天琦。本屆大會參會人數超過了8000人次，錄取率為21%，三個最熱門投稿領域依次為算法、深度學習和應用。NeurIPS 2018終於開始，主會場排滿了6500人的座位，旁邊還有能容納1500人的房間。
  • 交叉新趨勢|採用神經網絡與深度學習來預報降水、溫度等案例(附代碼/數據/文獻)
    >本文所有的案例都是整理於網際網路中，本文會提供相應的開原始碼連結、數據集、相關論文。通過使用一個大的狀態轉換卷積核捕捉快速的運動，而小的卷積核捕捉慢的運動；當最後兩個維度為 1 時，FC-LSTM 也可以視為一個特殊的 ConvLSTM，每一個單元格代表一個特徵。Pytorch 實現可以參考 ConvLSTM，我合併了八次卷積操作，所以整個計算量和普通的卷積差不多，偏置項影響不大。
  • NIPS 2016 -- 增量Boosting CNN 用於面部動作單元識別
    目前有很多方法可以從視頻或靜態圖片中抽取特徵，用來表徵由目標面部單元引起的人臉在外觀上的變化或幾何上的變化。大多數方法都是利用人工方法抽取特徵，並不是為面部單元識別而設計的。最近，卷積神經網絡在很多應用中取得了重大成功，比如目標檢測與分類，視頻分析，在人臉表情和面部單元識別中也有很多應用。卷積神經網絡需要很多參數，尤其是網絡結構比較深的情形。
  • 論文推薦|【KSII TIIS 2021】DP-LinkNet:一種用於古籍文檔圖像二值化的卷積網絡(有源碼)
    圖1  古籍文檔圖像樣例，(a)選自Bickley日記數據集，(b)-(g)選自DIBCO競賽數據集基於深度學習的圖像語義分割模型大多遵循編碼器-解碼器體系結構，如FCN(全卷積網絡)[2]和U-Net[3]。
  • 基於深度卷積神經網絡的巖性識別
    Chen[5]等人採用Inception-ResNet-V2深度卷積神經網絡模型對開挖面巖體結構進行分類；（卷得有點嚴重了....）卷積神經網絡的其特點在於多層結構的特徵學習能力，淺層的卷積層感知域較小，能夠學習到局部區域特徵，而深層的卷積層則具有較大的感知域，能夠學習到更加抽象的特徵，這些特徵的獲取能夠實現對物體信息的充分感知，從而提高特徵識別的性能，相較於傳統的圖像處理方法有明顯的優勢。FCN模型最早是由Berkeley團隊的Shelhamer]等人提出的，在CNN網絡基礎上應用反卷積（上採樣）操作實現像素級分類。
  • 20篇頂級深度學習論文(附連結)
    ., Joel V et al (2015) (Cited: 2,086) 連結：https://web.stanford.edu/class/psych209/Readings/MnihEtAlHassibis15NatureControlDeepRL.pdf 這裡我們使用最近在訓練深度神經網絡方面的進展來開發一種稱為深度Q網絡的新型人工代理
  • 論文淺嘗 | 基於動態記憶的原型網絡進行元學習以實現少樣本事件探測
    在元學習的設置下，將事件檢測建模成少樣本學習任務（遵循N-Way-K-Shot的實驗設定），稱之為少樣本事件檢測（FSED）。傳統的原型網絡簡單地通過平均計算事件描述（event mention）文本的編碼來表示事件原型，這樣的做法只會用一次event mention的編碼。
  • 從AlexNet到BERT:深度學習中那些最重要的idea回顧
    最近的一個是 GPT3，自從給出 API 後，網絡上展現出了各種特別 fancy 的demo，簡直了，各種自動補全。作者會在這裡回顧深度學習領域經歷時間考驗被廣泛應用的一些想法，當然不能全面覆蓋。即使這樣，下面介紹到的深度學習技術，也已經涵蓋了理解現代深度學習研究所需的基本知識。如果你是該領域的萌新，那麼很好，這會是你一個非常好的起點。
  • NIPS 2018丨解讀微軟亞洲研究院10篇入選論文
    根據你是事先決定 次訪問的分配方案，還是每訪問一次後根據反饋調整策略，問題又進一步分為非自適應性和自適應性的問題。我們對這些問題進行了系統性的研究，在離線優化方面，我們證明了貪心算法在非自適應性和自適應性情形下都能給出最優解。在在線學習方面，我們給出了基於置信上界（UCB）的在線學習算法，並給出了算法遺憾度（regret）的分析。
  • CVPR 2017國內外亮點論文匯集:史上最盛大會議,華人佔據半壁江山
    不僅在學術領域，隨著深度學習在圖像處理領域的應用熱潮，越來越多的業界研究機構也在將目光投向 CVPR，從數量眾多的大會贊助商中，我們就可以感受到這一活動的關注度之高。在漫長的等待之後，本屆大會已於 2017 於 7 月 21 日在美國夏威夷開幕，並將舉行至 7 月 26 日。
  • 清華朱軍團隊包攬三項冠軍 | NIPS 2017對抗樣本攻防競賽總結(附學習資料)
    L-BFGS第一個發現神經網絡對抗樣本攻擊的方法之一是 Goodfellow 等人的 Intriguing properties of neural networks 論文。該方法的思路是解決如下的優化問題：
  • 深度 | 輕量級深度卷積神經網絡在農業機器人中的應用
    在本文中，作者提出了學習輕量級模型的一個非常新穎的方式，在實現精度超過 90% 的同時讓訓練速度快了一個數量級，讓參數也少了一個數量級。作者主要使用了以下三個步驟：1). 將預先訓練好的模型適應於手頭的任務中。2). 在適應的模型中使用模型壓縮技術來學習到一個具有更少參數的輕量級深度卷積神經網絡（DCNN）3).
  • 深度上下文詞向量
    NLP 領域成績斐然，無論是情感分類、語言模型、機器翻譯或是閱讀理解，基於深度學習的方法都取得了快速的進展，將機器理解語言的能力推到了一個新的高度。這些預訓練的詞向量能夠學習到大規模無監督語料中蘊含的詞的語義和語法信息，在各種主流的深度學習模型中作為對詞的基本表示，都取得了非常好的效果。然而，詞向量訓練只能學習到上下文無關的，單個詞的固定表示。