[1] Representer Point Selection forExplaining Deep Neural Networks
Chih-Kuan Yeh, Joon Sik Kim, Ian E.H. Yen, Pradeep Ravikumar
Carnegie Mellon University
https://papers.nips.cc/paper/8141-representer-point-selection-for-explaining-deep-neural-networks.pdf
這篇文章提出如何解釋深度神經網絡的預測, 即通過指向訓練集中的一組稱為代表樣本, 用於對給定的測試樣本給出預測。
具體而言, 可以將神經網絡的激活前的預測分解為訓練點激活狀態的線性組合, 其權重與代表樣本相對應, 從而可以體現出該樣本點對網絡參數的重要性。
這種做法能夠促使對網絡進行更深入的理解, 而不僅僅是訓練樣本的影響: 標籤為正的代表樣本對應興奮的訓練樣本, 同時,標籤為負的代表樣本對應抑制的訓練樣本。
這種方法具有比較好的可擴展性, 能夠突破影響函數的限制,該方法能夠進行實時反饋。
真實的與預測的softmax輸出之間的皮爾遜係數圖示如下
幾種方法的效果對比如下
兩種方法的耗時對比如下
代碼地址
https://github.com/chihkuanyeh/Representer_Point_Selection
我是分割線
[2] Gather-Excite: Exploiting Feature Context inConvolutional Neural Networks
Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Andrea Vedaldi
Momenta, University of Oxford
https://papers.nips.cc/paper/8151-gather-excite-exploiting-feature-context-in-convolutional-neural-networks.pdf
雖然在卷積神經網絡 (Cnn) 中使用自下而上的局部算子與自然圖像的一些統計特性非常吻合, 但這種局部算子也可能阻止卷積神經網絡捕獲上下文中遠程的特徵交互作用。
在這篇論文中, 作者們提出一種簡單的, 輕量級的方法, 該方法能夠在卷積神經網絡中更好地利用上下文信息。學者們引入一對算子來實現這一點: 第一點即為收集, 它有效地聚合了來自較大空間範圍的特徵響應, 第二點即為激發這些聚合信息, 將聚合信息重新分配為局部特徵。
不管是在所帶來的參數數量的增加上還是在額外的計算複雜性方面, 這些算子都很廉價, 可以直接集成到現有架構中, 並且可以提高性能。
在幾個數據集上的實驗表明, 收集和激發算子帶來的好處可以與以很小的成本來增加美國有線電視新聞網的滲透率相當。比如, 融入收集和激發算子的 Resnet-50 能夠在 ImageNet 上取得優於其101層所取得的效果, 同時無需額外的可學習參數。作者們還提出了一個參數採集-激發算子對, 這種做法能夠帶來進一步的性能增益。該文作者將其與最近推出的壓縮和激發網絡聯繫起來, 並分析了這些算子對 CNN 特徵激活統計所帶來的影響。
採集和激發算子圖示如下
收集激發算子對ResNet-50的影響如下
不同的收集激發算子的影響對比如下
不同的收集激發算子對ShuffleNet的影響如下
其中ShuffleNet對應的論文為
Shufflenet: An extremely efficientconvolutional neural network for mobile devices. In CVPR, 2018
代碼地址
https://github.com/camel007/Caffe-ShuffleNet
https://github.com/MG2033/ShuffleNet
不同的網絡在Cifar-100上的效果對比如下
其中WRN-16-8對應的論文為
Wide residual networks. In BMVC, 2016
代碼地址
https://github.com/szagoruyko/wide-residual-networks
代碼地址
https://github.com/hujie-frank/GENet
我是分割線
[3] Deepcode: Feedback Codes via Deep Learning
Hyeji Kim, Yihan Jiang, Sreeram Kannan, Sewoong Oh, Pramod Viswanath
Samsung AI Centre Cambridge, University of Washington, University of Illinois at Urbana Champaign
https://papers.nips.cc/paper/8154-deepcode-feedback-codes-via-deep-learning.pdf
在深度數學研究和廣泛實際應用中,在統計明確的通道上設計可靠通信的編碼非常重要。這篇文章中,通過深度學習提出了一族編碼,遠遠優於過去幾十年研究的最佳編碼。
本文所考慮的通訊通道是帶有反饋的高斯噪聲通道,該研究最初由山農提出,反饋機制在理論上能夠提升通信的可靠性,但是這樣的實用的編碼還沒有提出。為了突破這種僵局,作者們通過將信息理論洞察與基於遞歸神經網絡的編碼器和解碼器進行和諧地集成, 進而創造出在可靠性方面比已知代碼高出3個數量級的新代碼。
這種新代碼具有以下幾個期望屬性:
(1) 能夠泛化到更大的塊長度;
(2) 可與現有代碼相結合;
(3) 能夠適應實際中的制約因素。
本文的結果對編碼理論產生了更廣泛的影響: 即使信道具有清晰的數學模型, 某種深度學習方法, 如果與信道特定的信息理論相結合, 也有可能戰勝目前最先進的代碼, 雖然這種最先進的代碼可能經歷了幾十年的數學研究而得到。
Deepcodey與其他幾種方法的效果對比圖示如下
基於簡單線性RNN的編碼效果對比如下
Deepcode跟其他幾種方法的效果對比圖示如下
代碼地址
https://github.com/hyejikim1/Deepcode
https://github.com/yihanjiang/feedback_code
我是分割線
您可能感興趣
NIPS2018深度學習(17)|亮點: 記憶重現GAN;圖GAN;箱卷積(論文及代碼)
NIPS2018深度學習(12)|亮點: CNN正交正則;循環控制循環網絡(論文及代碼)
NIPS2018深度學習(9)|亮點:多元卷積稀疏編碼、循環關係網絡
ICML 2018 深度學習論文及代碼集錦(9)
深度學習用於文本摘要的論文及代碼集錦
深度學習用於機器翻譯的論文及代碼集錦
深度學習用於序列標註中的論文及代碼集錦
深度學習在推薦系統中的應用及代碼集錦(4)
深度學習在OCR中的應用論文及代碼集錦 (2)