機器之心編譯參與：黃小天、Smith
近日，麻省理工學院（MIT）Antonio Torralba 等人發表了一篇題為《mNeuron: A Matlab Plugin to Visualize Neurons from Deep Models》的文章，介紹了一個可視化深度模型神經元的 Matlab 插件 mNeuron，能夠可視化單個神經元和單個神經元模式；並共享了該插件實現的代碼和 4 個應用演示。
項目連結：http://vision03.csail.mit.edu/cnn_art/?utm_content=buffer2ff9c&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer
內容
代碼：通過反向傳播優化可視化從深度學習工具包中訓練的神經元 [支持 Caffe 和 matconvnet]演示:
可視化單個神經元可視化單個神經元模式
類內變體（Intra-class variation）：優化已學習的 fc6 或 fc7 relu mask層級二進位 CNN 代碼（Hierarchical binary CNN code）：通過預定義的 relu mask 優化
CNN 圖像完成（Image completion with CNN）：通過邊界條件優化
參考
可視化方法根據《Mahendran and Vedaldi. Understanding Deep Image Representations by Inverting Them》進行了改良。說明書
演示 1：可視化單一神經元(V_neuronInv.m)
目的：找到一個圖像，可以使單神經元的激活值優化 [Erhan et al., Simonyan et al., Zhou et al.]
a. 不同連接層（AlexNet）：我們使從 ImageNet 數據集進行學習的 Conv 網絡 1、3、5 層的神經元可視化。隨著層的深度的增加，神經元學著去識別簡單的邊沿、斑點和紋理圖案，以及複雜的物體局部和類別（從 Conv 網絡的第 5 層，我們檢索了真實圖像從而與 Zhou et al. 的結果進行對比）。
b. 鑲嵌藝術（Tessellation Art）我們不會在 1x1 的接受域（receptive field）內對單神經元的激活值進行優化，我們把接受域延伸到了全圖範圍（GoogleNet inception4a—14x14）。我們手動整理了一些神經元的可視化結果，從而把物體的局部鑲嵌進藝術牆紙。
c. 不同的數據集：我們可視化了從兩個不同數據集（ImageNet 和 Places）進行學習的 Conv 網絡 4-5 層的神經元。
d. 不同的網絡:（AlexNet、VGG-16、NIN、GoogleNet）給定四個語義片段「狗、火焰、鐘錶和車輪」，我們對四個不同網絡的約齊層（roughly aligned layers—在全連層之前）的最活化（top-activated）神經元進行可視化。
演示 2：可視化類內變體
類內變體：在給定一個物體類別的訓練圖像的情況之下，我們集群 Fc 神經元反應以找到一般性的神經元放電模式（神經通路）。對於每個模式，我們選擇 top-k 已激活的神經元，並從數字上找到一個優化這些神經元的全部激活值的圖像。
演示 3:可視化二進位 CNN 代碼
給定一張輸入圖像，我們可以把它的二進位代碼定義為其 relu mask m5-7。[Agrawal et al.（https://arxiv.org/abs/1407.1610）] 指出，這些二進位代碼取得了原始深度特徵的相似分類結果。這裡我們考慮三個不同的帶有漸增長度的二進位代碼：m7、m6-7、m5-7。
為了可視化一張圖像的二進位代碼，我們為 Fc8 標籤執行相同的「單一神經元可視化」的操作，除卻在優化過程之中原始 relu 層之後應用額外的二進位代碼。通過更多層的二進位代碼，我們可以恢復原始圖像的本質（essence），這部分解釋了它的分類有效性。
演示 4：用卷積神經網絡完成圖像 (V_inpaint.m)
詳見說明書 5.3 章節。主旨是我們可以利用圖像上的邊界約束來進行神經元（單一神經元或者神經元模式）可視化。