打開人工智慧黑箱:看最新16篇可解釋深度學習文章,帶您了解增強AI透明性

【導讀】深度學習通常在監督任務上有較高的準確性，但是無法給出產出過程的明確解釋，這也是一直被詬病「黑箱模型」。而可解釋性AI在關於人類的很多應用方面是必需的，如醫療診斷、教育學習、政府決策等等。最近，關於深度學習的可解釋性，學者們做了大量的研究工作，專知整理關於深度學習可解釋性的最新一些文章，希望能給讀者提供一些參考和幫助。

請關注專知公眾號（掃一掃最下面專知二維碼，或者點擊上方藍色專知）

專知開課啦!《深度學習: 算法到實戰》, 中科院博士為你講授！

可解釋人工智慧：從SML到XAI

美國darpa網站，描述了傳統機器學習模型與解釋性人工智慧模型的區別，現在的統計機器學習模型更加注重預測結果，比如推薦什麼，識別是什麼，什麼決定。

https://www.darpa.mil/program/explainable-artificial-intelligence

而解釋性人工智慧模型除了給出預測結果，還更加注重預測結果的過程，為什麼給出這樣的預測結果，做出解釋。增強 AI 模型的透明(transparency)是人機互信的前提。

比如

比如圖像識別的任務，現在的模型通過卷積神經網絡會識別出這是一隻貓。

可解釋人工智慧模型，會給出解釋，它有皮毛鬍鬚 爪子， 這一確認這是一隻貓。

最近《可解釋性深度學習》論文

1. 可解釋性卷積神經網絡

   在視覺識別方面，卷積神經網絡毫無疑問取得的巨大的識別性能提升。如何增強對識別過程的透明性，是一個重要的問題。這一方面，相關學者做了很多工作。周博磊博士(香港中文大學)和張拳石博士（上海交通大學）在這方面做了大量的工作。

視覺智能的可解釋表示學習

 Interpreting Deep Visual Representations via Network Dissection.
Bolei Zhou*, David Bau*, Aude Oliva, and Antonio Torralba. IEEE Transactions on Pattern Analysis and Machine Intelligence, June 2018. 

http://netdissect.csail.mit.edu/

Bolei Zhou, Interpretable Representation Learning for Visual Intelligence. PhD thesis submitted to MIT EECS, May 17, 2018.
Committee: Antonio Torralba, Aude Oliva, Bill Freeman.

http://people.csail.mit.edu/bzhou/publication/thesis.pdf

可解釋CNN

Visual interpretability for Deep Learning: a Survey. Quanshi Zhang and Song-Chun Zhu. Frontiers of Information Technology & Electronic Engineering. Vol. 19, No. 1, page 27-39, 2018

http://www.zhuanzhi.ai/paper/cc8b59ceb80123200f202301e1a81e2f

Interpretable Convolutional Neural Networks. Quanshi Zhang, Ying Nian Wu, and Song-Chun Zhu. CVPR (Spotlight) 2018 

http://www.zhuanzhi.ai/paper/e667f830addd942807055f020b80594c

Interpreting CNN Knowledge via an Explanatory Graph. Quanshi Zhang, Ruiming Cao, Feng Shi, Ying Nian Wu, and Song-Chun Zhu AAAI, 2018

http://www.zhuanzhi.ai/paper/e224cdc24f8c2a7f0fbfbb5f749d940a

2. 可解釋性循環神經網絡

周志華老師最新文章。Learning with Interpretable Structure from RNN. Bo-Jian Hou, Zhi-Hua Zhou

http://www.zhuanzhi.ai/paper/82929da4eacc81e9e25cf9f0e9770814

Relational recurrent neural networks. Adam Santoro,Ryan Faulkner,David Raposo,Jack Rae,Mike Chrzanowski,Theophane Weber,Daan Wierstra,Oriol Vinyals,Razvan Pascanu,Timothy Lillicraphttp://www.zhuanzhi.ai/paper/ecd625987c9e4c5dba887fa20fc1d3bd

Interpretable LSTMs For Whole-Brain Neuroimaging Analyses.  Armin W. Thomas, Hauke R. Heekeren, Klaus-Robert Müller, Wojciech Samek. https://arxiv.org/abs/1810.09945Interpretable Structure-Evolving LSTM. Xiaodan Liang, Liang Lin, Xiaohui Shen, Jiashi Feng, Shuicheng Yan, Eric P. Xinghttps://arxiv.org/pdf/1703.03055.pdf

3. 圖神經網絡

Deep Learning on Graphs: A Survey. Ziwei Zhang,Peng Cui,Wenwu Zhu

http://www.zhuanzhi.ai/paper/abe85f14a3697712fd1c3d0c3b5ddcb0

從聲學、圖像到自然語言處理，深度學習在許多領域都取得了成功。然而，將深度學習應用於無所不在的圖數據並非易事，因為圖形具有獨特的特性。近年來，這一領域的研究取得了很大的進展，極大地推動了圖分析技術的發展。在本研究中，我們全面回顧了應用於圖深度學習各種方法。我們將現有的方法分為三大類:半監督方法，包括圖神經網絡和圖卷積網絡; 非監督方法，包括圖自動編碼器; 然後，我們根據這些方法的發展歷史，系統地概述這些方法。我們還分析了這些方法的差異以及如何組合不同的體系結構。最後，簡要概述了它們的應用，並討論了未來可能的發展方向。

Graph Neural Networks: A Review of Methods and Applications. Jie Zhou,Ganqu Cui,Zhengyan Zhang,Cheng Yang,Zhiyuan Liu,Maosong Sun

http://www.zhuanzhi.ai/paper/488d7f3542ddb0fbda2d94de0a95f882

很多學習任務都需要處理圖形數據，這些數據包含了元素之間豐富的關係信息。建模物理系統，學習分子指紋，預測蛋白質界面，以及疾病分類都需要模型從圖形輸入中學習。在從文本、圖像等非結構化數據學習等領域，對提取出的句子依賴樹、圖像場景圖等結構進行推理是一個重要的研究課題，也需要圖形推理模型。圖神經網絡(GNNs)是一種連接主義模型，它通過在圖的節點之間傳遞消息來獲取圖的依賴性。與標準神經網絡不同的是，圖神經網絡保留了一種狀態，這種狀態可以用任意深度表示鄰居的信息。雖然原始圖神經網絡很難訓練成定點，但是最近在網絡結構、優化技術和並行計算方面的進展使得利用它們進行成功的學習成為可能。近年來，基於圖卷積網絡(GCN)和門控圖神經網絡(GGNN)的系統在上述許多任務上都表現出了突破性的性能。在本研究中，我們對現有的圖神經網絡模型進行了詳細的回顧，系統地對其應用進行了分類，並提出了四個有待進一步研究的問題。

A Comprehensive Survey on Graph Neural Networks. 

http://www.zhuanzhi.ai/paper/9b6b624c68a446ccc9b952c90c76c72b

摘要：近年來，從圖像分類到視頻處理再到語音識別和自然語言處理，深度學習已經變革了多項機器學習任務。這些任務中的數據通常表示在歐幾裡得空間中。然而，越來越多的應用使用非歐幾裡得域生成的數據，並將它們表示為具有複雜關係和相互依賴關係的圖。雖然圖數據的複雜性對現有機器學習算法提出了重大挑戰，但最近許多研究開始將深度學習方法擴展到圖數據。本文綜述了數據挖掘和機器學習領域中的圖神經網絡（GNN），並按照新的方法對圖神經網絡的最新進展進行了分類。在關注圖卷積網絡的同時，他們還回顧了最近開發的其他架構，例如圖注意力網絡、圖自編碼器，圖生成網絡以及圖時空網絡等。我們還進一步討論了圖神經網絡在多個領域的應用並總結了不同學習任務現有算法的開原始碼及基準。最後，我們提出了這一快速發展領域的研究方向。

4. 其他

SDRL: Interpretable and Data-efficient Deep Reinforcement Learning Leveraging Symbolic Planning. Daoming Lyu, Fangkai Yang, Bo Liu, Steven Gustafson. AAAI 2019Explaining AlphaGo: Interpreting Contextual Effects in Neural Networks. Zenan Ling, Haotian Ma, Yu Yang, Robert C. Qiu, Song-Chun Zhu, Quanshi Zhanghttp://www.zhuanzhi.ai/paper/098d54a6f36db868ab0ec5093d57fd67

Explainable Recommendation Through Attentive Multi-View Learning Jingyue Gao (Peking University)*; Xiting Wang (Microsoft Research Asia); Yasha Wang (Peking University); Xing Xie (Microsoft Research Asia) AAAI 2019. 

Explainable Reasoning over Knowledge Graphs for Recommendation

Xiang Wang, Dingxian Wang, Canran Xu, Xiangnan He, Yixin Cao, Tat-Seng Chua

http://www.zhuanzhi.ai/paper/c5aea5726ea76ff7beb8083bca1083c7

5. 更多可解釋人工智慧資料

Interesting resources related to XAI (Explainable Artificial Intelligence)

https://github.com/pbiecek/xai_resources

-END-

請加專知小助手微信（掃一掃如下二維碼添加），諮詢《深度學習:算法到實戰》參團限時優惠報名~

歡迎微信掃一掃加入專知人工智慧知識星球群，獲取專業知識教程視頻資料和與專家交流諮詢！

請PC登錄www.zhuanzhi.ai或者點擊閱讀原文，註冊登錄專知，獲取更多AI知識資料！

點擊「閱讀原文」，了解報名專知《深度學習:算法到實戰》課程