清華大學孫茂松組:圖神經網絡必讀論文列表

2021-01-04 機器之心Pro

機器之心編輯

參與：路

近年來，圖神經網絡研究成為深度學習領域的熱點。最近，清華大學朱文武等人綜述了圖網絡，清華大學孫茂松組也發布了預印版綜述文章 Graph Neural Networks: A Review of Methods and Applications。除此之外，孫茂松組周界、崔淦渠、張正彥同學對 GNN 相關的綜述論文、模型與應用進行了綜述，並發布在 GitHub 上。

GitHub 連結：https://github.com/thunlp/GNNPapers

綜述論文

這部分共介紹了 8 篇論文，包括前面提到的清華大學的兩篇綜述論文。

機器之心介紹過其中的部分論文，參見：

深度學習時代的圖模型，清華發文綜述圖網絡清華大學圖神經網絡綜述：模型與應用學界 | DeepMind 等機構提出「圖網絡」：面向關係推理學界 | Facebook 何愷明等人最新論文提出非局部神經網絡

模型

模型部分包括 35 篇論文，包括：

Yoshua Bengio 發表在 ICLR 2018 上的論文《Graph Attention Networks》，該論文提出了基於近鄰節點注意機制的網絡架構 GAT，可用於處理複雜、不規則結構的計算圖，並在三種困難的基準測試中得到了業內最佳水平，研究人員稱該模型有望在未來處理任意不規則結構圖。谷歌發表在 ICLR 2018 上的論文《Graph Partition Neural Networks for Semi-Supervised Classification》，該論文提出了一種圖神經網絡的新變體——圖分割神經網絡（Graph Partition Neural Network，GPNN），該網絡適用於處理大型圖。清華朱軍等人發表在 ICML 2018 上的論文《Stochastic Training of Graph Convolutional Networks with Variance Reduction》，提出基於控制變量的圖卷積網絡（GCN），有效減少感受野大小。騰訊 AI Lab 發表在 AAAI 2018 上的論文《Adaptive Graph Convolutional Neural Networks》，提出自適應圖卷積神經網絡 AGCN，可接受任意圖結構和規模的圖作為輸入。李佳等人發表在 TOMM 2015 上的論文《CelebrityNet: A Social Network Constructed from Large-Scale Online Celebrity Images》，提出了一種基於圖像的社交網絡 CelebrityNet，該網絡基於名人照片中編碼的隱性關係構建而成。KDD 2018 最佳論文《Adversarial Attacks on Neural Networks for Graph Data》，提出了針對圖深度學習模型的對抗攻擊方法，是首個在屬性圖上的對抗攻擊研究；研究者還提出了一種利用增量計算的高效算法 Nettack。……

論文列表如下：

應用

應用部分有 86 篇論文，包括：

DeepMind 發表在 ICLR 2017 上的論文《Discovering objects and their relations from entangled scene representations》和《Metacontrol for Adaptive Imagination-Based Optimization》，介紹了交互網絡在場景理解和基於想像的決策（imagination-based decision-making）上的應用。Geoffrey Hinton 等人發表在 NIPS 2016 上的論文《Attend, Infer, Repeat: Fast Scene Understanding with Generative Models》，該論文提出了一個用於結構化圖像模型（可以對目標進行明確的推理）中的有效推理的框架。這種方法是通過使用一個循環神經網絡來執行概率推理——該循環神經網絡可以處理場景元素且一次處理一個。關鍵的是，該模型自身可以學習選擇合適數量的推理步驟。相比於監督式的方法，該網絡可以產出更精確的推理，而且它們的結構也可以使歸納得到進一步的提升。港中文發表在 AAAI 2018 上的論文《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》，該論文提出了一種時空圖卷積網絡，並利用它們進行人類行為識別。這種算法基於人類關節位置的時間序列表示而對動態骨骼建模，並將圖卷積擴展為時空圖卷積網絡而捕捉這種時空的變化關係。CMU 和谷歌的 CVPR 2018 Spotlight 論文《Iterative Visual Reasoning Beyond Convolutions》，提出了一種新的迭代視覺推理框架。該框架超越了目前只具備卷積堆棧推理能力的識別系統。該框架由兩個核心模塊組成：一個是局部模塊，使用空間記憶以並行更新的方式存儲以前的信念；另一個是全局圖形推理模塊。谷歌發表在 NIPS 2017 上的著名論文《Attention Is All You Need》，提出了一種新型的簡單網絡架構——Transformer，它完全基於注意力機制，徹底放棄了循環和卷積。Christopher D. Manning 發表在 EMNLP 2015 上的論文《Effective Approaches to Attention-based Neural Machine Translation》，探討了兩種簡單有效的注意機制類別：一種能顧及到所有源詞的全局方法，以及一種只能一次查看源詞的一個子集的局部方法。DeepMind 2018 年的研究《Relational Deep Reinforcement Learning》，提出了一種「關係性深度強化學習」方法，並在星際爭霸 2 中進行了測試。來自微軟研究院和西門菲莎大學的研究者發表在 ICLR 2018 上的論文《Learning to Represent Programs with Graphs》，提出基於程序圖簡化程序分析，從原始碼中學習。該方法結合基於數理邏輯和自然語言理解的程序分析方法，可以更準確地查找已發布軟體中的 bug。清華朱軍等人發表在 ICML 2018 上的論文《Adversarial Attack on Graph Structured Data》，關注圖神經網絡的魯棒性，即通過攻擊（對抗）訓練的方法來增強圖神經網絡分類的穩定性。Christopher D. Manning 等人發表在 ACL 2015 上的論文《Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks》，提出了改善語義表徵的 Tree-LSTM，用於自然語言處理任務，在預測句子相關度和情感分類任務上表現優異。Christopher D. Manning 等人發表在 EMNLP 2018 上的論文《Graph Convolution over Pruned Dependency Trees Improves Relation Extraction》，提出一種用於關係提取的圖卷積網絡變體。UCLA 朱松純教授等人發表在 ECCV 2018 上的論文《Learning Human-Object Interactions by Graph Parsing Neural Networks》，提出圖解析神經網絡（Graph Parsing Neural Network，GPNN），用於檢測和識別圖像和視頻中人-物交互的任務。……

論文列表如下：

本文為機器之心編輯，轉載請聯繫本公眾號獲得授權。

相關焦點

  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    NeurIPS 2020 | 圖機器學習NeurIPS'20: 80多篇與圖相關的論文整理與小結 (更新中)圖神經網絡說難不難，說容易不容易。如果你還沒有入門，不用著急，站在他人的肩膀上，你會看的輕鬆一點，歡迎參考從下面的學習路線1 Tutorial教程合集（入門必讀）為什麼要進行圖嵌入表示?
  • 和清華大學自然語言處理與社會人文計算實驗室一起讀機器翻譯論文
    雷鋒網 AI 科技評論按：在生產和經濟高度全球化的今天，機器翻譯（Machine Translation）是人類面對外語時最渴望擁有的工具，也是神經網絡帶來最大變革的人工智慧問題之一。從最早的基於規則的機器翻譯，到基於概率的機器翻譯，再到現在的基於神經網絡的機器翻譯，機器學習和語言學的研究人員們一起經歷了幾十年的歷程。
  • 清華大學圖神經網絡綜述:模型與應用
    機器之心專欄作者：PaperWeekly近年來，圖神經網絡的研究成為深度學習領域的熱點，機器之心曾介紹過清華大學朱文武等人綜述的圖網絡。近日，清華大學孫茂松組在 arXiv 上發布預印版綜述文章 Graph Neural Networks: A Review of Methods and Applications。
  • 近幾年-基於深度學習自然語言處理的推薦系統-必讀論文整理分享
    論文列表機器學習必讀新書-《凸優化算法原理詳解》免費pdf分享中文醫療領域自然語言處理相關數據集、經典論文資源蒸餾分享計算機視覺（CV）歷史最全預訓練模型(部署)匯集分享神經網絡基礎教材-《計算認知神經科學介紹》免費pdf分享
  • 圖神經網絡最新論文總結(附源碼)
    來自網絡圖神經網絡（GNN）是深度學習領域最新的研究成果，在生物信息學、化學信息學、社會網絡、自然語言處理和計算機視覺等多學科領域有著廣泛的應用。這一塊的研究也吸引了像騰訊這樣的巨頭參與。圖神經網絡是一種有效的圖表示學習框架。 Gnn 遵循一個鄰域聚合方案，其中一個節點的表示向量是通過遞歸聚合和轉換相鄰節點的表示向量來計算的。 圖分類問題在許多不同的領域也都有實際的應用。 本文總結了近一年來圖神經網絡在深度學習方面的應用，文中論文都有原始碼，供大家參考。
  • 7篇必讀ACM MM 2019論文:圖神經網絡+多媒體
    圖神經網絡在多媒體領域應用非常多，本文整理了七篇ACM MM 2019最新GNN相關論文，並附上論文連結供參考——個性化推薦、短視頻推薦、多視頻摘要、基於文本的行人搜索、視頻關係檢測、社區問答（CQA）系統等。來新智元 AI 朋友圈和AI大咖們一起討論吧。
  • 圖神經網絡的十大學習資源分享
    字幕組雙語原文：【乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行。
  • 【乾貨】圖神經網絡的十大學習資源分享
    字幕組雙語原文：【乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）Hamilton編寫的圖表示學習書籍Graph Representation Learning Book本書是改變遊戲規則的書，目前可以在線下載的預出版的版本。本書從圖理論和傳統圖方法等初級課題開始，到前沿GNN模型和最先進的GNN研究等高級課題。本書設計精巧，自成體系，擁有圖神經網絡所需的大部分理論。2.
  • 網絡表示學習領域(NRL/NE)必讀論文匯總
    （NRL: network representation learning）和網絡嵌入研究領域（NE: network embedding）必讀論文清單。五篇必讀Survey Papers作者：William L.
  • 想要了解圖或圖神經網絡?沒有比看論文更好的方式
    機器之心編輯參與：思源圖嵌入、圖表徵、圖分類、圖神經網絡，這篇文章將介紹你需要的圖建模論文，當然它們都有配套實現的。圖是一種非常神奇的表示方式，生活中絕大多數的現象或情境都能用圖來表示，例如人際關係網、道路交通網、信息網際網路等等。正如馬哲介紹事物具有普遍聯繫性，而圖正好能捕捉這種聯繫，所以用它來描述這個世界是再好不過的方法。
  • ICCV 2019 論文解讀:用圖神經網絡改善視頻的多標籤分類
    作者 | 王磊本文介紹了汽車之家團隊在ICCV 2019一篇關於視頻理解論文相關的工作。針對視頻多標籤分類的問題，論文提出了將視頻多標籤之間相關性特徵加入到網絡之中，結果證明該方法可以顯著的提高視頻多標籤分類效果。
  • 圖神經網絡(GNN)的簡介
    近年來，圖神經網絡(GNN)在社交網絡、知識圖、推薦系統甚至生命科學等各個領域得到了越來越廣泛的應用。GNN在對圖節點之間依賴關係進行建模的強大功能，使得與圖分析相關的研究領域取得了突破。本文介紹了圖神經網絡的基本原理，以及兩種高級的算法，DeepWalk和GraphSage。
  • AI專家們推薦的「必讀」論文
    我們之前寫了一篇文章，向大家推薦了一些AI必讀論文，引起很好的反響。現在，我們推出了第二篇文章。這次推薦的論文依然是分量十足、誠意滿滿，各位推薦者都認為自己推薦的論文是AI人員必讀的經典之作，不知各位讀者怎麼看。現在，我們來看看這次入選的是哪些論文吧！不過在這之前，我還是向您推薦我們之前的那一篇文章，那篇文章也絕對值得一讀。
  • 圖神經網絡的重要分支:時間圖網絡
    在本文中，我們將描述時間圖網絡（Temporal Graph Network，TGN），這是一個用於深度學習動態圖的通用框架。本文是 Michael Bronstein 與 Emanuele Rossi 共同撰寫的。圖神經網絡的研究已經成為今年機器學習領域 炙手可熱 的話題之一。最近，圖神經網絡在生物學、化學、社會科學、物理學和許多其他領域的問題上，取得了一系列成功。
  • 圖神經網絡的重要分支：時間圖網絡
    圖神經網絡的研究已經成為今年機器學習領域 炙手可熱 的話題之一。最近，圖神經網絡在生物學、化學、社會科學、物理學和許多其他領域的問題上，取得了一系列成功。到目前為止，圖神經網絡模型主要是針對靜態圖而開發的，靜態圖不會隨著時間而改變。然而，許多有趣的現實世界圖都是動態的，並且會隨著時間的推移而不斷變化，突出的例子包括社交網絡、金融交易和推薦系統。在許多情況下，正是這種系統的動態行為傳達了重要的見解，否則，如果只考慮靜態圖的話，就會失去這種見解。
  • 八篇ICCV 2019 最新圖神經網絡、CV相關論文
    ，一共有1077篇論文被接收，接收率為25.02%，近期arXiv放出了很多ICCV相關論文。我們為大家整理了8篇圖神經網絡（GNN）+CV相關的論文。>>>人工智慧改變中國，我們還要跨越這三座大山 | 獻禮70周年 為了帶大家搶先領略高質量論文，小編特意整理了八篇ICCV 2019最新GNN相關論文，並附上arXiv論文連結供參考——點雲結合、姿態估計、行為定位、視覺傳感、多標籤圖像識別、視覺問答、圖匹配等。
  • CIKM投稿數量1700篇,圖神經網絡成熱門方向,最佳論文紛紛進行圖研究
    話題論文的接收率（紅線）一定程度上反映了審稿人的興趣，若按接收率進行排序，可以看出廣告和金融方向的論文更容易被接收；而對科學數據進行處理的文章更可能被拒絕掉。而另一方面，柱狀圖的高低則能夠反映研究者的興趣點，顯然data mining、機器學習和深度神經網絡仍然佔據高位，而資料庫、網頁挖掘等則相對小眾。
  • 清華力壓CMU再奪CSRankings高校AI排行王座;圖神經網絡ImageNet
    在AI板塊，清華大學排名第1，北京大學排名第3，中國科學院排名第4，上海交通大學排名第6；進入前20名的中國機構還有：南京大學、復旦大學、香港科技大學、浙江大學。松寶有話說：蟬聯AI專業全球冠軍！清華力壓CMU再奪CSRankings高校AI排行王座。2.
  • 先睹為快:神經網絡頂會ICLR 2018論文接受結果速覽
    ICLR全稱International Conference of Learning Representation，是由Lecun，Hinton和Bengio三位神經網絡的元老聯手發起的。近年來隨著深度學習在工程實踐中的成功，ICLR會議也在短短的幾年中發展成為了神經網絡的頂會。
  • 我們真的需要深度圖神經網絡嗎？
    深度學習的一大特點就是使用的神經網絡具有幾十層甚至數百層。與之形成鮮明對比的是，大多數用於圖深度學習的架構都很「淺」，只有少量的層。在本文中，作者提出了一個看上去有些離經叛道的問題：圖神經網絡架構的深度能否帶來任何優勢？