圖神經網絡快速爆發,最新進展都在這裡了

2021-01-11 科技與生活視野

近年來,圖神經網絡(GNNs)發展迅速,最近的會議上發表了大量相關的研究論文。本文作者正在整理一個GNN的簡短介紹和最新研究報告的摘要。希望這對任何準備進入該領域或試圖趕上最新技術進展的人有所幫助。

什麼是圖神經網絡?

圖是一種包含節點(頂點)的數據類型,這些節點(頂點)通過邊相互連接,邊可以是有向的,也可以是無向的。每個節點都有一組特徵(這些特徵可以表示節點的屬性,也可以是一個熱編碼(One-hot)信息),而邊定義了節點之間的關係。

在典型的GNN中,消息傳遞是由邊在相鄰節點之間上執行的。直觀地說,消息是信息的神經編碼,它從一個節點傳遞到與其連接的鄰居節點。在任何神經層,節點的表示都是通過將其所有鄰居的消息聚合到當前節點來計算的。經過多輪消息傳遞,可以獲得每個節點的向量表示,可以解釋為一種既描述節點特徵信息又描述節點周圍鄰域圖結構的嵌入表示。

GNN最新論文簡介

1、XGNN:Towards Model-Level Explanations of Graph Neural Networks

使用神經網絡的一個主要問題是它們常被當作黑匣子。由於缺乏神經決策背後的原因,它們不太可能用於一些關鍵性決策的情況。當前的方法使用梯度、稀疏和神經網絡在前向傳遞過程中產生的激活用於解釋其輸出。然而,這並不是一個非常有效的方法,而且對於GNNs來說也是非常困難的。

這篇發表在KDD2020上的論文使用了一種新的方法XGNN,通過結合生成性方法與強化學習來解決這個問題。這種方法可以用來獲取信息進行理解、驗證,甚至提高訓練好的GNN模型。

2、Neural Dynamics on Complex Networks

本文解決了複雜網絡中連續時間動態捕捉的問題。作者提出了一種將常微分方程(ODEs)與GNNs相結合的方法來有效地模擬系統結構和動力學,從而更好地理解、預測和控制複雜網絡。

3、Competitive Analysis for Points of Interest

接下來這篇論文是來自於Baidu Research,它是GNNs的一個實際應用,對在提供類似產品/服務(稱為興趣點,poi)的相鄰企業實體之間建立消費者選擇模型。為了預測poi之間的競爭關係,開發了一個基於GNN的深度學習框架DeepR,它集成了poi的異構用戶行為數據、業務評論和地圖搜索數據。

4、Comprehensive Information Integration Modeling Framework for Video Titling

阿里巴巴集團的這篇文章旨在利用消費者產生的大量產品評論視頻,更好地了解他們的偏好,並向潛在客戶推薦相關視頻。這些視頻的一個主要問題是沒有正確標記。因此,論文提出了一種基於主題層次的、基於交互因素的二級視頻摘要生成方法。

5、Knowing Your FATE:Explanations for User Engagement Prediction on Social Apps

Snapchat團隊的這篇文章探討了使用GNNs的社交媒體應用程式中用戶的參與度。它提出了一個端到端的神經網絡框架來預測用戶參與度,這些因素包括好友數量和質量、用戶發布內容的相關性、用戶行為和時間因素。這是GNNs最直觀的應用之一。

下面是CVPR/KDD/ECCV/ICML更多的關於圖卷積網絡的論文:

[CVPR 2020] Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud

[CVPR 2020] Geometrically Principled Connections in Graph Neural Networks [CVPR 2020] SuperGlue: Learning Feature Matching With Graph Neural Networks

[CVPR 2020] Learning Multi-View Camera Relocalization With Graph Neural Networks

[CVPR 2020] Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text

[CVPR 2020] Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory

[CVPR 2020] Dynamic Multiscale Graph Neural Networks for 3D Skeleton Based Human Motion Prediction

[CVPR 2020] Dynamic Graph Message Passing Networks

[ECCV 2020] Graph convolutional networks for learning with few clean and many noisy labels

[ICML 2020] When Spectral Domain Meets Spatial Domain in Graph Neural Networks

[KDD 2020] Graph Structural-topic Neural Network

[KDD 2020] Towards Deeper Graph Neural Networks

[KDD 2020] Redundancy-Free Computation for Graph Neural Networks

[KDD 2020] TinyGNN: Learning Efficient Graph Neural Networks

[KDD 2020] PolicyGNN: Aggregation Optimization for Graph Neural Networks [KDD 2020] Residual Correlation in Graph Neural Network Regression

[KDD 2020] Spotlight: Non-IID Graph Neural Networks

[KDD 2020] XGNN: Towards Model-Level Explanations of Graph Neural Networks

[KDD 2020] Dynamic Heterogeneous Graph Neural Network for Real-time Event Prediction

[KDD 2020] Handling Information Loss of Graph Neural Networks for Session-based Recommendation

[KDD 2020] Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

[KDD 2020] GPT-GNN: Generative Pre-Training of Graph Neural Networks

[KDD 2020] Graph Structure Learning for Robust Graph Neural Networks

[KDD 2020] Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

[KDD 2020] A Framework for Recommending Accurate and Diverse Items Using Bayesian Graph Convolutional Neural Networks

[KDD 2020] Competitive Analysis for Points of Interest

[KDD 2020] Knowing your FATE: Explanations for User Engagement Prediction on Social Apps

[KDD 2020] GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

[KDD 2020] Comprehensive Information Integration Modeling Fram

相關焦點

  • 極驗發布全國首個專注於圖神經網絡的書籍,《深入淺出圖神經網絡...
    圖神經網絡是當前 AI 領域最為火爆的研究熱點之一,學術界與工業界各大公司紛紛投入大量資源研究。它在因果推理上擁有巨大潛力,有望解決深度學習無法處理的關係推理、可解釋性等一系列問題,而這些問題被業界認為是能夠推動 AI 出現實質性進展的關鍵。
  • 圖神經網絡迎來快速爆發期 GNN的原理、變體及拓展
    01 GNN:從嘗鮮進入快速爆發期 今年以來,圖神經網絡技術(Graph Neural Network, GNN)得到了學術界極大的關注與響應。 本文將對近一年各大頂級會議(如 ICML、NIPS、CVPR、ACL、KDD 等)上的 GNN 相關論文進行梳理,重點從理論研究和應用實踐兩方面解讀過去一年 GNN 的進展。由於時間和篇幅有限,本文並沒有對每一個方向都進行全面的總結與概括,感興趣的讀者可以根據文中給出的論文連結自行查漏補缺。
  • Twitter團隊最新研究:快速高效的可擴展圖神經網絡SIGN
    字幕組雙語原文:Twitter團隊最新研究:快速高效的可擴展圖神經網絡SIGN英語原文:Simple scalable graph neural networks翻譯:雷鋒字幕組(季一帆、何月瑩)前言:迄今為止,阻礙圖神經網絡在行業應用中被廣泛採用的挑戰之一是難以將其縮放到大型圖(例如Twitter跟隨圖)。
  • CVPR 2019 神經網絡架構搜索進展綜述
    ——但是還為時過早。手動調參尋找神經網絡架構依然是個有趣的工作,尤其是對於那些帶了很多學生的導師而言(開玩笑啦~)。  神經網絡架構搜索(NAS)——前言那麼問題來了,神經網絡架構搜索(NAS)究竟是什麼?為什麼我們要了解NAS呢?(這一部分是為了去年完全沒有跟進領域內進展的人準備的)NAS的核心思想是使用搜索算法來發現用於解決我們的問題所需要的神經網絡結構。
  • 深度| 一文概覽圖卷積網絡基本結構和最新進展
    選自tkipf.github作者:Thomas Kipf機器之心編譯參與:李詩萌、劉曉坤本文介紹了圖卷積網絡的基本結構,和最新的研究進展,並指出了當前模型的優缺點。通過對半監督學習應用 GCN 證明三層 GCN 模型不需要節點的任何特徵描述就可以對只有一個標籤實例的類進行線性分離。
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    圖核論文的研究綜述: 2020圖核方法最新進展與未來挑戰,151頁pdf注意力機制 | 圖卷積多跳注意力機制 | Direct multi-hop Attention based GNNNeurIPS2020 | 基於路徑積分設計的圖卷積和圖池化操作NeurIPS 2020 | 基於模型的對抗元強化學習NeurIPS 2020 | Hinton
  • 圖神經網絡GNN的可解釋性問題與解釋方法最新進展
    本文是一篇稍有深度的教程,假設讀者具備圖神經網絡的基礎知識和一點計算化學的知識。如果你想為本文做好準備,我在下面列出了一些有用的文章。 本文最初發表於 TowardsDataScience 博客,經原作者 Kacper Kubara 授權,InfoQ 中文站翻譯並分享。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而,「設計出最優的神經網絡,學習並輸出任意的圖」仍然是一個熱門的研究課題。本文是一篇出自倫敦大學學院的圖表徵學習綜述,詳細介紹了圖核、卷積、圖神經網絡、圖嵌入、概率模型共五類圖表徵學習方法的起源與發展,並對圖數據表徵學習方法的最新進展和未來發展方向進行總結和討論。
  • 表徵圖數據絕不止圖神經網絡一種方法
    近年來,圖神經網絡掀起了將深度學習方法應用於圖數據分析的浪潮。不過其作為一門古老的認識世界的方法論,人們對於圖表徵技術的研究從很早以前就開始了。雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而,「設計出最優的神經網絡,學習並輸出任意的圖」仍然是一個熱門的研究課題。
  • 一份完全解讀:是什麼使神經網絡變成圖神經網絡?
    本文將就「為什麼圖有用」、「為什麼很難在圖上定義卷積」、「是什麼使神經網絡成為了圖神經網絡」這些問題進行討論。首先,讓我們簡單回顧一下什麼是圖?圖 G 是由有向或無向邊連接的一組節點(頂點)。節點和邊通常是由專家依據知識經驗或是對問題的直覺進行設置的。
  • 生成對抗網絡的最新研究進展
    、應用廣泛的神經網絡。它們基本上是由兩個神經網絡組成的系統——生成器和判別器,這兩個網絡相互制約。計算機視覺和人工智慧的愛好者 Bharath Raj 近日發布以一篇博文,總結了生成對抗網絡的原理、缺點和為了克服這些缺點所做的研究的最新進展。雷鋒網 AI 科技評論編譯整理如下:
  • 南洋理工大學最新發布開源圖神經網絡基準
    但大多數研究所使用的數據集都很小,如Cora和TU,在這種情況下,即使是非圖神經網絡的性能也相當可觀。只有使用中等大小的數據集進行進一步比較,圖形神經網絡的優勢才會變得明顯。在斯坦福圖形神經網絡bull Jure等人發布「開放圖形基準」之後,又一項旨在構建「圖形神經網絡圖像網」的研究應運而生。
  • 一文讀懂圖神經網絡
    圖神經網絡作為神經網絡擴展,可以處理以圖結構表示的數據格式。在圖中,每個節點都由本身的特性以及其相鄰的節點和關系所定義,網絡通過遞歸地聚合和轉換相鄰節點的表示向量來計算節點的表示向量。圖神經網絡(GraphNeural Networks, GNNs),主要針對非歐幾裡得空間結構(圖結構)的數據進行處理。
  • AutoML新進展:用進化算法發現神經網絡架構
    對現代硬體、專家知識和進化的結合共同產生了CIFAR-10和ImageNet兩種流行的圖像分類基準的最新模型。  一個簡單的方法  以下是我們第一篇論文的一個實驗例子。  在下圖中,每個點都是在CIFAR-10數據集上訓練的神經網絡,通常用於訓練圖像分類器。
  • 【乾貨】圖神經網絡的十大學習資源分享
    【乾貨】圖神經網絡的十大學習資源分享英語原文:Top 10 Learning Resources for Graph Neural Networks翻譯:雷鋒字幕組(聽風1996)圖神經網絡(GNNs)是深度學習的一個相對較新的領域,從最近開始越來越流行
  • 表徵學習、圖神經網絡、可解釋的 AI,ML & 機器人七大研究進展一覽
    這裡的複雜之處在於他們如何同時學習潛在空間並學會在該潛在空間進行規劃,更多詳細信息可以參閱他們的論文。這項工作真正令我吃驚的是,它是如何將個人想法組合成一個更大的工作系統。這篇論文與我見過的其它關於機器學習工作的系統論文一樣,但除了表徵特徵化神經網絡訓練這一常年慣用的技巧之外,MuZero 中提出的想法還幫助回答了關於如何為日益複雜的問題構建 AI 的深刻問題。
  • 前沿:幹細胞移植治療腦出血後神經功能障礙最新研究進展
    近年來隨著幹細胞技術快速發展,幹細胞具有自我更新和多項分化潛能,其可對多種組織進行修復。腦出血通常發生於腦基底節區,出血後原發性和繼發性腦損害導致組織損傷,缺血缺氧、血腫周邊的神經細胞變性、壞死、凋亡均可導致神經網絡的完整性受損和突觸聯繫中斷,從而出現神經功能障礙。常規的神經保護和促進神經元再生的治療效果欠佳,其主要原因是神經元再生極為困難。幹細胞移植成為有效幹預腦出血的新選擇幹細胞是一種具有多向分化潛能的組織幹細胞,近年來受到了廣泛的關注。
  • DeepMind的最新研究結合了神經網絡和隨機過程的優點提出神經過程...
    DeepMind的最新研究結合了神經網絡和隨機過程的優點提出神經過程模型 李倩 發表於 2018-07-09 09:04:12 函數逼近是機器學習中許多問題的核心,DeepMind的最新研究結合了神經網絡和隨機過程的優點
  • 斯坦福ICLR2019圖網絡最新論文:圖神經網絡的表徵能力有多強?
    深度學習領域關於圖神經網絡(Graph Neural
  • 中科院計算所研究人員再獲進展 向圖神經網絡加速時代再進一步
    中新網北京1月9日電 (記者 張素)「『HyGCN』寓意向圖神經網絡的加速說『Hi』,也寓意圖神經網絡加速的時代即將開啟。」中國科學院計算技術研究所特別研究助理嚴明玉近日在受訪時說。「GCN」即圖卷積神經網絡的英文縮寫,這是圖神經網絡的一個分支。