【乾貨】圖神經網絡的十大學習資源分享

2020-12-11 雷鋒網

字幕組雙語原文：【乾貨】圖神經網絡的十大學習資源分享

英語原文：Top 10 Learning Resources for Graph Neural Networks

翻譯：雷鋒字幕組（聽風1996）

圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行。Twitter、Google或Facebook等大公司都會開始對於GNN投入研究，事實證明了GNN優於其他使用圖數據的機器學習模型。

由於此領域的發展非常迅速，GNN背後的知識還不是那麼容易獲得。目前，你可以在網際網路上以研究論文、文章或博客的形式找到散落在各地的GNN理論。我們缺乏的是一本GNN書籍，或者是一本在線資源彙編，來幫助人們進入了解這個領域的工作。  

經過一番搜索，我發現其實有幾個相當不錯的資源，以一種容易理解的方式來解釋GNN。希望對這個領域的新人有所幫助。讓我們開始吧!

1.由William L. Hamilton編寫的圖表示學習書籍

Graph Representation Learning Book

本書是改變遊戲規則的書，目前可以在線下載的預出版的版本。本書從圖理論和傳統圖方法等初級課題開始，到前沿GNN模型和最先進的GNN研究等高級課題。本書設計精巧，自成體系，擁有圖神經網絡所需的大部分理論。

2. 斯坦福課程筆記--機器學習與圖

C224W|Home

這是史丹福大學專門研究基於圖的機器學習的課程。它有公開的幻燈片，從他們的講座以及推薦閱讀列表。如果你想系統地學習一門結構良好的課程，這將是一個很好的選擇。

3.由Albert-László Barabási編著的網絡科學一書

Network Science by Albert-László Barabási

這是一本提供在線交互式的書籍，主要介紹圖和網絡理論。雖然它沒有討論GNN，但它是獲得在圖數據上操作的堅實基礎的極好資源。

4.Thomas Kipf博客

How powerful are Graph Convolutional Networks?

由GNN領域最著名的研究者之一--Thomas Kipf博士創建的一個優秀博客。在他的文章中，他輕描淡寫地介紹了GNN，提供了最新方法的文獻回顧，並討論了他的論文— Semi-Supervised Classification with Graph Convolutional Networks.

5. Michael Bronstein博客

Michael Bronstein — Medium

Michael Bronstein是倫敦帝國理工學院的教授，也是Twitter的圖學習研究的負責人。最近，他開始在Towards Data Science發表文章。他的博客文章主要以數學視角關注GNNs以及該領域的最新發展。他往往會引用許多其他關於GNNs的文章，這可能會幫助你發現其他有趣的文章。

6.生命科學領域的深度學習：將深度學習應用於基因組學，顯微鏡，藥物發現等

Deep Learning for the Life Sciences

雖然這裡並不完全是關於GNN的內容，但本書的部分內容提供了基於GNN模型的實際應用。它解釋了如何使用生命科學的深度學習庫--Deepchem將GNNs應用於分子數據集。它還進一步討論了GNNs的不同預處理方法。

 7.Flawnson Tong博客

Flawnson Tong - Towards Data Science

Flawnson在Medium上發表了幾篇關於GNN的介紹性的文章。它們針對的是那些想對圖神經網絡背後的理論有基本了解的初學者。如果你想一窺GNNs是什麼，這將是一個很好的選擇。

8.GNN最近的一些論文集合—Github倉庫

thunlp/GNNPapers

這是一個近期GNN論文的彙編倉庫，包含了這個領域已發表的大部分論文。他們將列表細分為單獨的主題，比如我們。如果你正在查找GNNs特定細分應用的論文，這個倉庫值得一試。

9.圖形神經網絡與代碼

Papers with Code - Papers With Code : Search for graph neural networks

Paperswithcode是一個大家都很熟悉的網站，它將研究論文與其代碼一起分享。如果你想找到已經有代碼實現的GNN模型，這是一個不錯的地方。

10.圖形神經網絡的綜述

A Comprehensive Survey on Graph Neural Networks

這篇研究論文總結了GNNs中的大部分的重要發現，簡要概述了GNNs背後的歷史，並討論了不同類型的GNN架構。

雷鋒字幕組是一個由AI愛好者組成的翻譯團隊，匯聚五五多位志願者的力量，分享最新的海外AI資訊，交流關於人工智慧技術領域的行業轉變與技術創新的見解。

團隊成員有大數據專家，算法工程師，圖像處理工程師，產品經理，產品運營，IT諮詢人，在校師生；志願者們來自IBM，AVL，Adobe，阿里，百度等知名企業，北大，清華，港大，中科院，南卡羅萊納大學，早稻田大學等海內外高校研究所。

如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學習新知，分享成長。

雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 圖神經網絡的十大學習資源分享
    字幕組雙語原文：【乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行。
  • 百度李偉彬:基於PGL的圖神經網絡基線系統
    而數據上的空間關聯特性，恰好是圖神經網絡所擅長的。圖神經網絡在非結構化數據上有著出色的處理能力，使得最近一段時間圖神經網絡在學界與工業界上大放光彩。因此，本次分享將介紹2020國際大數據比賽中，基於百度飛槳推出的圖學習框架Paddle Graph Learning(PGL)實現的基線系統。
  • 圖神經網絡加速晶片進入倒計時 全球首款商用圖神經網絡加速IP核...
    因此,該IP核是全球首款圖神經網絡加速IP核,專注於高效加速圖神經網絡的推斷階段。　　適合圖神經網絡的算力　　此款圖神經網絡加速IP核代號為「GCU Zero」,主要研究人員之一是中科院計算所特別研究助理嚴明玉博士,其畢業於中科院計算所,曾在美國加州大學聖巴巴拉分校 SEAL 實驗室訪學,主要從事圖計算和圖神經網絡加速結構研究。
  • 我們真的需要深度圖神經網絡嗎?
    深度學習的一大特點就是使用的神經網絡具有幾十層甚至數百層。與之形成鮮明對比的是，大多數用於圖深度學習的架構都很「淺」，只有少量的層。在本文中，作者提出了一個看上去有些離經叛道的問題：圖神經網絡架構的深度能否帶來任何優勢？
  • 圖神經網絡前沿綜述:動態圖網絡
    導語 圖神經網絡已經被廣泛的應用於圖結構數據的建模和表徵學習，但是主流的研究都局限於處理靜態網絡數據，而真實的複雜網絡大多會隨時間發生結構和性質的演化
  • 圖神經網絡越深,表現就一定越好嗎?
    數十層甚至數百層神經網絡的應用，是深度學習的重要標誌之一。但現實情況卻遠非如此：比如今年被視作機器學習領域最火熱的研究方向之一——圖神經網絡，大多數都只運用了寥寥幾層網絡。一般思路裡，我們會認為圖神經網絡越深，效果就會越好。然而，日前帝國理工學院教授Michael Bronstein 發出了靈魂拷問：圖神經網絡的深度，真的會帶來優勢嗎？
  • NeurIPS2020|解決不確定性問題—用於半監督學習的圖隨機神經網絡...
    用於半監督學習的圖隨機神經網絡Graph Stochastic Neural Networks forSemi-supervised Learning圖神經網絡（GNN）在半監督節點分類任務中取得了卓越的性能。
  • 首款商用圖神經網絡加速IP核發布
    據介紹，這是全球首款商用圖神經網絡加速IP核，專注於高效加速圖神經網絡的推斷階段。 　　基於混合結構設計思想，GCU Zero分別為圖神經網絡的兩個主要執行階段——圖遍歷階段和神經網絡變換階段設計相應的加速引擎，並流水兩個引擎的執行。這一設計思路可匹配圖神經網絡對算力的特殊要求，大幅提升圖神經網絡的執行效率。
  • 什麼是人工神經網絡(ANN)?
    當您通過訓練有素的神經網絡運行新圖像時，調整後的神經元權重將能夠提取正確的特徵並準確確定圖像屬於哪個輸出類別。訓練神經網絡的挑戰之一是找到正確數量和質量的訓練示例。而且，訓練大型AI模型需要大量的計算資源。
  • ...結構&表徵聯合學習新範式IDGL:用於圖神經網絡的迭代式深度圖學習
    ，以幫助圖神經網絡 (GNN) 使用者在圖結構未知或存在噪聲的情況下，在特定下遊任務中取得最優的性能。>論文連結：https://arxiv.org/abs/2006.13009代碼連結：https://github.com/hugochan/IDGL一、研究問題圖神經網絡
  • 深度圖神經網絡到底「深不深」
    今年，圖深度學習在機器學習領域的最熱話題上一直居高不下。然而，那些習慣於想像具有數十甚至上百層卷積神經網絡才算有「深度」的人，看到圖「深度」學習最多只用幾層，一定會很失望。「深度圖神經網絡」是用詞不當嗎？我們是否解釋一下這個經典之詞來看看「深度」是否對圖學習是不利的？訓練深度圖神經網絡非常困難。
  • 表徵圖數據絕不止圖神經網絡一種方法
    近年來，圖神經網絡掀起了將深度學習方法應用於圖數據分析的浪潮。不過其作為一門古老的認識世界的方法論，人們對於圖表徵技術的研究從很早以前就開始了。雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。本文是一篇出自倫敦大學學院的圖表徵學習綜述，詳細介紹了圖核、卷積、圖神經網絡、圖嵌入、概率模型共五類圖表徵學習方法的起源與發展，並對圖數據表徵學習方法的最新進展和未來發展方向進行總結和討論。
  • ERNIE加持,飛槳圖神經網絡PGL全新升級
    在2019年深度學習開發者秋季峰會上，百度對外發布飛槳圖學習框架 PGL v1.0正式版，歷經5個月的版本迭代，PGL 再度升級，發布v1.1版本，帶來了最新的算法突破、全面的工業級圖學習框架能力以及工業級的實踐案例。下面我們逐一揭秘升級點。
  • 【GNN】從圖(Graph)到圖卷積(Graph Convolution):漫談圖神經網絡模型 (一)
    從圖(Graph)到圖卷積(Graph Convolution)：漫談圖神經網絡模型 (二)從圖(Graph)到圖卷積(Graph Convolution)：漫談圖神經網絡模型 (三)筆者最近看了一些圖與圖卷積神經網絡的論文，深感其強大，但一些Survey或教程默認了讀者對圖神經網絡背景知識的了解，對未學過信號處理的讀者不太友好。
  • 算法之「算法」:所有機器學習算法都可以表示為神經網絡
    圖源：unsplash大概從20世紀50年代的早期研究開始，機器學習的所有工作就都是隨著神經網絡的創建積累而來的。但是眾所周知，神經網絡是算法的算法及機器學習的巔峰。我們可以說，神經網絡是對機器學習的普遍概括，而不是僅僅一次嘗試。與其說神經網絡是簡單的算法，不如說是框架和概念，這是顯而易見的，因為在構建神經網絡時有很大的自由度——比如對於隱藏層&節點個數、激活函數、優化器、損失函數、網絡類型（卷積神經網絡、循環神經網絡等）以及特殊層（批歸一化、隨機失活等）。
  • 為什麼說Transformer就是圖神經網絡?
    通過這篇文章，我想建立起圖神經網絡（GNNs）和Transformers之間的聯繫。具體來說，我將首先介紹NLP和GNN領域中模型架構的基本原理，然後使用公式和圖表來闡述兩者之間的聯繫，最後將討論如何讓兩者協同運作來推動這方面的研究進展。我們先來談談模型架構的目的——表示學習。
  • 融慧金科張凱:知識圖譜與圖神經網絡模型在金融科技的應用
    張凱博士提出，在過去五年以及未來五年內，圖神經網絡將會有良好的發展趨勢。而圖神經算法在反欺詐、反洗錢和金融風控底層能力建設的應用能夠有效提升模型效果。現將張凱博士的演講實錄分享。作為金融科技的代表，今天和大家分享一下知識圖譜和圖神經網絡在金融科技的一些應用案例。在演講之前先給大家介紹一下過去幾年圖資料庫的發展趨勢，圖資料庫實際上是一個底層的資料庫，支撐上層的知識圖譜。橫軸代表從2013年到現在的發展時間，縱軸是整個圖資料庫在網絡上受歡迎的程度。不同的曲線對應不同的數據線，可以看到上面最陡的這條曲線呈指數級增長的就是圖資料庫。
  • 圖神經網絡的「前世今生」
    深度學習通過端到端的訓練徹底改變了很多機器學習任務. 但是這些任務的數據都是歐式空間上的規則數據. 而現實中很多數據之間都有著相當複雜的關係, 一般表現為非歐空間之上的圖結構.為處理圖數據之上的任務, 圖神經網絡就應運而生了.
  • 圖神經網絡最新發展
    圖 1：圖像卷積與圖卷積。卷積神經網絡（Convolutional Neural Network，CNN）和圖神經網絡（Graph Neural Network，GNN）的主要區別是什麼？簡單來說，就是輸入數據。你可能還記得，CNN 所需的輸入是一個固定大小的向量或矩陣。然而，某些類型的數據自然是用圖表示的，如分子、引用網絡或社交媒體連接網絡都可以用圖數據來表示。