【乾貨】圖神經網絡的十大學習資源分享

2020-12-08 雷鋒網

字幕組雙語原文：【乾貨】圖神經網絡的十大學習資源分享

英語原文：Top 10 Learning Resources for Graph Neural Networks

翻譯：雷鋒字幕組（聽風1996）

圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行。Twitter、Google或Facebook等大公司都會開始對於GNN投入研究，事實證明了GNN優於其他使用圖數據的機器學習模型。

由於此領域的發展非常迅速，GNN背後的知識還不是那麼容易獲得。目前，你可以在網際網路上以研究論文、文章或博客的形式找到散落在各地的GNN理論。我們缺乏的是一本GNN書籍，或者是一本在線資源彙編，來幫助人們進入了解這個領域的工作。  

經過一番搜索，我發現其實有幾個相當不錯的資源，以一種容易理解的方式來解釋GNN。希望對這個領域的新人有所幫助。讓我們開始吧!

1.由William L. Hamilton編寫的圖表示學習書籍

Graph Representation Learning Book

本書是改變遊戲規則的書，目前可以在線下載的預出版的版本。本書從圖理論和傳統圖方法等初級課題開始，到前沿GNN模型和最先進的GNN研究等高級課題。本書設計精巧，自成體系，擁有圖神經網絡所需的大部分理論。

2. 斯坦福課程筆記--機器學習與圖

C224W|Home

這是史丹福大學專門研究基於圖的機器學習的課程。它有公開的幻燈片，從他們的講座以及推薦閱讀列表。如果你想系統地學習一門結構良好的課程，這將是一個很好的選擇。

3.由Albert-László Barabási編著的網絡科學一書

Network Science by Albert-László Barabási

這是一本提供在線交互式的書籍，主要介紹圖和網絡理論。雖然它沒有討論GNN，但它是獲得在圖數據上操作的堅實基礎的極好資源。

4.Thomas Kipf博客

How powerful are Graph Convolutional Networks?

由GNN領域最著名的研究者之一--Thomas Kipf博士創建的一個優秀博客。在他的文章中，他輕描淡寫地介紹了GNN，提供了最新方法的文獻回顧，並討論了他的論文— Semi-Supervised Classification with Graph Convolutional Networks.

5. Michael Bronstein博客

Michael Bronstein — Medium

Michael Bronstein是倫敦帝國理工學院的教授，也是Twitter的圖學習研究的負責人。最近，他開始在Towards Data Science發表文章。他的博客文章主要以數學視角關注GNNs以及該領域的最新發展。他往往會引用許多其他關於GNNs的文章，這可能會幫助你發現其他有趣的文章。

6.生命科學領域的深度學習：將深度學習應用於基因組學，顯微鏡，藥物發現等

Deep Learning for the Life Sciences

雖然這裡並不完全是關於GNN的內容，但本書的部分內容提供了基於GNN模型的實際應用。它解釋了如何使用生命科學的深度學習庫--Deepchem將GNNs應用於分子數據集。它還進一步討論了GNNs的不同預處理方法。

 7.Flawnson Tong博客

Flawnson Tong - Towards Data Science

Flawnson在Medium上發表了幾篇關於GNN的介紹性的文章。它們針對的是那些想對圖神經網絡背後的理論有基本了解的初學者。如果你想一窺GNNs是什麼，這將是一個很好的選擇。

8.GNN最近的一些論文集合—Github倉庫

thunlp/GNNPapers

這是一個近期GNN論文的彙編倉庫，包含了這個領域已發表的大部分論文。他們將列表細分為單獨的主題，比如我們。如果你正在查找GNNs特定細分應用的論文，這個倉庫值得一試。

9.圖形神經網絡與代碼

Papers with Code - Papers With Code : Search for graph neural networks

Paperswithcode是一個大家都很熟悉的網站，它將研究論文與其代碼一起分享。如果你想找到已經有代碼實現的GNN模型，這是一個不錯的地方。

10.圖形神經網絡的綜述

A Comprehensive Survey on Graph Neural Networks

這篇研究論文總結了GNNs中的大部分的重要發現，簡要概述了GNNs背後的歷史，並討論了不同類型的GNN架構。

雷鋒字幕組是一個由AI愛好者組成的翻譯團隊，匯聚五五多位志願者的力量，分享最新的海外AI資訊，交流關於人工智慧技術領域的行業轉變與技術創新的見解。

團隊成員有大數據專家，算法工程師，圖像處理工程師，產品經理，產品運營，IT諮詢人，在校師生；志願者們來自IBM，AVL，Adobe，阿里，百度等知名企業，北大，清華，港大，中科院，南卡羅萊納大學，早稻田大學等海內外高校研究所。

如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學習新知，分享成長。

雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 逆勢而上的技術:圖神經網絡學習來了!
    你一定不會忽略它——圖神經網絡。相比傳統神經網絡，圖神經網絡的優勢非常明顯：1、非順序排序的特徵學習：GNN 的輸出不以節點的輸入順序為轉移的。圖神經網絡技術已被應用在百度內數十個實際項目中，大幅度提升公司效益。為了幫助廣大同學入門圖學習，百度飛槳 PGL 團隊開發了「圖神經網絡7日打卡營」。
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    越大的自監督模型，半監督學習需要的標籤越少KDD2020 | MoFlow：基於流的分子圖生成模型【綜述】圖神經網絡與深度學習在智能交通中的應用：綜述Survey淺談圖上的自監督學習——對比學習論文快訊 | NeurIPS2020 重新思考圖神經網絡中的池化自監督學習 | ICML2020 自監督學習什麼時候可以對GCN有利？
  • 乾貨分享!改善神經網絡方面的各種術語和方法
    全文共2734字，預計學習時長5分鐘深層神經網絡可以解決諸如自然語言處理、機器視覺、語音合成等複雜任務。提高深層神經網絡的性能與理解其工作原理同樣重要。這篇文章將解釋改善神經網絡方面的各種術語和方法。偏差與方差偏差與方差是體現網絡在訓練集和測試集中性能的兩個基本術語。下列兩類問題可以輕鬆直觀地解釋偏差與方差。
  • 加州伯克利博士:基於隱模型的圖神經網絡設計|NeurIPS 2020論文分享
    近年來，人們對深度學習方法在圖上的擴展越來越感興趣。在多方因素的成功推動下，研究人員借鑑了卷積網絡、循環網絡和深度自動編碼器的思想，定義和設計了用於處理圖數據的神經網絡結構，由此出現了一個新的研究熱點——「圖神經網絡（Graph Neural Networks，GNN）」。
  • 極驗發布全國首個專注於圖神經網絡的書籍,《深入淺出圖神經網絡...
    圖神經網絡是當前 AI 領域最為火爆的研究熱點之一，學術界與工業界各大公司紛紛投入大量資源研究。它在因果推理上擁有巨大潛力，有望解決深度學習無法處理的關係推理、可解釋性等一系列問題，而這些問題被業界認為是能夠推動 AI 出現實質性進展的關鍵。
  • 用於半監督學習的圖隨機神經網絡
    原標題：用於半監督學習的圖隨機神經網絡 　　導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行
  • 乾貨|不同的損失函數會對深度神經網絡帶來什麼樣的影響?
    二次損失函數會在神經元犯了明顯錯誤的情況下使得網絡學習緩慢，而使用交叉熵損失函數則會在明顯犯錯的時候學的更快。 今天，我們主要來談談不同的損失函數會對深度神經網絡帶來什麼樣的影響？
  • 一份完全解讀:是什麼使神經網絡變成圖神經網絡?
    本文將就「為什麼圖有用」、「為什麼很難在圖上定義卷積」、「是什麼使神經網絡成為了圖神經網絡」這些問題進行討論。首先，讓我們簡單回顧一下什麼是圖？圖 G 是由有向或無向邊連接的一組節點(頂點)。節點和邊通常是由專家依據知識經驗或是對問題的直覺進行設置的。
  • 神經網絡：高深莫測又妙趣橫生的完整歷史
    自上個世紀以來，神經網絡和人工智慧一直是熱門話題。在流行文化電影中，人工智慧機器人風靡全球，吸引著大量獵奇之士。 神經網絡的靈感來源於生物神經元是一種受編程範式啟發的模型，它使深度學習模型能夠在複雜的觀測數據集上有效地學習和訓練。
  • 如何重建深層神經網絡的可塑性?
    圖源：Unsplash 目前在人工智慧和大數據方向炒的最火的就是深度學習，深度學習是神經網絡的一個大的分支，深度學習的基本結構是深度神經網絡，它是一種人工神經網絡，人工神經網絡是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。
  • 港科大博士生侯璐:基於損失函數的神經網絡量化方法|分享總結
    為了解決這個問題， 最近有許多針對於神經網絡壓縮和加速的工作被提出， 例如神經網絡剪枝， 權重矩陣低秩分解，權重量化等。這次分享主要是針對於權重量化這一類方法。近期，在雷鋒網 GAIR 大講堂上，來自香港科技大學的博士生侯璐同學分享了深度學習網絡的權重量化的一些最新進展。以及幾篇ICLR的論文解讀。
  • 深度學習之卷積神經網絡經典模型
    隨著ReLU與dropout的提出，以及GPU帶來算力突破和網際網路時代大數據的爆發，卷積神經網絡帶來歷史的突破，AlexNet的提出讓深度學習走上人工智慧的最前端。如今在計算機視覺領域，卷積神經網絡的良好效果深得廣大開發者的喜歡，並且上文提到的AlexNet模型擁有更好的效果，所以廣大從業者學習者試圖將其改進以獲得更好地效果。而後來很多人經過驗證認為，AlexNet模型中所謂的局部歸一化響應浪費了計算資源，但是對性能卻沒有很大的提升。VGG的實質是AlexNet結構的增強版，它側重強調卷積神經網絡設計中的深度。
  • [獨家]25張圖讓你讀懂神經網絡架構
    原標題：[獨家]25張圖讓你讀懂神經網絡架構 由於新的神經網絡架構無時無刻不在湧現，想要記錄所有的神經網絡是很困難的事情。要把所有這些縮略語指代的網絡(DCIGN，IiLSTM，DCGAN等)都弄清，一開始估計還無從下手。
  • NeurIPS 2020|用於半監督學習的圖隨機神經網絡
    導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND)，一種用於圖半監督學習的新型圖神經網絡框架。
  • 詳解凸優化、圖神經網絡、強化學習、貝葉斯方法等四大主題
    在本期訓練營（第四期）中我們對內容做了大幅度的更新，一方面新增了對前沿主題的講解如圖神經網絡（GCN,GAT等），另外一方面對核心部分（如凸優化、強化學習）加大了對理論層面上的深度。　　　　Graph Pooling　　　　案例：基於GCN的推薦　　　　第八周：空間域的圖神經網絡　　　　第九周：圖神經網絡改進與應用　　　　第三部分
  • Widrow-Hoff神經網絡學習規則的應用研究
    Matlab中大量有關線性神經網絡的工具函數可為線性神經網絡研究和應用提供強有力的工具。2 線性神經網絡原理2．1 線性神經網絡的模型 圖1是具有R個輸入的單層(有S個神經元)線性神經網絡結構，其權值矩陣為w，閾值向量為b，這種網絡也稱為Madaline網絡。
  • 深度學習:神經網絡算法的昨天、今天和明天
    針對神經網絡輸出結果與真實結果之間的差異，神經網絡會通過梯度（Gradient）逐層調整相應的權重以縮小差異，從而達到深度學習的目的。二、深度學習的雛形其實，模擬動物的神經活動，並非深度學習的專利。早在1957年，Frank Rosenblatt就提出了感知機（Perceptron）的概念。這是一種只能分出兩類結果的單層神經網絡。
  • 什麼是人工神經網絡(ANN)?
    當您通過訓練有素的神經網絡運行新圖像時，調整後的神經元權重將能夠提取正確的特徵並準確確定圖像屬於哪個輸出類別。訓練神經網絡的挑戰之一是找到正確數量和質量的訓練示例。而且，訓練大型AI模型需要大量的計算資源。
  • 人工智慧系列(六) 深度學習中的神經網絡
    原力君在系列的第五篇《人工智慧系列(五) 深度學習簡介》中提到深度學習可以看作是一種更高級的函數擬合方法；人工神經網絡、激活函數、代價函數、梯度下降、反向傳播是深度學習的幾個關鍵點；常見的深度學習神經網絡結構有多層感知機、DNN、CNN、RNN等。
  • 深度學習背後的基礎-神經網絡揭秘
    最近， 深度學習三傑獲得了計算機界最重要的圖靈獎， 它們的貢獻都集中在對深度學習的根據神經網絡的理論突破。 今天我們看到的所有和人工智慧有關的偉大成就， 從阿法狗到自動駕駛， 從海量人臉識別到對話機器人， 都可以歸功於人工神經網絡的迅速崛起。那麼對於不了解神經網絡的同學如何入門？ 神經網絡的技術為什麼偉大， 又是什麼讓它們這麼多年才姍姍走來?