近期必讀的五篇ICLR 2021【圖神經網絡(GNN)】相關論文和代碼

2021-03-02 專知

1. How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision

作者：Dongkwan Kim, Alice Oh

摘要：圖神經網絡中的注意力機制將較大的權重分配給重要的鄰居節點，得到更好的表示。但是，圖注意力機制學習到的內容不能理解，尤其是圖存在噪聲時。在本文中，我們提出了一種自監督的圖注意力網絡（SuperGAT），這是一種針對噪聲圖的改進圖注意力模型。具體來說，我們用自監督的兩種注意力形式來預測邊，邊的存在和缺失都包含有關節點之間關係重要性的信息。通過對邊進行編碼，SuperGAT在區分錯誤連接的鄰居時會獲得更多可表達的注意力。我們發現兩個圖的特性會影響注意力形式和自監督的有效性：同構和平均程度。因此，當知道兩個圖的特性時，我們的方法可為使用哪種注意力設計提供指導。我們對17個公開數據集進行的實驗表明，我們的方法適用於其中的15個數據集，並且我們的方法設計的模型比基線模型性能更高。

網址：

https://openreview.net/forum?id=Wi5KUNlqWty 

2. Combining Label Propagation and Simple Models Out-performs Graph Neural Networks

作者：Qian Huang, Horace He, Abhay Singh, Ser-Nam Lim, Austin R. Benson

摘要：圖神經網絡（GNN）是圖學習的主要技術。但是，對於GNN為什麼取得成功以及對性能是否好的必要性了解還很少。對於許多標準的transductive節點分類基準，通過將忽略圖結構的淺層模型與兩個探索標籤結構相關性的簡單後處理步驟結合起來，我們可以超越或達到現存最新好GNN模型的性能：（i）「誤差相關性」，它在訓練數據中分散剩餘的錯誤來糾正測試數據中的錯誤；（ii）「預測相關性」，它使對測試數據的預測變得平滑。我們稱此總體過程為「糾正和平滑（C＆S）」，後處理步驟是通過對早期基於圖的半監督學習方法中標準標籤傳播技術進行簡單修改而實現的。我們的方法在各種基準上都超過或接近了最好的GNN的性能，而參數卻很少，運行時間也快了幾個數量級。例如，我們以137倍的參數減少和超過100倍的訓練時間超過了OGB-Products數據集上最好的GNN性能。我們方法的性能著重於如何將標籤信息直接整合到學習算法中（就像傳統技術一樣），從而獲得簡單而可觀的性能提升。我們還可以將我們的技術整合到大型GNN模型中，從而獲得適度的提升。我們的OGB結果代碼位於：

https://github.com/Chillee/CorrectAndSmooth 

網址：

https://arxiv.org/abs/2010.13993

3. AdaGCN: Adaboosting Graph Convolutional Networks into Deep Models

作者：Ke Sun, Zhouchen Lin, Zhanxing Zhu

摘要：深度圖模型的設計仍有待研究，關鍵部分是如何有效地探索和利用來自鄰居不同階點的知識。在本文中，我們通過將AdaBoost集成到網絡計算中，提出了一種新穎的RNN類深度圖神經網絡架構。提出的圖卷積網絡AdaGCN（Adaboosting圖卷積網絡），具有從當前節點的高階鄰居中高效提取知識，然後以Adaboost方式將鄰居的不同階點中的知識集成到網絡中的能力。與直接堆疊許多圖卷積層的其他圖神經網絡不同，AdaGCN在所有``層''之間共享相同的基礎神經網絡架構，並且經過遞歸優化，類似於RNN。此外，我們還在理論上建立了AdaGCN與現有圖卷積方法之間的聯繫，從而展示了我們的方法的好處。最後，大量的實驗證明了跨不同標籤比率的圖始終如一的最新預測性能以及我們的方法AdaGCN的計算優勢。

網址：

https://www.zhuanzhi.ai/paper/1b3d8040b07d9794ac9ecfff5381a138

4. Adaptive Universal Generalized PageRank Graph Neural Network

作者：Eli Chien, Jianhao Peng, Pan Li, Olgica Milenkovic

摘要：在許多重要的圖數據處理應用程式中，獲取的信息有節點特徵和圖拓撲結構。圖神經網絡（GNN）旨在利用這兩種信息，但是是用一種通用的方式對其進行整合，並沒有一個最佳權衡策略。通用性是指同構或異構圖假設的獨立性。我們通過引入一種新的廣義PageRank（GPR）GNN架構來解決這些問題，該架構可以自適應地學習GPR權重，從而聯合優化節點特徵和拓撲信息提取，而不管節點標籤同構或異構程度。學習的GPR權重自動調整為節點標籤模式，與初始化類型無關，從而為通常難以處理的標籤模式保證了出色的學習性能。此外，它們允許避免特徵過度平滑，這一過程使特徵信息無差別化，而無需網絡很淺。我們在上下文隨機塊模型生成的新型合成基準數據集有上對GPR-GNN方法進行了理論分析。我們還在知名的基準同質和異類數據集上，將我們的GNN架構與幾個最新的GNN的節點分類問題進行了性能比較。結果表明，與現有方法相比，GPR-GNN在合成數據和基準數據上均提供了顯著的性能改進。

網址：

https://www.zhuanzhi.ai/paper/89f5d6d14c6f2bf24ee21e86163b9600

5. How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks

作者：Keyulu Xu, Mozhi Zhang, Jingling Li, Simon S. Du, Ken-ichi Kawarabayashi, Stefanie Jegelka

摘要：我們研究了通過梯度下降訓練的神經網絡如何外推，即它們在訓練分布的支持範圍之外學到了什麼。以前的工作在用神經網絡外推時報告了混合的經驗結果：雖然多層感知器（MLP）在簡單任務中無法很好地推理，但圖神經網絡（GNN）是帶有MLP模塊的結構化網絡，在較複雜的任務中也有一定的成功。我們提供了理論上的解釋，並確定了MLP和GNN良好推斷的條件。我們首先顯示受梯度下降訓練的ReLU MLP沿原點的任何方向迅速收斂到線性函數，這表明ReLU MLP無法在大多數非線性任務中很好地推斷。另一方面，當訓練分布足夠「多樣化」時，ReLU MLP可以證明收斂到線性目標函數。這些觀察結果得出一個假設：如果我們在體系結構和輸入表示中編碼適當的非線性，則GNN可以很好地推斷出動態編程（DP）任務。我們為該假設提供理論和經驗支持。我們的理論解釋了先前的外推法成功並提出了其局限性：成功的外推法依賴於結合特定於任務的非線性，這通常需要領域知識或廣泛的模型搜索。

網址：

https://www.zhuanzhi.ai/paper/d5896ff106f9cddfd5d0c6ce7f95cb2c

相關焦點

  • 近期必讀的五篇AAAI 2021【對比學習】相關論文和代碼
    作為最流行的基於圖的SSL方法之一，最近提出的圖卷積網絡（GCN）通過將神經網絡的聲音表達能力與圖結構相結合而取得了顯著進步。然而，現有的基於圖的方法不能直接解決SSL的核心問題，即缺乏監督，因此它們的性能仍然非常有限。為了解決這個問題，本文提出了一種新穎的基於GCN的SSL算法，通過利用數據相似性和圖結構來豐富監督信號。
  • 最新6篇ICLR2021篇圖神經網絡論文推薦
    CCF-S級會議ICLR剛剛放榜~(小編要是中了ICLR能吹一年😱😱😱這裡推薦幾篇ICLR 2021接收的最新GNN論文~1.時序網絡中的利用因果匿名遊走的歸納表示學習2.具有自監督能力的圖注意力機制3.圖神經網絡的瓶頸及其實踐意義4.ADAGCN：將圖卷積網絡轉換為深層模型5.通過圖多層池化準確學習圖表示
  • AAAI2020必讀的10篇「知識圖譜(Knowledge Graph)」相關論文和代碼
    在本文中，我們將語義關聯以結構化的知識圖譜的形式表示出來，並將此圖集成到深度神經網絡中，通過一種新的知識圖譜傳輸網絡(KGTN)來促進小樣本學習。具體地，通過使用對應類別的分類器權值初始化每個節點，學習一種傳播機制，通過圖來自適應地傳播節點消息，探索節點間的交互，將基類的分類器信息傳遞給新類別的分類器信息。
  • ICLR最高分論文揭秘模型泛化,GNN是潛力股|方向|算法|神經網絡|...
    然而近期的?些工作則表明，在部分具有挑戰性的算法任務上（例如求解數學方程、預測物理系統的時間演化），圖神經網絡（Graph Neural Network，GNN）具有很好的泛化能力，能夠將訓練結果推廣至比訓練集更大的圖上[4,5,6]。
  • 六篇 CIKM 2019 最新公布的【圖神經網絡(GNN)】長文論文
    CIKM 2019共計收到1030篇長文有效投稿，其中200篇論文被大會錄用，總錄用率約19.4%。圖神經網絡（GNN）相關的論文依然很火爆，小編在官網上查看了，CIKM專門有專題，大約10篇長文接受為GNN專題論文。為此，專知小編提前為大家篩選了六篇GNN 長文論文供參考和學習！
  • 送你200+篇論文,學習圖或圖神經網絡必讀!(附下載)
    這篇文章將介紹你需要的圖建模論文，當然它們都有配套實現的。圖是一種非常神奇的表示方式，生活中絕大多數的現象或情境都能用圖來表示，例如人際關係網、道路交通網、信息網際網路等等。正如馬哲介紹事物具有普遍聯繫性，而圖正好能捕捉這種聯繫，所以用它來描述這個世界是再好不過的方法。但圖這種結構化數據有個麻煩的地方，我們先要有圖才能進行後續的計算。
  • [直播預告] ICLR/WWW圖神經網絡最新研究進展
    由於深度學習在可推理和可解釋性方面的局限性，結合圖計算與深度學習的圖神經網絡 ( GNN ) 成為近期學術界和工業界研究的熱點新方向之一，並在社交網絡
  • GNN、RL強勢崛起,CNN初現疲態?ICLR 2021最全論文主題分析
    ICLR 2021 將於 2021 年 5 月 4 日至 6 月 8 日以線上形式舉辦。初審結果已於 11 月 11 日公布，此次會議共收到論文投稿 3013 篇，其中有 856 篇是 NeurIPS 2020 Rejection 之後再提交的。目前，ICLR 2021 的論文 rebuttal 階段也已經結束。
  • ICLR 2018論文評審結果出爐:一文概覽論文 TOP 5
    在明年 1 月 5 日之前，人們將對目前提交的論文進行討論。根據評審得分，我們整理了排名前五的論文。目前，史丹福大學探究神經網絡對抗樣本的論文 Certifiable Distributional Robustness with Principled Adversarial Training 名列第一。今年的 ICLR 大會接收到了 981 篇有效論文。
  • GNN、RL強勢崛起,CNN初現疲態?這是ICLR 2021最全論文主題分析
    ICLR 2021 將於 2021 年 5 月 4 日至 6 月 8 日以線上形式舉辦。初審結果已於 11 月 11 日公布，此次會議共收到論文投稿 3013 篇，其中有 856 篇是 NeurIPS 2020 Rejection 之後再提交的。目前，ICLR 2021 的論文 rebuttal 階段也已經結束。
  • 圖神經網絡概述第三彈:來自IEEE Fellow的GNN綜述
    選自 arXiv作者：Zonghan Wu等機器之心編譯圖神經網絡（GNN）熱度持續上升，之前我們曾介紹了清華兩篇綜述論文最近，IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又貢獻了一篇圖神經網絡綜述文章。這篇文章介紹了 GNN 的背景知識、發展歷史、分類與框架、應用等，詳細介紹了各種模型與方法，包括公式、模型圖示、算法等，希望對大家有所幫助。
  • 【寵粉行動】100篇神經網絡必讀論文(檢測/識別/分類/分割……)!白給!
    作為深度學習的代表算法之一，卷積神經網絡（Convolutional Neural Networks，CNN）在計算機視覺等領域上取得了當前最好的效果。研讀卷積神經網絡的經典論文，對於學習和研究卷積神經網絡必不可缺。
  • ICLR 2021 | 自解釋神經網絡—Shapley Explanation Networks
    ，作為層間特徵，這樣的神經網絡模型有了新的功能：1.problems.簡介深度神經網絡的可解釋性是一個非常重要的問題，而知道各個特徵的重要性是解決這個問題過程中非常重要的一環。我們通過將Shapley值直接作為神經網絡的中層特徵表達，有效地緩解了Shapley值計算量巨大的問題，同時也帶來了幾個新的功能。
  • 網絡表示學習領域(NRL/NE)必讀論文匯總
    和 Yuan Yao 兩位研究者在 GitHub 上總結發表了一份關於網絡表示學習（NRL: network representation learning）和網絡嵌入研究領域（NE: network embedding）必讀論文清單。
  • ICLR 2019論文解讀:量化神經網絡
    今年五月舉辦 ICLR 2019 會議共接收論文 502 篇，本文將解讀其中兩篇有關量化神經網絡的研究。id=ryM_IoAqYX深度神經網絡（DNN）已經極大推升了機器學習（ML）/人工智慧（AI）在許多不同任務中的性能，並由此帶來了許多我們日常生活中所見的成熟應用。
  • 斯坦福ICLR2019圖網絡最新論文:圖神經網絡的表徵能力有多強?
    本文介紹ICLR2019的一篇論文，提出基於WL圖同構測試的理論框架，為眾多的GNN框架給出了精彩的理論分析，並提出了一個簡單但是強大的圖網絡框架 GIN(Graph Isomorphism Networks)，並驗證了GIN在圖分類任務上的卓越性能。
  • 學界丨先睹為快:神經網絡頂會ICLR 2018論文接受結果速覽
    ICLR全稱International Conference of Learning Representation，是由Lecun，Hinton和Bengio三位神經網絡的元老聯手發起的。近年來隨著深度學習在工程實踐中的成功，ICLR會議也在短短的幾年中發展成為了神經網絡的頂會。
  • 【GNN教程】圖神經網絡「開山之作」!
    【GCN介紹】，取自Kipf et al. 2017，文章中提出的模型叫Graph Convolutional Network(GCN)，個人認為可以看作是圖神經網絡的「開山之作」，因為GCN利用了近似的技巧推導出了一個簡單而高效的模型，使得圖像處理中的卷積操作能夠簡單得被用到圖結構數據處理中來，後面各種圖神經網絡層出不窮，或多或少都受到這篇文章的啟發。
  • 圖神經網絡的十大學習資源分享
    字幕組雙語原文：【乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行。
  • ICLR 2019最佳論文揭曉!NLP深度學習、神經網絡壓縮成焦點
    兩篇最佳論文分別來自Mila/加拿大蒙特婁大學、微軟蒙特婁研究院和MIT CSAIL，主題分別集中在NLP深度學習模型和神經網絡壓縮。今天，ICLR 2019在官網公布了最佳論文獎！兩篇最佳論文分別來自Mila/加拿大蒙特婁大學、微軟蒙特婁研究院和MIT CSAIL，主題分別集中在NLP深度學習模型和神經網絡壓縮。ICLR 是深度學習領域的頂級會議，素有深度學習頂會 「無冕之王」 之稱。今年的 ICLR 大會從5月6日到5月9日在美國紐奧良市舉行。