CCF-S級會議ICLR剛剛放榜~(小編要是中了ICLR能吹一年😱😱😱
這裡推薦幾篇ICLR 2021接收的最新GNN論文~
1.時序網絡中的利用因果匿名遊走的歸納表示學習
2.具有自監督能力的圖注意力機制
3.圖神經網絡的瓶頸及其實踐意義
4.ADAGCN：將圖卷積網絡轉換為深層模型
5.通過圖多層池化準確學習圖表示
6.基於神經網絡的圖粗化
1.INDUCTIVE REPRESENTATION LEARNING IN TEMPORAL NETWORKS VIA CAUSAL ANONYMOUS WALKS
https://arxiv.org/pdf/2101.05974.pdf
時序網絡是現實世界中動態系統的抽象。這些網絡通常根據某些定律發展，例如社交網絡中很普遍的三元閉包定律。歸納表示學習時間網絡應該能夠捕獲此類定律，並進一步將遵循相同定律應用於未在訓練過程中見過的數據,即inductive的能力。以前的工作主要依賴於網絡節點身份或豐富邊屬性，通常無法提取這些定律。因此,本文提出了因果關係匿名遊走（Causal Anonymous Walks, CAW）來inductively的進行時序網絡的表示學習。
具體來說，CAW是通過時間隨機遊走提取類似motif的結構來捕獲圖的動態性，這避免了motif計算複雜的問題。同時,CAW採用新穎的匿名化策略，用一組節點的命中計數來替換節點身份以保持模型inductive的能力，同時也建立了motif之間的相關性，這對於某些圖挖掘任務(如鏈路預測)是非常關鍵的。進一步的，本文進一步提出了一個神經網絡模型CAW-N來編碼CAW。最後，在6個真實時序網絡數據集上，CAW-N均取得了大幅度的提升，例如AUC提升了15%!
可以看到CAW模型明顯優於其他模型。
2.HOW TO FIND YOUR FRIENDLY NEIGHBORHOOD:GRAPH ATTENTION DESIGN WITH SELF-SUPERVISION
https://openreview.net/pdf?id=Wi5KUNlqWty
圖神經網絡中的注意力機制旨在分配更大的權重給重要的鄰居節點，以進行更好地表示。但是，圖神經網絡學到的東西不是那麼容易理解的，尤其是在有噪聲的圖上。而本文提出的自監督的圖注意力網絡（SuperGAT）就是用來解決這一問題的。
模型圖
原始GAT與SuperGAT對比：原始的GAT如矩形圖中所示。SuperGAT通過一對節點中是否存在邊來引導注意力。用
實驗結果
3.ON THE BOTTLENECK OF GRAPH NEURAL NETWORKSAND ITS PRACTICAL IMPLICATIONS
https://openreview.net/pdf?id=i80OPhOCVH2
自從Gori等人提出圖神經網絡（GNN）以來，訓練GNN的主要問題之一是在圖中的遠距離節點之間傳播信息。本文提出GNN在較長路徑中聚集信息時會出現瓶頸。這個瓶頸導致over-squarshing。這樣GNN就無法傳播源自遠程節點的消息，執行效果也不好。本文中調整了遠程GNN模型問題，無需任何調整或額外的權重即可突破瓶頸得到改善後的結果。
模型圖
從圖中可以看出，相對RNN而言，GNN中的瓶頸對結果的影響更大。
這項工作並非旨在提出新的GNN變體。相反，這項工作的主要貢獻是 ：強調GNN固有的瓶頸問題，並說明瓶頸問題是有害的。
實驗結果
從圖中可以看出，在鄰居匹配問題中，隨著GNN深度的增加，模型的精確度在下降。
4.ADAGCN: ADABOOSTING GRAPH CONVOLUTIONALNETWORKS INTO DEEP MODELS
https://openreview.net/pdf?id=QkRbdiiEjM
深圖模型的設計仍有待研究，其中至關重要部分是如何以有效的方式探索和利用來自鄰居的躍遷。在本文中，通過將AdaBoost集成到網絡計算中，提出了一種新穎的類RNN深度圖神經網絡架構。提出的圖卷積網絡AdaGCN（Adaboosting圖卷積網絡）具有有效提取來自當前節點的高階鄰居知識的能力。
不同於其他直接堆疊圖卷積層的圖神經網絡，AdaGCN在所有「層」之間共享相同的基礎神經網絡架構並進行遞歸優化處理，類似於RNN。
此外，本文還在理論上建立了AdaGCN與現有圖卷積方法之間的聯繫，從而展示了模型的優勢。最後，用實驗證明了AdaGCN的計算優勢。
模型圖
表格中顯示了不同模型的精度對比。可以看到AdaGCN比其他模型表現更好。
5.ACCURATE LEARNING OF GRAPH REPRESENTATIONSWITH GRAPH MULTISET POOLING
https://openreview.net/pdf?id=JHcqXGaqiGn
消息傳遞圖神經網絡已廣泛用於建模圖數據，在許多圖形分類和鏈路預測任務上取得了很好的效果。然而，為了獲得圖形的準確表示還需要定義良好的池化功能，即在不丟失單個節點特徵和全局圖結構的前提下將節點表示集映射到緊湊的形式。
為了解決現有的圖池化的限制，本文將圖池化問題表述為帶有關於圖結構的輔助信息的多集編碼問題，並提出了圖形多集轉換器（GMT）。該方法可以輕鬆擴展到以前的節點聚類方法，來進行分層圖池化。實驗結果表明，GMT明顯優於其他圖形池化方法，並在圖重構和生成任務上獲得很大的性能提升。
模型圖
6.GRAPH COARSENING WITH NEURAL NETWORKS
https://openreview.net/pdf?id=uxpzitPEooJ
隨著大規模圖的日益流行，處理，提取和分析大型圖形數據的計算難題有著越來越重要意義。圖粗化是一種在保持基本屬性的同時減小圖尺寸的技術。儘管有豐富的圖粗化文獻，但只有有限的數據驅動方法。
本文利用圖深度學習的最新進展來進行圖粗化。首先提出測量粗化算法質量的框架並說明我們需要根據目標仔細選擇圖粗化的Laplace運算符和相關的投影/提升運算符。由於粗化圖的當前邊權可能不是最優的選擇，用圖神經網絡對權重分配圖進行參數化並對其進行訓練，以無監督的方式提高粗化質量。通過在合成網絡和真實網絡上進行的廣泛實驗，證明了該方法顯著改善了各種條件下的常用圖粗化方法指標，縮小率，圖尺寸和圖類型。它概括為較大的尺寸（訓練圖的25倍），可適應不同的損耗（可微分和不可微分），並且可以縮放到比以前大得多的圖。
模型圖
可以看到GOREN可以在不同類型的圖上優化粗化方法。
專知便捷查看
便捷下載，請關注專知公眾號（點擊上方藍色專知關注）