NeurIPS 2020|用於半監督學習的圖隨機神經網絡

2020-12-04 學術頭條

導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND)，一種用於圖半監督學習的新型圖神經網絡框架。在模型架構上，GRAND 提出了一種簡單有效的圖數據增強方法 Random Propagation，用來增強模型魯棒性及減輕過平滑。基於 Random Propagation，GRAND 在優化過程中使用一致性正則（Consistency Regularization）來增強模型的泛化性，即除了優化標籤節點的 cross-entropy loss 之外，還會優化模型在無標籤節點的多次數據增強的預測一致性。GRAND 不僅在理論上有良好的解釋，還在三個公開數據集上超越了 14 種不同的 GNN 模型，取得了 SOTA 的效果。

這項研究被收入為 NeurIPS 2020 的 Oral paper (105/9454)。

論文名稱：GraphRandom Neural Network for Semi-Supervised Learning on Graphs

ArXiv: https://arxiv.org/abs/2005.11079

Github: https://github.com/THUDM/GRAND

研究背景

圖是用於建模結構化和關係數據的一種通用的數據結構。在這項工作中，我們重點研究基於圖的半監督學習問題，這個問題的輸入是一個節點帶屬性的無向圖，其中只有一小部分節點有標籤，我們的目的是要根據節點屬性，圖的結構去預測無標籤節點的標籤。近幾年來，解決這個問題一類有效的方法是以圖卷積神經網絡（GCN）[1] 為代表的圖神經網絡模型（GNN）。其主要思想是通過一個確定性的特徵傳播來聚合鄰居節點的信息，以此來達到對特徵降噪的目的。

但是，最近的研究表明，這種傳播過程會帶來一些固有的問題，例如：

1) 過平滑，圖卷積可以看做是一種特殊形式的拉普拉斯平滑，疊加多層之後節點之間的 feature 就會變得不可區分。

2）欠魯棒，GNN 中的特徵傳播會使得節點的預測嚴重依賴於特定的鄰居節點，這樣的模型對噪音的容忍度會很差，例如 KDD』18 的 best paper [2] 就表明我們甚至可以通過間接攻擊的方式通過改變目標節點鄰居的屬性來達到攻擊目標節點的目的。

3）過擬合，在半監督節點分類的任務中，有標籤的節點很少，而一般 GNN 僅僅依靠這些少量的監督信息做訓練，這樣訓練出來的模型泛化能力會比較差。

模型介紹

為了解決這些問題，在這個工作中我們提出了圖隨機神經網絡（GRAND），一種簡單有效的圖半監督學習方法。與傳統 GNN 不同，GRAND 採用隨機傳播 (Random Propagation）策略。具體來說，我們首先隨機丟棄一些節點的屬性對節點特徵做一個隨機擾動，然後對擾動後的節點特徵做一個高階傳播。這樣一來，每個節點的特徵就會隨機地與其高階鄰居的特徵進交互，這種策略會降低節點對某些特定節點的依賴，提升模型的魯棒性。

除此之外，在同質圖中，相鄰的節點往往具有相似的特徵及標籤，這樣節點丟棄的信息就可以被其鄰居的信息補償過來。因此這樣形成的節點特徵就可以看成是一種針對圖數據的數據增強方法。基於這種傳播方法，我們進而設計了基於一致性正則（consistency regularization）的訓練方法，即每次訓練時進行多次 Random Propagation 生成多個不同的節點增強表示，然後將這些增強表示輸入到一個 MLP 中，除了優化交叉熵損失之外，我們還會去優化 MLP 模型對多個數據增強產生預測結果的一致性。這種一致性正則損失無需標籤，可以使模型利用充足的無標籤數據，以彌補半監督任務中監督信息少的不足，提升模型的泛化能力，減小過擬合的風險。

圖一

圖二

我們對 GRAND 進行了理論分析，分析結果表明，這種 Random propagation + Consistency Regularization 的訓練方式實際上是在優化模型對節點與其鄰居節點預測置信度之間的一致性。

實驗結果

我們在 GNN 基準數據集中的實驗結果對 GRAND 進行了評測，實驗結果顯示GRAND 在 3 個公開數據集中顯著超越了 14 種不同種類的 GNN 模型，取得了 SOTA 的效果。實驗結果（圖三）：

圖三

此外我們還對模型泛化性，魯棒性，過平滑等問題進行了分析，實驗結果顯示 1）Consistency Regularization 和 Random Propagation 均能提升模型的泛化能力（圖四）；2）GRAND 具有更好的對抗魯棒性（圖五）；3）GRAND 可以減輕過平滑問題（圖六）。

圖四

圖五

圖六

參考文獻：[1] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.[2] Zügner D, Akbarnejad A, Günnemann S. Adversarial attacks on neural networks for graph data[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 2847-2856.

相關焦點

  • 用於半監督學習的圖隨機神經網絡
    原標題：用於半監督學習的圖隨機神經網絡 　　導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    NeurIPS2020 | 解決不確定性問題—用於半監督學習的圖隨機神經網絡(代碼已經公開)ICLR 2020 | 兼顧效率與質量—基於譜方法的高效多級圖嵌入框架NeurIPS2020 | 用於半監督學習的圖隨機神經網絡NeurIPS2020 | 顯著超越STGCN: 方法簡單-效果顯著自適應構圖的時空圖網絡硬核 | TKDE2020
  • 73歲Hinton老爺子構思下一代神經網絡:屬於無監督對比學習
    受人腦的啟發，他和其他研究者提出了「人工神經網絡」（artificial neural network），為機器學習研究奠定了基石。那麼，30 多年過去，神經網絡的未來發展方向在哪裡呢？Hinton 在此次報告中回顧了神經網絡的發展歷程，並表示下一代神經網絡將屬於無監督對比學習。
  • CMU 2020年「神經網絡NLP」課程開課啦
    近日，CMU 2020年「神經網絡 NLP」課程開課啦！對正在學習自然語言處理的同學們來說，這是一份不可多得的好資源。該課程將涵蓋在創建神經網絡模型中各種有用的技術，包括處理大小不一的結構化句子、高效處理大數據、半監督和無監督學習、結構化預測和多語言建模。需要具備的知識參加學習的同學，需要具備一定的 NLP 知識，例如，n-gram 語言建模、CKY 解析、詞彙對齊等等。
  • 自監督、半監督和有監督全涵蓋,四篇論文遍歷對比學習的研究進展
    在自監督方法中，區別類方法通過執行前置（pretext）任務訓練網絡，因此使用的用於訓練網絡的樣本數據和標記數據一般都來自於未標記的數據集。前置任務是指用來學習視覺表徵的自我監督學習任務，目的是對下遊任務（也就是真正任務）使用在前置任務中獲得的學習表徵或模型權重。對比學習也是一種基於潛在空間的區別類自監督學習方法，近年來獲得了越來越多的關注。
  • 深度圖高斯過程 | NeurIPS 2020論文分享第一期
    高斯過程是概率機器學習中的核心方法，憑藉其良好的解析性質和出色的不確定性建模能力，被廣泛應用於各類機器學習問題。採用深度學習層次化建模範式的「深度高斯過程」則進一步增強了其建模能力，拓寬了其應用範圍。然而，絕大多數現有方法不能很好的擴展到圖結構數據。
  • 加州伯克利博士:基於隱模型的圖神經網絡設計|NeurIPS 2020論文分享
    近年來，人們對深度學習方法在圖上的擴展越來越感興趣。在多方因素的成功推動下，研究人員借鑑了卷積網絡、循環網絡和深度自動編碼器的思想，定義和設計了用於處理圖數據的神經網絡結構，由此出現了一個新的研究熱點——「圖神經網絡（Graph Neural Networks，GNN）」。
  • SIGIR2020|圖靈獎得主Hinton：無監督對比學習將是神經網絡的未來
    【新智元導讀】7月27日上午，第43屆國際信息檢索大會（SIGIR 2020）線上開啟，圖靈獎得主Geoffrey Hinton作了主題演講，今天我們就跟隨Hinton一起走進「神經網絡的新時代」。人工神經網絡一直懸而未決的問題是如何像大腦一樣有效地進行無監督學習。
  • 深度學習時代的圖模型,清華發文綜述圖網絡
    他們將現有方法分為三個大類：半監督方法，包括圖神經網絡和圖卷積網絡；無監督方法，包括圖自編碼器；近期新的研究方法，包括圖循環神經網絡和圖強化學習。然後按照這些方法的發展史對它們進行系統概述。該研究還分析了這些方法的區別，以及如何合成不同的架構。最後，該研究簡單列舉了這些方法的應用範圍，並討論了潛在方向。
  • 頂會見聞系列:ICML 2018(下),能量、GAN、監督學習、神經網絡
    當前的模型（如深度神經網絡）需要大量的能量。從物理能量（建模）思想出發推導出深度學習的一個貝葉斯形式，能帶來（現實中）更能源高效的模型。最終這些事情都能一一連接起來。這裡有一個他關於該主題的另一個報告，與 ICML 的這個報告相比有較大不同。
  • 德克薩斯A&M大學在讀博士遊宇寧:自監督學習在圖卷積網絡中的研究...
    為了有效利用大量的無標籤數據，自監督學習通過設置合理的學習目標和定義前置任務，從數據本身中得到了監督信號。當前自監督學習已經被廣泛用於訓練卷積神經網絡（CNNs），有效地提高了圖像表示學習可傳遞性、泛化能力和魯棒性，並且已在語義分割、目標檢測、圖像分類、人體動作識別等實戰場景中展現出卓越效果。現在更多無需人工標註的前置任務訓練也被提出，如前景對象分割、圖像修補、圖像著色等。
  • 南洋理工大學最新發布開源圖神經網絡基準
    但大多數研究所使用的數據集都很小，如Cora和TU，在這種情況下，即使是非圖神經網絡的性能也相當可觀。只有使用中等大小的數據集進行進一步比較，圖形神經網絡的優勢才會變得明顯。在斯坦福圖形神經網絡bull Jure等人發布「開放圖形基準」之後，又一項旨在構建「圖形神經網絡圖像網」的研究應運而生。
  • 表徵圖數據絕不止圖神經網絡一種方法
    近年來，圖神經網絡掀起了將深度學習方法應用於圖數據分析的浪潮。不過其作為一門古老的認識世界的方法論，人們對於圖表徵技術的研究從很早以前就開始了。雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。
  • 17篇論文,詳解圖的機器學習趨勢 | NeurIPS 2019
    目前為止，這個研究還僅限於一階邏輯的兩變量片段FOC_2，因為FOC_2連接到用於檢查圖同構的Weisfeiler-Lehman（WL）測試上。作者證明，聚合組合神經網絡（AC-GNN）的表達方式對應於描述邏輯ALCQ，它是FOC_2的子集。
  • GAN用於無監督表徵學習,效果依然驚人……
    論文：Large Scale Adversarial Representation Learning論文地址：https://arxiv.org/abs/1907.02544用 GAN 來做表徵學習真的能行？其實在 GAN 的早期，它也是能用於無監督表徵學習的，只不過後來自編碼器等自監督學習有了更好的效果。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。本文是一篇出自倫敦大學學院的圖表徵學習綜述，詳細介紹了圖核、卷積、圖神經網絡、圖嵌入、概率模型共五類圖表徵學習方法的起源與發展，並對圖數據表徵學習方法的最新進展和未來發展方向進行總結和討論。
  • 機器學習算法盤點:人工神經網絡、深度學習
    半監督式學習： 　　 　　人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用於解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。（其中深度學習就是其中的一類算法，我們會單獨討論），重要的人工神經網絡算法包括：感知器神經網絡（Perceptron Neural Network）， 反向傳遞（Back Propagation）， Hopfield網絡，自組織映射（Self-Organizing Map， SOM）。
  • 機器學習算法匯總:人工神經網絡、深度學習及其它
    人工神經網絡 人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用於解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。（其中深度學習就是其中的一類算法，我們會單獨討論），重要的人工神經網絡算法包括：感知器神經網絡（Perceptron Neural Network）, 反向傳遞（Back Propagation）， Hopfield網絡，自組織映射（Self-Organizing Map, SOM）。
  • 神經網絡和深度學習簡史(全)
    ，成為美國第一位提出可以將其用於神經網絡的研究人員。神經網絡做決定神經網絡運用於無監督學習的發現之旅結束後，讓我們也快速了解一下它們如何被用於機器學習的第三個分支領域：強化學習。正規解釋強化學習需要很多數學符號，不過，它也有一個很容易加以非正式描述的目標：學會做出好決定。
  • NAS-DIP: 基於神經架構搜索的自監督圖像補全算法
    From: Arxiv；編譯: T.R　　與先前使用大規模監督數據進行訓練的算法不同，Deep Image Prior(DIP)利用隨機初始化的神經網絡模型和退化後的圖像進行自監督迭代，在無需大規模數據進行訓練的情況下，就能有效實現圖像去噪、超分辨和補全等任務。