NeurIPS 2020 | 用於半監督學習的圖隨機神經網絡

2020-12-13 健康界

導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND)，一種用於圖半監督學習的新型圖神經網絡框架。在模型架構上，GRAND 提出了一種簡單有效的圖數據增強方法 Random Propagation，用來增強模型魯棒性及減輕過平滑。基於 Random Propagation，GRAND 在優化過程中使用一致性正則（Consistency Regularization）來增強模型的泛化性，即除了優化標籤節點的 cross-entropy loss 之外，還會優化模型在無標籤節點的多次數據增強的預測一致性。GRAND 不僅在理論上有良好的解釋，還在三個公開數據集上超越了 14 種不同的 GNN 模型，取得了 SOTA 的效果。


這項研究被收入為 NeurIPS 2020 的 Oral paper (105/9454)。


論文名稱：GraphRandom Neural Network for Semi-Supervised Learning on Graphs

ArXiv: https://arxiv.org/abs/2005.11079

Github: https://github.com/THUDM/GRAND


圖是用於建模結構化和關係數據的一種通用的數據結構。在這項工作中，我們重點研究基於圖的半監督學習問題，這個問題的輸入是一個節點帶屬性的無向圖，其中只有一小部分節點有標籤，我們的目的是要根據節點屬性，圖的結構去預測無標籤節點的標籤。近幾年來，解決這個問題一類有效的方法是以圖卷積神經網絡（GCN）[1] 為代表的圖神經網絡模型（GNN）。其主要思想是通過一個確定性的特徵傳播來聚合鄰居節點的信息，以此來達到對特徵降噪的目的。
但是，最近的研究表明，這種傳播過程會帶來一些固有的問題，例如：
1) 過平滑，圖卷積可以看做是一種特殊形式的拉普拉斯平滑，疊加多層之後節點之間的 feature 就會變得不可區分。
2）欠魯棒，GNN 中的特徵傳播會使得節點的預測嚴重依賴於特定的鄰居節點，這樣的模型對噪音的容忍度會很差，例如 KDD』18 的 best paper [2] 就表明我們甚至可以通過間接攻擊的方式通過改變目標節點鄰居的屬性來達到攻擊目標節點的目的。
3）過擬合，在半監督節點分類的任務中，有標籤的節點很少，而一般 GNN 僅僅依靠這些少量的監督信息做訓練，這樣訓練出來的模型泛化能力會比較差。

為了解決這些問題，在這個工作中我們提出了圖隨機神經網絡（GRAND），一種簡單有效的圖半監督學習方法。與傳統 GNN 不同，GRAND 採用隨機傳播 (Random Propagation）策略。具體來說，我們首先隨機丟棄一些節點的屬性對節點特徵做一個隨機擾動，然後對擾動後的節點特徵做一個高階傳播。這樣一來，每個節點的特徵就會隨機地與其高階鄰居的特徵進交互，這種策略會降低節點對某些特定節點的依賴，提升模型的魯棒性。


除此之外，在同質圖中，相鄰的節點往往具有相似的特徵及標籤，這樣節點丟棄的信息就可以被其鄰居的信息補償過來。因此這樣形成的節點特徵就可以看成是一種針對圖數據的數據增強方法。基於這種傳播方法，我們進而設計了基於一致性正則（consistency regularization）的訓練方法，即每次訓練時進行多次 Random Propagation 生成多個不同的節點增強表示，然後將這些增強表示輸入到一個 MLP 中，除了優化交叉熵損失之外，我們還會去優化 MLP 模型對多個數據增強產生預測結果的一致性。這種一致性正則損失無需標籤，可以使模型利用充足的無標籤數據，以彌補半監督任務中監督信息少的不足，提升模型的泛化能力，減小過擬合的風險。

我們對 GRAND 進行了理論分析，分析結果表明，這種 Random propagation + Consistency Regularization 的訓練方式實際上是在優化模型對節點與其鄰居節點預測置信度之間的一致性。
我們在 GNN 基準數據集中的實驗結果對 GRAND 進行了評測，實驗結果顯示GRAND 在 3 個公開數據集中顯著超越了 14 種不同種類的 GNN 模型，取得了 SOTA 的效果。實驗結果（圖三）：
圖三
此外我們還對模型泛化性，魯棒性，過平滑等問題進行了分析，實驗結果顯示 1）Consistency Regularization 和 Random Propagation 均能提升模型的泛化能力（圖四）；2）GRAND 具有更好的對抗魯棒性（圖五）；3）GRAND 可以減輕過平滑問題（圖六）。
圖四
圖五
圖六
參考文獻：
[1] Kipf T N,  Welling M. Semi-supervised classification with graph convolutional  networks[J]. arXiv preprint arXiv:1609.02907, 2016.
[2] Zügner D, Akbarnejad A, Günnemann S. Adversarial attacks  on neural networks for graph data[C]//Proceedings of the 24th ACM SIGKDD  International Conference on Knowledge Discovery & Data Mining. 2018:  2847-2856.

相關焦點

  • NeurIPS 2020|用於半監督學習的圖隨機神經網絡
    導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND)，一種用於圖半監督學習的新型圖神經網絡框架。
  • NeurIPS 2020 | 近期必讀高斯過程精選論文
    目前，在統計學習的研究中，高斯過程仍然是研究界關注的熱點，而他在強化學習、隨機梯度下降、貝葉斯優化等研究熱點中的應用也在本次的NeurIPS 2020會議中大放異彩。conf=neurips2020簡介：在元學習和持續學習中，已經進行了持續學習來解決經驗有限的看不見的任務，但是在局限性的假設下，例如可訪問的任務分布，獨立且相同分布的任務以及清晰的任務描述。但是，現實世界中的物理任務經常違反這些假設，從而導致性能下降。
  • Hinton構思下一代神經網絡:屬於無監督對比學習
    受人腦的啟發，他和其他研究者提出了「人工神經網絡」（artificial neural network），為機器學習研究奠定了基石。那麼，30 多年過去，神經網絡的未來發展方向在哪裡呢？Hinton 在此次報告中回顧了神經網絡的發展歷程，並表示下一代神經網絡將屬於無監督對比學習。
  • CMU 2020年「神經網絡NLP」課程開課啦
    近日，CMU 2020年「神經網絡 NLP」課程開課啦！對正在學習自然語言處理的同學們來說，這是一份不可多得的好資源。該課程將涵蓋在創建神經網絡模型中各種有用的技術，包括處理大小不一的結構化句子、高效處理大數據、半監督和無監督學習、結構化預測和多語言建模。需要具備的知識參加學習的同學，需要具備一定的 NLP 知識，例如，n-gram 語言建模、CKY 解析、詞彙對齊等等。
  • 73歲Hinton老爺子構思下一代神經網絡:屬於無監督對比學習
    受人腦的啟發，他和其他研究者提出了「人工神經網絡」（artificial neural network），為機器學習研究奠定了基石。那麼，30 多年過去，神經網絡的未來發展方向在哪裡呢？Hinton 在此次報告中回顧了神經網絡的發展歷程，並表示下一代神經網絡將屬於無監督對比學習。
  • 監督學習/無監督學習/半監督學習
    監督學習：（數據有輸入有輸出），通過已有的一部分數據和輸出數據之間的相應關係，生成一個函數，將輸入映射到合適的輸出，在準確的說有監督學習就是訓練樣本中必須有標籤或者標記；無監督學習：（數據只有輸入），給定的訓練樣本中難以標註類別或者標註成本過高，這類沒有類別標註（未被標記）的訓練集建模模式稱為無監督學習
  • 自監督、半監督和有監督全涵蓋,四篇論文遍歷對比學習的研究進展
    區別類方法則是通過優化目標函數來學習潛在空間中的表徵（Representation），利用學習到的表徵來完成下遊任務，比如對比不同的數據。在自監督方法中，區別類方法通過執行前置（pretext）任務訓練網絡，因此使用的用於訓練網絡的樣本數據和標記數據一般都來自於未標記的數據集。
  • 加州伯克利博士:基於隱模型的圖神經網絡設計|NeurIPS 2020論文分享
    近年來，人們對深度學習方法在圖上的擴展越來越感興趣。在多方因素的成功推動下，研究人員借鑑了卷積網絡、循環網絡和深度自動編碼器的思想，定義和設計了用於處理圖數據的神經網絡結構，由此出現了一個新的研究熱點——「圖神經網絡（Graph Neural Networks，GNN）」。
  • 半監督學習入門基礎(一)
    SSL的目標是要比單獨使用有標記數據訓練的監督學習技術得到更好的結果。這是半監督學習系列文章的第1部分，對這個機器學習的重要子領域進行了簡要的介紹。區分半監督學習，監督學習和無監督學習整個數據集中可用於訓練的有標記數據的範圍區分了機器學習的這三個相關領域。
  • 比監督學習做的更好:半監督學習
    從它的概念開始，無數的算法，從簡單的邏輯回歸到大規模的神經網絡，都已經被研究用來提高精確度和預測能力。然而，一個重大突破揭示了添加「無監督數據」可以提高模型泛化和性能。事實上，在非常多的場景中，帶有標籤的數據並不容易獲得。半監督學習可以在標準的任務中實現SOTA的效果，只需要一小部分的有標記數據 —— 數百個訓練樣本。
  • KDD20 | 圖神經網絡在生物醫藥領域的應用
    1 引言最近，越來越多的研究開始將深度學習方法應用到圖數據領域。圖神經網絡在數據具有明確關係的結構場景，如物理系統，分子結構和知識圖譜中有著廣泛的研究價值和應用前景，本文將介紹在KDD 2020上發表的兩個在這一場景下的最新工作。
  • 深入淺出圖神經網絡實現方式,讓圖神經網絡不再難!
    文章《A Comprehensive Survey on Graph Neural Networks》[1]提供了一個全面的圖神經網絡(GNNs) 概述，並且將最新的圖神經網絡分為四類，即遞歸圖神經網絡(RecGNNs)、卷積圖神經網絡(ConvGNNs)、圖自動編碼器(GAEs)和時空圖神經網絡(STGNNs)。
  • 從圖網絡表示到圖神經網絡
    而在更一般的情況下， 數字和數字之間，是一個互相聯繫的複雜網絡， 這時候我們用節點和連接它們的邊來描述這種數據類型， 這就是我們說的圖網絡結構。對於圖像CNN是目前深度學習的集大成者， 對於時間序列RNN， transformer是集大成者， 那麼對於圖結構呢？這就是當下的圖神經網絡崛起的背景。
  • 真正的神經網絡,敢於不學習權重
    為了評估這些網絡，研究者使用從統一隨機分布中採樣的單個共享權重參數來連接網絡層，並評估期望性能。結果顯示，該方法可以找到少量神經網絡架構，這些架構可以在沒有權重訓練的情況下執行多個強化學習任務，或 MNIST 等監督學習任務。如下是兩個不用學習權重的神經網絡示例，分別是二足行走智能體（上）和賽車（下）：
  • 圖神經網絡概述第三彈:來自IEEE Fellow的GNN綜述
    ，參見：深度學習時代的圖模型，清華發文綜述圖網絡，和清華大學圖神經網絡綜述：模型與應用。這些早期的研究以迭代的方式通過循環神經架構傳播鄰近信息來學習目標節點的表示，直到達到穩定的固定點。該過程所需計算量龐大，而近來也有許多研究致力於解決這個難題。在本文中，圖神經網絡代表的是所有用於圖數據的深度學習方法。
  • 「神經網絡就像任性的小孩」港中文博士揭開自監督學習的秘密
    新智元邀請香港中文大學多媒體實驗室的詹曉航博士，為我們解讀關於自監督學習的歸納、思考和展望。如何定義自監督學習？自監督學習是指用於機器學習的標註（ground truth）源於數據本身，而非來自人工標註。如下圖，自監督學習首先屬於無監督學習，因此其學習的目標無需人工標註。
  • 17篇論文,詳解圖的機器學習趨勢|NeurIPS 2019
    ，都希望把雙曲空間的好處和圖神經網絡的表達能力結合起來，只不過具體的模型設計有所區別。如果你碰巧在大學學習了sinh（雙曲正弦）、龐加萊球面、洛倫茲雙曲面之類的高等幾何知識但是從來都不知道在哪能用上的話，你的機會來了，做雙曲幾何+圖神經網絡吧。
  • 表徵圖數據絕不止圖神經網絡一種方法
    近年來，圖神經網絡掀起了將深度學習方法應用於圖數據分析的浪潮。不過其作為一門古老的認識世界的方法論，人們對於圖表徵技術的研究從很早以前就開始了。雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。
  • SIGIR2020|圖靈獎得主Hinton:無監督對比學習將是神經網絡的未來
    【新智元導讀】7月27日上午，第43屆國際信息檢索大會（SIGIR 2020）線上開啟，圖靈獎得主Geoffrey Hinton作了主題演講，今天我們就跟隨Hinton一起走進「神經網絡的新時代」。人工神經網絡一直懸而未決的問題是如何像大腦一樣有效地進行無監督學習。
  • 百度飛槳PGL-UniMP刷新3項任務記錄 登頂圖神經網絡權威榜單OGB
    圖神經網絡最權威榜單OGB　　圖神經網絡是用於圖結構數據的深度學習架構，將端到端學習與歸納推理相結合，有望解決傳統深度學習無法處理的因果推理、可解釋性等問題，是非常有潛力的人工智慧研究方向其中最熱門的三個半監督節點分類數據集：商品推薦ogbn-products、論文引用ogbn-arxiv和化學分子ogbn-proteins，對圖神經網絡研究者有極強的吸引力。