譯者 | 劉暢
出品 | AI科技大本營
頭圖 | CSDN付費下載自視覺中國
圖神經網絡（GNNs）是圖學習中一種主流的技術。然而，對於GNN為什麼在實際使用中很成功以及它們是否是優異性能所必需的技術，了解相對較少。
本文展示了許多標準的傳導節點網絡的分類基準結果，作者通過將忽略圖結構的淺層模型與利用標籤結構中相關性的兩個簡單後處理步驟相結合，可以超越或匹配SOTA的GNN的性能，這裡主要有兩個相關性（i）將訓練數據中的殘餘誤差帶到測試數據中，用於矯正錯誤的「誤差相關性」（error correlation），以及（ii）一個「預測相關性」，它可以平滑測試數據上的預測。本文稱整個過程為矯正且平滑（Correct and Smooth, C&S），後處理步驟是通過對早期基於圖的半監督學習方法的標準標籤傳導技術的簡單修改來實現的。
本文的方法在各種基準測試上超過或接近於SOTA的GNNs的性能，並且它只需要一小部分的參數，運行速度更快。例如，本文方法在OGB產品數據集中以減少137倍的參數和100倍的訓練時間超過了最著名的GNN性能。本文方法的性能突出展現了如何直接將標籤信息納入學習算法（如在傳統技術中所做的那樣），並產生簡單而實質性的性能提升，也可以將技術融入大型GNN模型中，提供適度增益。
OGB結果的代碼是：
https://github.com/Chillee/correctandsooth。
引言
隨著神經網絡在計算機視覺和自然語言處理方面的成功，現在有許多的圖神經網絡（GNN）來對關係性數據進行預測。這些模型已經取得了很大的成功，並且在開放的圖基準排行榜上名列前茅。通常，GNN的方法主要是圍繞著創建比基本結構更具表現力的體系結構，如圖卷積網絡（GCN）或GraphSAGE；例子如圖注意力網絡，圖同構網絡和各種深層模型。許多新GNN架構的想法都是從語言（例如注意力）或視覺（例如深層CNN）模型中的新架構改編而來的，希望能成功轉化為圖形。然而，隨著這些模型變得越來越複雜，理解它們的性能增益是一個主要的挑戰，並且將它們擴展到大型數據集是很困難的。
在本文中，我們將展示，通過組合更簡單的模型，我們可以達到多大的程度，重點是了解在圖學習中，特別是轉化節點分類中，哪裡有容易提高性能的機會。本文提出了一個包含三個主要部分的簡單管道（pipeline）（圖1）：（i）使用忽略圖結構的節點特徵進行基礎預測（例如，MLP或線性模型）；（ii）校正步驟，它將訓練數據中的不確定性傳播到圖中，以校正基礎預測；以及（iii）對圖上的預測進行平滑處理。步驟（ii）和（iii）只是後處理，使用的是經典的基於圖的半監督學習方法，即標籤傳播。
圖1 任意GNN模型，校正和平滑過程整體概述，並附帶一個示例。
假設左側簇屬於橙色類，右側簇屬於藍色類。我們使用mlp進行基礎的預測，假設在本例中，圖結構對所有節點都給出了相同的預測。然後，通過傳遞訓練數據中的誤差來校正基礎的預測。最後，通過標籤傳遞對校正後的預測進行平滑處理。
本文方法性能改進的一個主要來源是直接使用標籤進行預測。這種想法並不是什麼新鮮事，早期的基於擴散的半監督學習算法，如光譜圖傳感器、高斯隨機場模型和標籤擴散都使用了這一思想。然而，這些方法的動機是在點雲數據上進行半監督學習，因此使用特徵來構造圖。從那時起，這些技術被用於僅從標籤（即無特徵）學習關係數據，但在GNNs中基本上被忽略了。
儘管如此，本文發現即使是簡單的標籤傳播（忽略了特徵）在許多基準測試中都表現得出奇地好。這就為組合兩個預測能力的正交提供了動力，一個來自節點特徵（忽略圖結構），另一個來自直接在預測中使用已知標籤。
最近的研究將GNN與標籤傳播以及馬爾可夫隨機場聯繫起來，並且一些技術在特徵中使用了標籤信息。然而，這些方法的訓練成本仍然很高，而本文是以兩種可理解的低成本方式使用標籤傳播。本文從一個忽略了圖結構的模型的「基礎預測」開始。之後，使用標籤傳播進行誤差修正，然後平滑最終預測。這些後處理步驟基於這樣一個事實，即連接節點上的錯誤和標籤是正相關的。
總的來說，本文的方法表明，結合幾個簡單的思想，在傳導節點分類中，無論是在模型大小還是在訓練時間方面，成本都只佔一小部分。例如，在OGB產品基準測試中，我們用少於兩個數量級的參數和訓練時間，超過了目前最著名的GNN方法。
然而，本文的目標並不是說當前的圖學習方法很差或不合適。相反，本文的目標是強調在圖學習中提高預測性能的更簡單的方法，這樣可以更好地理解性能增加的緣由。本文的主要發現是在學習算法中更直接地加入標籤是非常關鍵的。通過將我們的想法與現有的GNN相結合，我們也看到了一些提升，儘管這些提升是微不足道的。但作者希望本文的方法能為其他的圖學習任務，如歸納節點分類、連結預測和圖預測提供一些思路。
方法
我們的方法從一個簡單的基於節點特徵的基礎預測器開始，這個預測器不依賴於圖的任何學習。之後，我們執行兩種類型的標籤傳播（LP）：一種是通過建模相關誤差來修正基礎的預測，另一種是平滑最終的預測結果。我們稱這兩種方法的組合是校正和平滑（C&S；圖1）。LP（Label Propagation, 標籤傳遞）只是一個後處理的步驟，本文的算法pipeline不是一個端到端的訓練。此外，該圖僅用於這些後處理步驟和增強特徵的前處理步驟。而一般的基礎預測方式不是這樣的。與標準GNN模型相比，這使得訓練變得更快且可擴展。此外，我們利用了LP（在沒有特性的情況下，它本身的性能往往相當好）和節點特徵。我們將看到，將這些補充的信息結合起來會產生很好的預測。
首先，我們使用一個不依賴於圖結構的簡單的基礎預測器。這個預測器可以是線性的模型或者一個淺的多層感知器，接下來，我們通過合併標籤來關聯修正錯誤，從而提高基礎預測器的精度。為了最終的預測，出於圖中的相鄰節點可能具有相似標籤的考慮，作者進一步平滑了修正後的預測值。回顧整個處理的流程，就是從簡單的基礎預測Z開始，只使用節點特徵，而不是圖結構。然後，通過在訓練數據上傳遞已知誤差來估計誤差，得到誤差修正後的預測Z（r）=Z+^E。最後，作者將這些作為未標記節點上的得分向量，通過另一個LP步驟將其與已知標籤相結合，得到平滑的最終預測。這就是Correct and Smooth(C&S)方法。
實驗
為了證明本文方法的有效性，我們使用了九個數據集（表1）。Arxiv和Products數據集來自開放圖基準數據集；Cora、Citeseer和Pubmed是三個經典的引文網絡基準數據集；wikiCS是一個網絡圖。在這些數據集中，類標籤是論文、產品或頁面的種類，而特徵是從文本派生出來的。本文還使用Rice 大學的Facebook社交網絡，其中類標籤是宿舍，特徵是性別、專業和班級年份等屬性，以及美國的地理數據集，類標籤是2016年選舉結果，特徵是人口統計。最後，我們使用了一個歐洲研究機構的電子郵件數據集，其中的類標籤是部門成員，沒有特徵。
具體的對比方法和結果如下圖所示，其他更詳細的實驗步驟和對比結果，可以詳細閱讀論文。
結論
GNN模型正變得越來越有泛化能力，參數也越來越多，訓練成本相應的也變得越來越高。本文的研究結果表明，我們應該探索其他提高性能的技術，例如標籤傳遞和特徵增強。特別是，標籤傳遞和它的變體是一種可持續發展的想法。直接地將它們結合到圖學習模型中就會帶來很大的好處，而且本文已經證明這些方法可以使預測結果更好，訓練更快。