NeurIPS2020 | 結合集成學習與Rademacher複雜度分析多尺度GNN解決過擬合問題

2021-02-21 深度學習與圖網絡


Optimization and Generalization Analysis of

Transduction through Gradient Boosting and

Application to Multi-scale Graph Neural Networks


目前的圖神經網絡(gnn)由於過度平滑的問題，難以實現深度學習。多尺度GNNs可能是解決過平滑問題的一種有效方法，比如JKNet,將中間層跟最後層合併在一起。然而，很少有人從學習理論的角度來解釋為什麼有效。


在本研究中，作者推導了包含多尺度GNN的transductive learning算法的優化和泛化保證。利用集成學習理論，證明了弱學習條件下訓練誤差的收斂性。通過與Rademacher complexity泛化邊界理論相結合，證明了在一定條件下，一種特定類型的多尺度GNN的測試誤差界隨節點聚集數的減少而減小。


本文給多尺度結構對抗過平滑問題的有效性提供了理論解釋。進一步，作者將boosting算法應用到多尺度GNN的訓練中，完成實際節點預測任務。證實了其性能與現有GNN相當，實際實驗與理論一致。代碼可以在https://github.com/delta2323/GB-GNN上找到。

相關焦點

  • 高集成度小型化共心多尺度光學系統設計
    針對以上問題，本文設計了高集成度小型化共心多尺度光學系統，該系統不僅可以有效實現大視場高解析度成像，同時具有結構簡單、集成度高、體積小等特點。高集成度小型化共心多尺度光學成像系統充分利用了球透鏡視場大、光能收集能力強、軸外像差小等特點，將共心球透鏡作為主物鏡，並採用伽利略型多尺度成像結構，將球透鏡與小相機陣列進行級聯，以更緊湊的系統結構獲取大視場高解析度成像效果。此外，通過研究共心球透鏡結構複雜度與其成像性能的關係，從而確定一個最優化的系統結構，可在提高成像性能的前提下進一步降低系統結構的複雜度。
  • 百度多篇論文入選NeurIPS 2020,機器學習領先算法、理論「強輸出」
    此次大會中，百度研究院參會並發表了多篇高質量論文，論文聚焦大規模稀疏學習的加速求解、新發現物種數量預測、隨機非凸優化、高維數據判別分析等問題，分別提出了創新算法及理論，突破原有算法在實際應用中泛化效果差、優化效率低等限制，有效提升AI技術在自然生態學、統計學習理論等領域中的應用價值，同時也彰顯出百度在人工智慧與機器學習領域的持續技術創新力。
  • 「大咖來解惑」機器學習、深度學習算法防止過擬合的方法?
    @z_zeee：#我要提問段立新老師#機器學習、深度學習算法防止過擬合的方法？段立新老師：機器學習和深度學習都會採用不同的方法來防止模型的過擬合問題。就傳統機器學習而言，常用的方法是在損失函數中加入正則項。通過引入L1或L2正則，控制模型中參數值的大小。根據龍格現象，模型中參數的數值越小，理解為模型的複雜度越小，在預測時效果更穩定。
  • 深度圖高斯過程 | NeurIPS 2020論文分享第一期
    高斯過程是概率機器學習中的核心方法，憑藉其良好的解析性質和出色的不確定性建模能力，被廣泛應用於各類機器學習問題。採用深度學習層次化建模範式的「深度高斯過程」則進一步增強了其建模能力，拓寬了其應用範圍。然而，絕大多數現有方法不能很好的擴展到圖結構數據。
  • 神經網絡中避免過擬合5種方法介紹
    最近一年我一直致力於深度學習領域。這段時間裡，我使用過很多神經網絡，比如卷積神經網絡、循環神經網絡、自編碼器等等。我遇到的最常見的一個問題就是在訓練時，深度神經網絡會過擬合。 當模型試著預測噪聲較多的數據的趨勢時，由於模型參數過多、過於複雜，就會導致過擬合。過擬合的模型通常是不精確的，因為這樣的預測趨勢並不會反映數據的真實情況。
  • 機器學習算法集錦:從貝葉斯到深度學習及各自優缺點
    例子：嶺回歸（Ridge Regression）最小絕對收縮與選擇算子（LASSO）GLASSO彈性網絡（Elastic Net）最小角回歸（Least-Angle Regression）優點：其懲罰會減少過擬合總會有解決方法缺點：懲罰會造成欠擬合很難校準集成算法（Ensemble algorithms
  • NeurIPS 2020|用於半監督學習的圖隨機神經網絡
    在這項工作中，我們重點研究基於圖的半監督學習問題，這個問題的輸入是一個節點帶屬性的無向圖，其中只有一小部分節點有標籤，我們的目的是要根據節點屬性，圖的結構去預測無標籤節點的標籤。近幾年來，解決這個問題一類有效的方法是以圖卷積神經網絡（GCN）[1] 為代表的圖神經網絡模型（GNN）。其主要思想是通過一個確定性的特徵傳播來聚合鄰居節點的信息，以此來達到對特徵降噪的目的。
  • 怎樣構建深度學習模型?六步走,時刻小心過擬合 | 入門指南
    整個過程中，過擬合的問題時時刻刻都要注意。1. 選個損失函數選擇怎樣的損失函數，取決於需要解決怎樣的問題。如果是回歸問題，就可以用均方誤差(MSE) 損失函數。擬合驗證集這一步，是最難的，也最花時間。怎樣才能解決訓練集上的過擬合問題？丟棄 (Dropout)把訓練集中的一些神經元，隨機清零。那麼，概率 (p) 要怎麼設置？
  • 梯度下降兩大痛點:陷入局部極小值和過擬合
    此外，儘管在訓練數據上，網絡可能到達全局最小值，並收斂於所需點，我們無法保證網絡所學的概括性有多好。這意味著它們傾向於過擬合訓練數據。這大大加速了訓練，因為我們在每次迭代中沒有使用整個數據集，它需要的計算量少得多。同時，它也有望導向更好的表現，因為網絡在訓練中斷斷續續的移動應該能讓它更好地避開局部極小值，而使用一小部分數據集當有助於預防過擬合。
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    圖與自然語言處理圖與計算機視覺圖與智慧交通圖與推薦圖優化與解決過平滑問題圖上節點分類圖池化與分類以及分子圖生成動態圖,時空圖嵌入在研究動態上：公眾號關注NeurIPS, ICML, KDD, CVPR等會議論文，TPAMI, TNNLS, TKDE, TKDD等期刊論文，以及關注Arxiv上與圖網絡相關的研究動態，同時關注GitHub上關於GNN 庫。
  • 概念理解:通俗的「過擬合與欠擬合」直觀解釋
    ，並解釋了方差與偏差的概念，並介紹了克服模型過擬合與欠擬合的方法——驗證集。的確如此：你剛剛經歷了建模過程中最基本的錯誤之一，在訓練數據的時候過擬合了。在數據科學中，過擬合模型被解釋為在訓練集上具有高方差（high variance）和低偏差（low bias），導致新測試數據泛化能力不佳。我們可以用學習英語的過程來簡化「過擬合」概念的理解。我們要建立的模型是如何使用英語進行交流。
  • 第四範式NeurIPS 2020：知識圖譜嵌入的自動化
    機器之心聯合多位研究者舉辦了線上分享活動，前不久，來自第四範式的資深研究員姚權銘博士和大家分享了其參與並被 NeurIPS 2020 接收的論文《Interstellar: Searching Recurrent Architecture for Knowledge Graph Embedding》。
  • 第四範式NeurIPS 2020:知識圖譜嵌入的自動化
    機器之心聯合多位研究者舉辦了線上分享活動，前不久，來自第四範式的資深研究員姚權銘博士和大家分享了其參與並被 NeurIPS 2020 接收的論文《Interstellar: Searching Recurrent Architecture for Knowledge Graph Embedding》。
  • BAT大廠機器學習算法面試經驗!一文帶你感受網際網路大佬知識點
    如果只用一個訓練樣例（x，y），採用隨機梯度上升規則，那麼隨機梯度上升更新規則為：損失函數：多分類問題：方式一：修改邏輯回歸的損失函數,使用softmax函數構造模型解決多分類問題,softmax分類模型會有相同於類別數的輸出
  • 以XGBoost為代表的集成算法體現的哲學思想與數學技巧
    正如《道德家》中"強大處下，柔弱處上"，集成算法中基本分類器都是弱分類器，但在一定條件集成下，卻是非常強的分類器。為什麼隨機森林比單一決策樹更好？隨機森林背後的基本思想是將許多決策樹組合成一個單一的模型。單獨地，決策樹做出的預測可能不準確，但結合在一起，預測平均後更接近目標。
  • 人工智慧算法問題——正則化解決神經網絡中的過度擬合
    過度擬合是一個很大的問題，尤其是在深度神經網絡中。如果你正在懷疑你的神經網絡過度擬合了。有很多方法可以確定過度擬合了數據，也許有一個高方差問題，或者繪製了一個訓練圖和測試精度圖，然後發現過度擬合了。在這種情況下，我們應該怎麼辦呢？
  • 論文推薦:中國大陸GPS速度場的球面小波模型及多尺度特徵分析
    、北方向多尺度速度場。速度場研究方面，文獻[7]採用歐拉矢量法研究了中國大陸速度場，並給出了相關結果；文獻{8}採用基於歐拉矢量的自適應擬合推估模型對中國大陸速度場進行解算，該方法可以顧及位移場的整體變化趨勢和局部運動特徵，提高水平運動速度場的計算精度；還有多面函數擬合法等方法，但是這些方法都不能對速度信號進行多尺度分析。
  • 用機器學習構建O(N)複雜度的排序算法,可在GPU和TPU上加速計算
    排序一直是計算機科學中最為基礎的算法之一，從簡單的冒泡排序到高效的桶排序，我們已經開發了非常多的優秀方法。但隨著機器學習的興起與大數據的應用，簡單的排序方法要求在大規模場景中有更高的穩定性與效率。中國科技大學和蘭州大學等研究者提出了一種基於機器學習的排序算法，它能實現 O(N) 的時間複雜度，且可以在 GPU 和 TPU 上高效地實現並行計算。
  • 計算專欄#多尺度模型力學實踐中的一般方法
    多尺度模型的定義很廣泛，只要在理論模型中包含多個尺度，並建立了各個尺度之間聯通的橋梁的模型都可以叫多尺度模型。在多尺度模型的力學實踐中，最常見的方法是連結原子模擬尺度（atomistic scale）和連續體模擬尺度（continuum scale）。
  • 前沿研究丨深度學習在醫學超聲圖像分析中的應用
    然而，在當前的醫學超聲圖像分析中，這種要求是很難滿足的，這是因為專家標註是昂貴的，而且一些疾病（如病變或結節）的數據很稀有。因此，在醫學超聲圖像分析中，怎樣使用有限的訓練樣本來訓練深度模型成為了一個公開的挑戰。使用有限訓練樣本時的最普遍的一個問題是容易產生模型過擬合。為了解決模型過擬合的問題，有兩個主要的途徑選擇：模型優化與遷移學習。