Connecting the Dots: 基於圖神經網絡的多元時間序列預測

Connecting the Dots: 基於圖神經網絡的多元時間序列預測

題目：

Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：

Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

來源：

Machine Learning

Accepted by KDD 2020

Submitted on 24 May 2020

關注 人工智慧學術前沿 回復 ：ts01

5秒免費 獲取論文pdf文檔，及項目源碼

摘要

多元時間序列建模一直是一個熱門主題，吸引了來自不同領域的研究人員，包括經濟、金融和交通。多元時間序列預測背後的一個基本假設是，其變量相互依賴，但仔細觀察，可以說現有方法無法完全利用變量對之間的潛在空間依賴性。同時，近年來，圖神經網絡（GNN）在處理關係依賴方面表現出了很高的能力。GNN需要用於信息傳播的定義明確的圖結構，這意味著它們無法直接應用於事先不知道相關性的多元時間序列。在本文中，我們提出了一個專門為多元時間序列數據設計的通用圖神經網絡框架。我們的方法通過圖形學習模塊自動提取變量之間的單向關係，可以輕鬆地將諸如變量屬性之類的外部知識整合到其中。進一步提出了一種新穎的混合跳躍傳播層和一個擴張的起始層來捕獲時間序列內的空間和時間依賴性。在端到端框架中共同學習圖學習，圖卷積和時間卷積模塊。實驗結果表明，我們提出的模型在4個基準數據集中的3個方面優於最新的基線方法，並在提供額外結構信息的兩個交通數據集上與其他方法相比具有同等的性能。

英文原文

Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it is fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information.

基於圖神經網絡的多變量時間序列建模

引言

圖是描述不同實體之間關係的數據的一種特殊形式。近年來，圖神經網絡由於其置換不變性、局部連通性和組合性，在處理圖數據方面取得了很大的成功。通過通過結構傳播信息，圖神經網絡允許圖中的每個節點都知道它的鄰域。

多元時間序列預測可以很自然地從圖的角度來看待。多元時間序列中的變量可以看作是圖中的節點，它們通過隱藏的依賴關係相互連接。因此，利用圖神經網絡對多變量時間序列數據進行建模是一種很有前途的方法，可以在充分利用時間序列之間的相關性的同時，保留多變量時間序列的時間軌跡。

最適合用於多變量時間序列的圖神經網絡類型是時空圖神經網絡。時空圖神經網絡以多元時間序列和外部圖結構作為輸入，預測多元時間序列的未來值或標籤。與不利用結構信息的方法相比，時空圖神經網絡已經取得了顯著的改進。

但是，由於存在以下問題，這些方法在建模多元時間序列時仍有不足之處：

挑戰1:未知的圖形結構。現有的GNN方法很大程度上依賴於預先雕花的圖結構來進行時間序列預測。在大多數情況下，多元時間序列沒有明確的圖結構。變量之間的關係必須從數據中發現，而不是作為基本真理知識提供。

挑戰2:圖形學習與處理GNN學習。雖然有圖結構，但大多數GNN方法只關注消息傳遞(GNN學習)，忽略了圖結構不是最優的，需要在訓練時進行更新。接下來的問題是如何在端到端框架中同時學習時間序列的圖結構和GNN。

本文工作總結

在本文中，我們提出了一種新的方法來克服這些挑戰。如圖1所示，我們的框架由三個核心組件組成:圖學習層、圖卷積模塊和時序卷積模塊。

如圖2所示，MTGNN的最高層由圖學習層、m個圖卷積模塊、m個時序卷積模塊和一個輸出模塊組成。為了發現節點之間隱藏的關聯，圖學習層計算一個圖鄰接矩陣，這個鄰接矩陣後來被用作所有圖卷積模塊的輸入。圖形卷積模塊與時間卷積模塊相互交錯，分別捕獲空間和時間相關性。

本文主要貢獻如下：

1.據我們所知，這是第一次使用圖形神經網絡從基於圖形的角度對多變量時間序列數據進行研究。

2.我們提出了一個新的圖學習模塊來學習變量之間隱藏的空間依賴關係。該方法為GNN模型在處理數據時不需要明確的圖結構打開了一扇新的大門。

3.我們提出了一個建模多元時間序列數據和學習圖結構的聯合框架。我們的框架比任何現有的時空圖神經網絡更通用，因為它可以處理多變量時間序列，無論是否使用預先修改過的圖結構。

4.實驗結果表明，我們的方法在4個基準數據集中的3個數據集上的性能優於現有的方法，並在兩個提供額外結構信息的trafc數據集上達到與其他GNNs相同的性能。

實驗結果

數據集

在表1中，我們總結了基準數據集的統計信息。

1. Electricity。UCI電力負荷圖數據集包含370個客戶的每小時總用電量，如[41]所示。根據[15]，我們使用過去一周的數據(即168小時)來預測第二天(即24小時)的消耗量。
2. Traffic。2015年至2016年舊金山海灣地區高速公路862個傳感器測量的道路佔用率。UCI PEM-SF交通數據集描述了[41]中440條舊金山灣區高速公路的佔用率（yt為[0，1]）。根據電力數據集，它也按小時級別匯總，具有相同的後退窗口和預測範圍。
3. Solar-Energy:國家可再生能源實驗室的太陽能數據集包含了2007年阿拉巴馬州137個光伏電站收集的太陽能輸出
4. Exchange-Rate:匯率數據集包含了從1990年到2016年澳大利亞、英國、加拿大、瑞士、中國、日本、紐西蘭和新加坡等八個國家的每日匯率

模型

單步預測模型1.AR"自回歸模型。2.VAR-MLP:多層感知的混合模型(MLP)和自回歸模型(VAR)[25]。3.GP:高斯過程時間序列模型[6,16]。4.RNN-GRU:具有完全連接的遞歸神經網絡GRU的單位。5.LSTNet:深度神經網絡，結合卷積神經網絡和循環神經網絡[12]。6.TPA-LSTM:注意力循環神經網絡[19]。多步預測模型。1.DCRNN:一種擴散卷積遞歸神經網絡，它結合了擴散圖卷積和遞歸神經網絡[13]。2.STGCN:一個時空圖卷積網絡，包含圖卷積和一維卷積[23]。3.Graph WaveNet:一種時空圖卷積網絡，將擴散圖卷積與一維擴張卷積[21]融合在一起。。4.ST-MetaNet:一個序列到序列的架構，使用元網絡生成參數[15]。5.GMAN:一個具有空間和時間注意的圖形多注意網絡。

實驗結果分析

表2:多元時間序列單步預測的基線比較。

表3時空圖神經網絡多步預測的基線比較。

表5 不同圖神經網絡學習方法對比

結論

在本文中，我們介紹了用於多元時間序列預測的新穎框架。據我們所知，我們是第一個通過基於圖的深度學習方法來解決多元時間序列預測問題的人。我們提出了一種有效的方法來利用多個時間序列之間的固有依賴關係。我們的方法在各種多元時間序列預測任務中展示了出色的性能，並為使用GNN處理各種非結構化數據打開了新的大門。

關注人工智慧學術前沿 回復 ：ts01

5秒免費 獲取論文pdf文檔，及項目源碼