兩篇時序預測 |多元時間序列預測的低階自回歸張量補全

2020-09-27 人工智慧學術前沿

多元時間序列預測的低階自回歸張量補全

[Submitted on 18 Jun 2020]


摘要：

時間序列預測是一個長期的研究課題，在許多領域都有重要的應用。現代從傳感器網絡(如能源消耗和交通流)收集的時間序列往往是大規模和不完整的，存在大量的破壞和缺失值，很難進行準確的預測。在本文中，我們提出了一個低秩自回歸張量補全(LATC)框架來建模多變量時間序列數據。LATC的關鍵是通過引入額外的時間維度，將原始的多元時間序列矩陣(如傳感器時間點)轉換為三階張量結構(如傳感器一天一天的時間)，它允許我們將時間序列的固有節奏和季節性建模為全局模式。利用該張量結構，我們可以將時間序列預測和缺失數據填充問題轉化為一個通用的低秩張量補全問題。除了最小化張量秩之外，我們還在原始矩陣表示上集成了一個新的自回歸範數到目標函數中。這兩個組件扮演不同的角色。低級別的結構允許我們有效地捕獲所有三個維度(即:，傳感器之間的相似性，不同天數的相似性，當前時間vs .歷史天數的相同時間)。自回歸模能較好地模擬局部時間趨勢。在三個真實數據集上的數值實驗表明，在缺失數據填充和滾動預測任務中，全局趨勢和局部趨勢的整合具有優越性。


在本文中，我們提出了一個低秩自回歸張量補全(LATC)框架來建模具有缺失值的大尺度多元時間序列。LATC,最初的多元時間序列矩陣轉化為一個三階張量是基於最重要的季節性,因此缺少的數據歸責和未來價值預測問題可以自然地轉換成一個普遍的張量完成問題(參見圖1)。為了達到更好的預測能力,我們使用張量核核範數最小化範數最小化和截斷保持長期/全球趨勢。然後我們在原始矩陣表示上定義了一個新的自回歸範數來描述短期/局部趨勢。


用這種方法，所有觀察到的數據在張量X將有助於最終的預測(即。我們在三個真實數據集上評估了LATC，用於缺失數據填充和滾動預測任務，並將其與幾種最先進的方法進行比較。我們的數值實驗表明，LATC的性能令人鼓舞，表明該模型可以有效地捕獲時間序列數據的全局和局部趨勢。


關注人工智慧學術前沿 回復 ：ts09

5秒免費獲取論文pdf文檔，及項目源碼

時空克裡格法的歸納圖神經網絡

[Submitted on 13 Jun 2020]


摘要：

時間序列預測和時空克裡格法是時空數據分析中最重要的兩項任務。最近關於圖形神經網絡的研究在時間序列預測方面取得了長足的進展，但很少關注克裡格問題——為未採樣位置/傳感器恢復信號。大多數現有的可伸縮克裡格法(例如，矩陣/張量補全)都是可轉換的，因此當我們有一個新的傳感器來插值時，就需要完全的再訓練。在本文中，我們開發了一個歸納圖神經網絡克裡格(IGNNK)模型來恢復網絡/圖結構上的未採樣傳感器的數據。為了推廣距離和可達性的影響，我們生成隨機子圖作為樣本，並重構每個樣本對應的鄰接矩陣。通過重構每個樣本子圖上的所有信號，IGNNK可以有效地學習空間信息傳遞機制。在幾個真實時空數據集上的實證結果證明了我們的模型的有效性。此外，我們還發現，學習的模型可以成功地轉移到不可見數據集上的相同類型的克裡格任務。

結果表明:

1)GNN是一種有效的空間克裡格工具;

2)使用動態鄰接矩陣訓練歸納性GNN;

3)經過訓練的模型可以轉換成新的圖結構。


我們開發了一個歸納圖神經網絡克裡格(IGNNK)模型來解決動態網絡結構上的實時時空克裡格問題。與某些類型控制下的推薦系統中的圖不同，我們的空間圖實際上包含了有價值的位置信息，它允許我們量化跳以外的精確成對距離。特別是對於有向網絡，如公路網，距離矩陣將是不對稱的，它實際上捕獲了從一個傳感器到另一個傳感器的可達程度[14,15]。為了更好地利用距離信息，IGNNK訓練一個GNN的目標是重構隨機子圖結構上的信息(見圖1)。

我們首先從所有可用傳感器中隨機選擇一個節點子集，並創建一個相應的子圖。我們首先從所有可用的傳感器中隨機選擇一個節點子集，並創建相應的子圖。我們將其中一些掩蔽為缺失，並訓練GNN重構子圖(圖1(a))上所有節點(包括觀測節點和掩蔽節點)的完整信號。

該訓練方案允許GNN有效地學習消息傳遞機制，並進一步推廣到不可見節點/圖。接下來，給定觀察到的信號來自相同甚至完全新的網絡結構，訓練後的模型可以通過重構進行kriging(圖1(b))。


圖2給出了一個簡單的3層DGCN的IGNNK的整個圖神經網絡結構。


表1顯示了IGNNK和其他基線模型在四個數據集上的kriging性能。可以看到，所提出的方法始終優於其他基線模型，在所有數據集上提供最低的RMSE和MAE。


關注人工智慧學術前沿 回復 ：ts10

5秒免費獲取論文pdf文檔，及項目源碼

相關焦點

  • 近期發布論文匯總「計算機視覺」「時序預測」「自然語言處理」
    關於對稱元素的學習【3D形狀識別】【去模糊】 ICML02:無調諧即插即用近端算法的反成像問題【圖像去噪】【回復文章名字前面的編號 獲取論文pdf及項目源碼雲盤連結】時間序列預測ts01:Connecting the Dots: 基於圖神經網絡的多元時間序列預測ts02:時間序列預測中的組合演化建模ts03:Shallow RNN:資源受限設備的精確時間序列分類ts04:多任務、多視點學習的自增強時間序列預測
  • Connecting the Dots: 基於圖神經網絡的多元時間序列預測
    多元時間序列預測背後的一個基本假設是，其變量相互依賴，但仔細觀察，可以說現有方法無法完全利用變量對之間的潛在空間依賴性。同時，近年來，圖神經網絡（GNN）在處理關係依賴方面表現出了很高的能力。GNN需要用於信息傳播的定義明確的圖結構，這意味著它們無法直接應用於事先不知道相關性的多元時間序列。在本文中，我們提出了一個專門為多元時間序列數據設計的通用圖神經網絡框架。
  • 教程 | 如何使用 DeepAR 進行時間序列預測？
    一言以蔽之，時間序列預測就是通過多種維度的數據本身內在與時間的關聯特性，其中可能包含季節性、趨勢性等等特徵，利用歷史的數據預測未來的場景，細分場景除了上述所介紹的之外，還有很多很多，由於篇幅關係，這裡不做過多的展開介紹。時序預測分類及算法時序預測從不同角度看有不同分類。
  • 時間序列預測的常見方法及思考
    在攜程也有一些時間序列預測相關的業務場景，比如下單量預測、話務量預測、客流量預測等，以下將介紹我們在處理時間序列預測相關問題使用的一些方法與思考。其他時間序列預測模型比如ARIMA（auto-regressive integrated moving average）、一些指數平滑模型（SEM，Holt-Winters等），主要通過對歷史數據的建模分析，抽離出其中的趨勢，最後通過對趨勢的預測得到未來一段時間需求的變化。基於統計學的傳統時間序列預測方法，優點是複雜度低、計算速度快。
  • 關注進化：深度圖進化學習的時間序列預測
    實際時間序列的應用需要考慮兩個因素來實現有效的預測:多變量之間的動態依賴建模和調整模型的內在參數。文獻中存在的一個缺口是，統計和集成學習方法系統地呈現出比深度學習方法更低的預測性能。現有的應用方法通常忽略了數據序列方面與用多個時間序列表示的多變量數據之間的糾纏。
  • 使用卡爾曼濾波平滑時間序列，提高時序預測的準確率
    這是肯定的，尤其是在這個領域，因為時間依賴性在處理時間序列時起著至關重要的作用。噪音或異常值必須按照特別的解決方案小心處理。在這種情況下，tsmoothie包可以幫助我們節省大量時間來準備用於分析的時間序列。Tsmoothie是一個用於時間序列平滑和離群值檢測的python庫，它可以以向量化的方式處理多個序列。
  • 乾貨|時間序列預測類問題下的建模方案探索實踐
    時間序列預測類問題在金融領域比較常見，例如股票價格的預測，網點現金流量的預測等等，在氣象、人口密度預測等領域也有很廣泛的應用。傳統的時間序列預測模型通常是統計學模型，比如經典的ARMA系列，它們建立在統計學基礎上，需要滿足一些基本假設（例如平穩性假設等），因此適用場景比較少，在現實中比較容易受限。
  • 今日Paper | RevealNet;時間序列預測;無監督問答;實時語義立體...
    使用一種基於符號化方法的LSTM網絡進行時間序列預測論文名稱：Time Series Forecasting Using LSTM Networks: A Symbolic Approach作者：Steven Elsworth
  • 「發個筆記」時間序列分析方法(實驗向):上手時序分析-SPSS
    本篇文章你可以了解什麼？時間序列的定義時間序列分析為什麼要離散化？時間序列分析的意義什麼事件是可以被預測的？時間序列分析則是對我們得到的時間序列進行觀察、研究，找尋它變化發展的規律，預測它將來走勢的分析。
  • 今日Paper|RevealNet;時間序列預測;無監督問答;實時語義立體匹配等
    目錄F, B, Alpha Matting使用一種基於符號化方法的LSTM網絡進行時間序列預測RevealNet：窺探RGB-D掃描場景中的每個物體BERT還不足以稱之為知識庫：無監督問答任務中BERT對事實性的知識和基於名稱的推理學習能力對比
  • 時域卷積網絡TCN詳解：使用卷積進行序列建模和預測
    在預測方面，我們希望預測未來時間序列的下一個條目。為了訓練我們的TCN網絡進行預測，訓練集將由給定時間序列的等大小子序列對(輸入序列、目標序列)組成。目標序列將是相對於其各自的輸入序列向前移動一定數量outputlength的序列。
  • 基於圖卷積神經網絡GCN的時間序列預測
    時間序列預測任務可以按照不同的方法執行。最經典的是基於統計和自回歸的方法。更準確的是基於增強和集成的算法，我們必須使用滾動周期生成大量有用的手工特性。另一方面，我們可以使用在開發過程中提供更多自由的神經網絡模型，提供對順序建模的可定製的特性。循環和卷積結構在時間序列預測中取得了巨大的成功。
  • 如何用XGBoost做時間序列預測？
    ，包括將時間序列轉化為有監督學習的預測問題，使用前向驗證來做模型評估，並給出了可操作的代碼示例。XGBoost也可以用於時間序列預測，儘管要先把時間序列數據集轉換成適用於有監督學習的形式。給定時間序列數據集的一系列數字，我們可以重新構造數據，使其看起來像一個有監督的學習問題。我們可以使用前一個時間步長的數據作為輸入變量，並使用下一個時間步長作為輸出變量。
  • 時間序列的截尾和拖尾_R語言 時間序列分析
    而且橋梁監測數據基本都是時序數據，其中撓度數據直觀反映了橋梁自身重量和行使車輛產生的豎向壓力引起橋梁在豎向產生的位移，因此，對橋梁撓度監測數據進行時序分析，對橋梁結構健康監測系統的研究具有非常現實的意義。 時間序列分析一般都是對歷史數據進行建模，從而預測未來。說簡單點就是對時間序列的幾何曲線進行擬合，擬合後根據曲線的變化來預測未來值。
  • 基於Holt的趨勢時間序列預測模型
    今天小編為大家帶來「基於Holt的趨勢時間序列預測模型」，一起來看看吧！基於Holt的趨勢時間序列預測模型它與一般的指數平滑模型不同的是它對趨勢數據直接進行平滑並對原時間序列進行預測，需要考慮的是兩個平滑參數以及初值的選取問題，也被成為Holt雙參數線性指數平滑模型。
  • 使用微軟Power BI進行時間序列預測
    Vidhya介紹時間序列預測是在本博客中，我們將了解什麼是時間序列預測，Power BI如何製作時間序列預測圖和Power BI用於預測的模塊。什麼是時間序列預測？時間序列是以天、小時、月和年為單位定期收集數據。時間序列預測是機器學習中的一種技術，它通過分析數據和時間序列來預測未來的事件。
  • 如何使用XGBoost模型進行時間序列預測
    XGBoost也可以被用於時間序列預測，儘管它需要將時間序列數據集先轉換成監督學習問題。它需要用到一種被稱為前進式驗證的特殊方法來評估模型，因為使用k折驗證來評估模型容易導致偏向樂觀的結果。本教程中，你將探索如何為時間序列預測開發一個XGBoost模型。
  • 時序卷積網絡會帶來下一場時間序列革命嗎?
    首先，列出運動檢測個案分析並簡要回顧TCN架構及其相對於傳統方法的優勢，如卷積神經網絡（CNN）和遞歸神經網絡（RNN），隨後，筆者將介紹使用TCN的幾個創新之處，包括改善交通預測，聲音事件定位和檢測以及概率預測。對TCN的簡要回顧Lea等人(2016)的開創性著作首次提出一種基於視頻動作分割的時序卷積網絡（TCNs）。
  • 時序卷積網絡會帶來下一場時間序列革命嗎？
    對TCN的簡要回顧Lea等人(2016)的開創性著作首次提出一種基於視頻動作分割的時序卷積網絡（TCNs）。這一常規過程包括兩步：首先是低級特徵的計算，這些計算（通常）使用對時空信息進行編碼的CNN，其次將這些低級特徵輸入到一個（通常）使用RNN採集高級時間信息的分類器中。
  • 宏基因組的時序數據如何建模預測
    文獻速遞本文提出一種用於宏基因組時間序列有監督的機器學習方法：MITRE，可以根據微生物組特徵預測宿主的狀態。同時目前缺乏專門針對微生物組時間序列數據的有監督機器學習方法。對於時序數據，大多數研究都採用在實驗中手動識別感興趣的時間窗口，然後分別在每個窗口中測試預先分析出來的存在豐度差異的物種，這種方式有極大的局限性。