關注進化：深度圖進化學習的時間序列預測

2020-11-12 人工智慧學術前沿

關注進化:深度圖進化學習的時間序列預測

[Submitted on 16 Oct 2020]


摘要：

時間序列預測是預測分析中最活躍的研究課題之一;它被用於回答許多領域的問題，包括流行病學研究、醫療保健推斷和氣候變化。實際時間序列的應用需要考慮兩個因素來實現有效的預測:多變量之間的動態依賴建模和調整模型的內在參數。文獻中存在的一個缺口是，統計和集成學習方法系統地呈現出比深度學習方法更低的預測性能。現有的應用方法通常忽略了數據序列方面與用多個時間序列表示的多變量數據之間的糾纏。相反，這項工作為時間序列預測提出了一種新的神經網絡架構，它結合了圖形進化的力量和不同數據分布上的深度循環學習;我們將該方法命名為遞歸圖演化神經網絡(REGENN)。其想法是通過假設時間數據不僅依賴內部變量和時間內關係(即從自身觀察)，而且依賴外部變量和時間間關係(即從他人自身觀察)來推斷共同發生的時間序列之間的多重多元關係。大量的實驗將REGENN與數十種集成學習方法和經典統計方法進行了比較。結果顯示，在來自188個國家的著名的約翰霍普金斯大學的SARS-CoV-2數據集上，與競爭對手的算法相比，該算法的性能都優於統計和集成學習方法，提高了64.87%。為了進一步驗證，我們在另外兩個不同領域的公共數據集上測試了我們的架構，分別是2012年心臟病挑戰中的PhysioNet計算和巴西天氣數據集。我們還分析了REGENN隱藏層產生的進化權值，以描述數據集的變量如何相互作用;並且，由於同時觀察了時間間和時間內的關係，我們得出結論，如果注意到多變量數據是如何同步發展的，時間序列預測將得到極大的改進。


圖1:一個多變量時間序列預測問題的例子，其中每個多變量時間序列(即樣本)共享相同的域、時間流和變量。當把時間序列疊加在一起時，我們用描述樣本、時間戳和變量的軸組成一個三維張量。多個樣本在相同的時間戳中記錄了相同的變量，這意味著樣本是唯一的，但是每個樣本都以相同的方式進行觀察。通過解決這個問題，除了時間內和時間間的關係外，我們還利用了內部和外部變量來改進預測。


圖2:軟進化層s表示-學習圖，將多個多元時間序列集合映射為共現變量的鄰接矩陣。這些矩陣按元素對其求和，在樣本之間生成一個共享圖，在進行線性變換後，通過一個類似於相似性激活的函數，然後通過按元素對其進行相乘，生成一個中間鄰接矩陣，該鄰接矩陣具有共享圖固有的相似性屬性。

圖3:為基於進化的學習而組裝的軟進化層圖。在這種情況下，第一個GSE層(即源)的輸出將供給神經網絡的進一步層，神經網絡的結果將經過第二層GSE層(即目標)。作為最後一層的GSE在輸出之前不使用正則化器或線性變換。相反，它通過表示學習過程的輸出與網絡中傳播的數據之間的標量積提供最終的預測。


關注人工智慧學術前沿 回復 ：ts17

5秒免費獲取論文pdf文檔，及項目源碼

相關焦點

  • 基於圖卷積神經網絡GCN的時間序列預測
    時間序列預測任務可以按照不同的方法執行。最經典的是基於統計和自回歸的方法。更準確的是基於增強和集成的算法，我們必須使用滾動周期生成大量有用的手工特性。另一方面，我們可以使用在開發過程中提供更多自由的神經網絡模型，提供對順序建模的可定製的特性。循環和卷積結構在時間序列預測中取得了巨大的成功。
  • 利用深度學習進行時間序列預測
    對於那些熱衷於樹的人，你可以在這裡找到一篇關於XGBoost和時間序列的文章，作者是jasonbrownley。github上提供了一個關於時間序列的很好的存儲庫：https://github.com/Jenniferz28/Time-Series-ARIMA-XGBOOST-RNN對於那些不熟悉RNN家族的人，把它們看作是具有記憶效應和遺忘能力的學習方法。
  • Connecting the Dots: 基於圖神經網絡的多元時間序列預測
    我們的方法通過圖形學習模塊自動提取變量之間的單向關係，可以輕鬆地將諸如變量屬性之類的外部知識整合到其中。進一步提出了一種新穎的混合跳躍傳播層和一個擴張的起始層來捕獲時間序列內的空間和時間依賴性。在端到端框架中共同學習圖學習，圖卷積和時間卷積模塊。
  • 兩篇圖神經網絡交通預測 |用於交通預測的注意力時間圖卷積網絡
    然而，考慮到交通流之間複雜的空間和時間依賴性，這仍然具有挑戰性。在空間維度上，由於路網的連通性，相連道路之間的交通流密切相關。在時間因素方面，雖然相鄰時間點之間一般存在趨勢，但由於交通流也受到外部因素的影響，遙遠的過去點的重要性不一定小於最近的過去點。在本研究中，提出了一種注意力時間圖卷積網絡(A3T-GCN)交通預測方法，以同時捕獲全局的時間動態和空間相關性。
  • 教程 | 如何使用 DeepAR 進行時間序列預測？
    在 2019 年的 WAIC 上，筆者在 AWS 展臺中布置並展示了一個使用 DeepAR 進行時間序列預測的項目，受到了廣泛的來自客戶、參觀者以及同事的關注，其中大部分是被展示項目中真實的電商客戶的數據及成果吸引，進行了一定的經驗交流。
  • Yoshua Bengio：深度學習如何實現系統進化？
    系統1是直覺系統，主要負責快速、無意識、非語言的認知，這是目前深度學習主要做的事情；系統2是邏輯分析系統，是有意識的、帶邏輯、規劃、推理以及可以語言表達的系統，這是未來深度學習需要著重考慮的。對於系統2來說，基本的要素包括注意力和意識，意識先驗可以使用稀疏因子圖模型來實現，這是一個思路，實現了因果關係。
  • 乾貨|時間序列預測類問題下的建模方案探索實踐
    隨著機器學習和深度學習的興起，時間序列預測類問題越來越多的被抽象為回歸問題，從而可以使用機器學習和深度學習的相關模型，不需要受到基本假設的限制，適用範圍更廣，更受到人們青睞。本文以疫情期間北京重點區域人群密度情況的預測為例，使用統計學模型ARMA，機器學習模型Xgboost和深度學習模型LSTM分別進行建模，並對這三種建模方案在實際操作時的複雜度、運行效率和預測準確度進行對比分析，從而直觀感受每種建模方案的優缺點，為真實場景中建模方案的選擇提供幫助和參考。
  • 會預測蛋白結構的AI,還要教我們設計新蛋白
    實際上，蛋白質的結構不僅可以被預測，還可以被設計，二者互為「逆操作」。AlphaFold2在結構預測上的成功，也將惠及蛋白質設計領域。如今，以深度學習技術為代表的人工智慧無疑已經高度融入生物科學與技術領域，並且極大地推動了生物領域的發展。今天我們就來講講深度學習對蛋白質設計領域的影響。什麼是蛋白質設計？圖1.
  • 神經進化:一種不一樣的深度學習
    在代際神經進化和競爭性共同進化兩種情況下，其優化過程都是不間斷的進行引入創新、評估創新、然後對創新進行分類，直到產生一個最佳實用性神經網絡。換句話說，神經進化算法只在遺傳編碼上操作，而不是在機器學習框架中複雜的數據結構上操作。當然，基因編碼允許這兩種表示之間存在映射關係。基因組的這些有效的遺傳表示被稱為基因型（genotypes），而相應映射的神經網絡被稱為顯型（phenotypes）。這兩個術語是從遺傳進化學科中化用的。畢竟神經進化也稱的上是遺傳進化。另外注意，這裡將所有顯型都限制為神經網絡。
  • 兩篇時序預測 |多元時間序列預測的低階自回歸張量補全
    >[Submitted on 18 Jun 2020]摘要：時間序列預測是一個長期的研究課題，在許多領域都有重要的應用。現代從傳感器網絡(如能源消耗和交通流)收集的時間序列往往是大規模和不完整的，存在大量的破壞和缺失值，很難進行準確的預測。在本文中，我們提出了一個低秩自回歸張量補全(LATC)框架來建模多變量時間序列數據。
  • 解讀Microbiome上的佳作,揭示病毒噬菌體的多樣性和進化規律
    2、進化分析和其他對所有得到的virophages基於 4個「核心基因」（core genes）序列進行了聚類分析（MAFFT），同時也對所有新virophages和參考基因組基於預測蛋白做了聚類分析。
  • 使用LSTM深度學習模型進行溫度的時間序列單步和多步預測
    本文的目的是提供代碼示例，並解釋使用python和TensorFlow建模時間序列數據的思路。本文展示了如何進行多步預測並在模型中使用多個特徵。本文的簡單版本是，使用過去48小時的數據和對未來1小時的預測(一步)，我獲得了溫度誤差的平均絕對誤差0.48(中值0.34)度。
  • 神經網絡讓計算機自我進化,自我探索,超越深度學習算法
    踏腳石原理與生物進化進化算法已經存在很長時間了。傳統上，它們被用來解決特定的問題。在每一代中，在某些指標上表現出最好的解決方案，比如控制一個兩腿機器人的能力，被選中並產生後代。雖然這些算法已經取得了一些成功，但它們的計算能力可能比深度學習等其他方法更強，深度學習近年來大受歡迎。踏腳石原理超越了傳統的進化方法。
  • 如何用XGBoost做時間序列預測？
    ，包括將時間序列轉化為有監督學習的預測問題，使用前向驗證來做模型評估，並給出了可操作的代碼示例。XGBoost也可以用於時間序列預測，儘管要先把時間序列數據集轉換成適用於有監督學習的形式。給定時間序列數據集的一系列數字，我們可以重新構造數據，使其看起來像一個有監督的學習問題。我們可以使用前一個時間步長的數據作為輸入變量，並使用下一個時間步長作為輸出變量。
  • 使用Treetime分析tMRCA和進化速率
    在上圖中，我們可以看到，隨著時間的增大，不同序列的Distance to root值也大致呈線性變化，表明這些序列具有時間結構；同時，不同譜系的序列之間良好的線性關係表示在不同譜系之間進化速率差別不大，說明這些序列可能適合嚴格分子鐘。
  • 通過Python 代碼實現時間序列數據的統計學預測模型
    本文目錄綜述時間序列分析常用統計模型單變量時間序列數據建模的關鍵要素ARIMAACF 和 PACFSARIMA案例：通過 SARIMA 預測廣告支出ETSETSHolt-Winter 季節性預測算法案例：通過 Holt-Winter 季節性預測算法預測廣告支出算法對比結束語綜述時間序列分析常用統計模型單變量時間序列統計學模型，如：平均方法、平滑方法
  • 人工智慧之序列學習算法：深度學習和條件隨機場的組合
    本文是一個關於CRF的總結，主要有CRF的原理、及其和深度學習RNN的結合兩部分，儘量不用公式表達。與經典的機器學習分類和回歸不同，CRF是用來解決序列預測問題的，比如分詞、NER識別等。友情提醒：本文中部分段落可能比較抽象。
  • 神奇寶貝第八世代:伊布新進化型預測!第二彈!
    在上一篇文章裡小編和大家一起預測了《精靈寶可夢》系列第八世代裡寶可夢伊布可能要出現的幽靈、飛行和毒屬性的新進化型。從大家的反饋來看對於伊布的新進化形態大家還是非常期待的~那麼，話不多說，我們繼續來預測官方將要出的伊布新進化並欣賞一下網上那些寶可夢愛好者們自己製作新進化型的設計圖~粉蝶伊布伊布家族還沒有蟲系的進化型，其實說實話，小編之前覺得伊布+蟲不會得到什麼太好的結果~估計官方也許會考慮放棄設計伊布的蟲屬性進化型。但是當我看到這張圖的時候，大大的改觀了自己之前的想法！
  • LSTM時間序列建模以及預測
    最近我在github上看到一個項目，項目內容是將深度學習方法(LSTM、RNN、GRU)進行時間序列建模的過程進行了封裝，使得調用者調用者只需5行代碼能完成時間序列建模以及預測的全過程。項目本身是使用pytorch實現的，拓展性極強，在這兒與大家分享。希望能幫助到大家。
  • 大腦複雜性的進化:一個關於空間、時間和熵的故事
    在這裡，我們提出進化的關鍵轉折點與生命對時間和空間的操縱有關，通過複雜的多維度狀態空間（multi-dimensionalstatespace），生命開啟了促進熵增加的新途徑。大腦的進化促進了時間和空間在大腦中的表徵，從而進一步加速了熵的增加過程。然而這些路徑有時會指向狀態空間的死胡同，因此根據熱力學定律，我們無法預測未來複雜生命系統還會繼續存在。