在這項工作中，我們調查和實驗評估了應用於短期負荷預測問題的最相關的深度學習模型，為該領域最優解的標準化評估和識別鋪平了道路。重點介紹了三大類模型，即遞歸神經網絡、序列對序列結構和最近發展起來的時態卷積神經網絡。
本文的主要貢獻總結如下:
1.一個全面的評估。本調查全面調查了智能電網文獻中已知的深度學習體系結構，以及新近出現的適用於電力負荷預測的新型深度學習體系結構。
2.遞歸神經網絡的多步預測策略比較:我們研究並比較不同的預測策略如何應用於遞歸神經網絡。據我們所知，這項工作還沒有做的深遞歸神經網絡。
3.相關的績效評估。據我們所知，本研究首次對最相關的深度學習架構進行了系統的實驗比較，以解決單個電力需求和總體電力需求的負荷預測問題。應該注意的是，所設想的體系結構是領域獨立的，因此可以應用於不同的預測場景。
圖1:使用滑動窗口方法將預測問題框定為監督機器學習問題。目標信號s分成多個輸入輸出對(xt, yt)
圖2:(左)一個簡單的RNN，只有一個輸入。黑盒子表示延遲算符，它導致公式6。(右)展開後的網絡。注意，這個結構讓人想起一個(深度)前饋神經網絡，但是在這裡，每一層都被限制共享相同的權值。hinit是網絡的初始狀態，通常設置為0。
圖3:一個簡單的ERNN塊與一個細胞實現78矩陣方程連接: 通常φ(·)是雙曲正切。
圖6:帶有通用遞歸神經網絡的seq2seq(編碼器-解碼器)結構，用於編碼器和解碼器。假設教師強制訓練過程，解碼器中的實線表示訓練階段，虛線表示預測過程中的數值路徑。
圖12：(右)IHEPCdataset一天內所有模型的預測性能。圖像的左邊部分顯示了作為輸入的測量值的一部分，而右邊多行表示不同的預測值。(左)最佳模型的預測(grui - mimo)與實際測量值之間的差異。這條線越細，預測結果就越接近真實數據。
表5:個人家庭用電數據集結果。每個模型的平均得分(±1個標準)。偏差)來自10個重複的訓練過程。
圖13(右)GEFCom2014dataset一天內所有模型的預測性能。圖像的左邊部分顯示了作為輸入的測量值的一部分，而右邊多行表示不同的預測值。(左)最佳模型預測值(LSTM-Rec)與實際測量值的差異。
這條線越細，預測結果就越接近真實數據。
表6:無外生變量的GEFCom2014結果每個模型的平均得分(±1個標準)。偏差)來自10個重複的訓練過程。
對於每一個被考慮的模型，都提供了一個架構描述，以及關於如何實現多步提前預測的技術討論。此外，還對不同的預測策略進行了討論和評估，確定了每種策略的優缺點。評估已經在三個真實的用例上進行了，這三個用例涉及兩個不同的負荷預測場景。實際上，一個用例處理來自單個家庭的數據集，而其他兩個用例處理代表幾個聚集的米的負載曲線的預測，這些米分散在廣闊的區域內。摘要將遞歸神經網絡應用於短期負荷預測的研究結果表明，簡單的神經網絡與門控網絡(如GRU和LSTM)進行綜合負荷預測的效果相當。因此，ERNN提供的成本更低的替代方案可能是最有效的解決方案，因為它可以減少訓練時間，而不會對預測精度產生顯著影響。與此相反，單戶電力負荷預測存在顯著差異，門控網絡優於Elmann網絡，說明門控機制可以更好地處理不規則時間序列。序對序模型已被證明在負荷預測任務中是相當有效的，儘管它們似乎在性能上不如rns。一般來說，我們可以說seq2seq架構並不代表負荷預測的黃金標準，因為它們在其他領域，如自然語言處理。除此之外，對於這一系列的架構，我們注意到教師強迫可能不是針對短期負荷預測任務培訓seq2seq模型的最佳解決方案。儘管在收斂方面比較困難，自由運行模型學會處理自己的錯誤，避免培訓和測試之間的差異，這是教師強迫的一個眾所周知的問題。結果表明，進一步研究使用中間解決方案(如professor forced)訓練的seq2seq模型的能力是值得的。最後，我們評估了最近開發的時域卷積神經網絡，它在負荷預測任務中表現出令人信服的性能。因此，我們堅信在考慮的領域中採用這些網絡進行序列建模是非常有前途的，甚至可能在這一領域引入一個重要的進展，這對於未來智能電網的發展至關重要。