自相關與偏自相關的簡單介紹

2021-01-13 ATYUN訂閱號

自相關和偏自相關圖在時間序列分析和預測中經常使用。這些圖生動的總結了一個時間序列的觀察值與他之前的時間步的觀察值之間的關係強度。初學者要理解時間序列預測中自相關和偏自相關之間的差別很困難。


在本教程中,您將發現如何使用Python來計算和繪製自相關圖和偏自相關圖。

完成本教程後,您將知道:


讓我們開始吧。

每日最低氣溫數據集

該數據集描述了澳大利亞墨爾本市10年(1981 – 1990年)的最低每日氣溫。

單位為攝氏度,觀測值為3650次。數據來源於澳大利亞氣象局。

點擊這裡了解更多信息並從Dara Market下載數據集。


下載數據集並將其放在您當前的工作目錄中,文件名為「 daily-minimum-thermometer.csv 」。


注意:下載的文件包含一些問號(「?」)字符,必須先刪除它然後才能使用數據集。在文本編輯器中打開文件,並刪除「?」字符。同時刪除文件中的任何頁腳信息。

下面的示例將加載最低每日溫度並繪製時間序列。


1from pandasimport Series2from matplotlibimport pyplot3series= Series.from_csv('daily-minimum-temperatures.csv', header=0)




運行該示例將數據集加載為Pandas序列,並創建時間序列的折線圖。

相關和自相關

統計相關性總結了兩個變量之間的關係強度。我們可以假設每個變量的分布都符合高斯(鐘形曲線)分布。如果是這樣,我們可以使用皮爾遜相關係數(Pearson correlation coefficient)來總結變量之間的相關性。


皮爾遜相關係數是-1和1之間的數字分別描述負相關或正相關。值為零表示無相關。

我們可以使用以前的時間步長來計算時間序列觀測的相關性。由於時間序列的相關性與之前的相同系列的值進行了計算,這被稱為序列相關或自相關。


一個時間序列的自相關係數被稱為自相關函數,或簡稱ACF。這個圖被稱為相關圖或自相關圖。


以下是利用statsmodels庫中使用plot_acf()函數計算和繪製「每日最低氣溫」自相關圖的一個例子。


1from pandasimport Series2from matplotlibimport pyplot3from statsmodels.graphics.tsaplotsimport plot_acf4series= Series.from_csv('daily-minimum-temperatures.csv', header=0)




運行示例創建一個2D平面圖,顯示沿x軸的延遲值以及y軸上的相關性(-1到1之間)。

置信區間被畫成圓錐形。默認情況下,置信區間這被設置為95%,這表明,這段代碼之外的相關值很可能是相關的,而不是統計上的意外。

默認情況下,列印所有延遲值,這讓顯得圖表有些雜亂。我們可以將x軸上的延遲值限制為50,讓圖更容易看懂。

偏自相關函數

偏自相關是剔除幹擾後時間序列觀察與先前時間步長時間序列觀察之間關係的總結。

在滯後k處的偏自相關是在消除由於較短滯後條件導致的任何相關性的影響之後產生的相關性。


– 第81頁,第4.5.6節偏自相關,Introductory Time Series with R。

一項觀察的自相關和在先驗時間步上的觀測包括直接相關和間接相關。這些間接相關是線性函數觀察(這個觀察在兩個時間步長之間)的相關。

偏自相關函數試圖移除這些間接相關。沒有進入數學,這就是偏自相關的直覺。????


下面的示例使用statsmodels庫中的plot_pacf()來計算和繪製最低每日溫度數據集裡的前50個滯後的偏自相關函數。


1from pandasimport Series2from matplotlibimport pyplot3from statsmodels.graphics.tsaplotsimport plot_pacf4series= Series.from_csv('daily-minimum-temperatures.csv', header=0)5plot_pacf(series, lags=50)




運行這個示例創建了前50個滯後的偏自相關的平面圖。

ACF和PACF圖的直覺

時間序列的自相關函數和偏自相關函數的平面圖描述了完全不同的情形。我們可以使用ACF和PACF的直覺來探索一些理想實驗。

自回歸直覺

由具有滯後k的自回歸(AR)過程生成的時間序列。我們知道ACF描述了自相關在這個時間步的觀察和前一個時間步的觀察之間存在直接依賴信息和間接依賴信息。這意味著,我們期望AR(k)時間序列裡的ACF對k的滯後有很強的影響,並且這種關係的慣性將會延續到後來的滯後值中,在某種程度上隨著效果的減弱而逐漸減弱。


我們知道,PACF僅描述觀察與其滯後之間的直接關係。這表明除了k之外的滯後值沒有相關性。這正是ACF和PACF計劃在AR(k)過程中的期望。

移動平均線的直覺

由k的滯後的移動平均(MA)過程產生的時間序列。移動平均過程是先前預測中時間序列剩餘誤差的自回歸模型。考慮移動平均模型的另一種方法是根據最近預測的錯誤來糾正對未來的預測。我們預計ACF在MA(k)的過程中與最近的值顯示出強相關性直到k的滯後,然後急劇下降到低或沒有相關性。這就是生成該過程的方法。


我們預計繪圖將顯示出與滯後的密切關係,以及與滯後的相關性減弱。這正是MA(k)過程的ACF和PACF圖的預計。

總結

在本教程中,您發現了如何使用Python計算時間序列數據的自相關和偏自相關圖。

具體來說,您學到了:

如何計算並創建時間序列數據的自相關圖。

如何計算和創建時間序列數據的偏自相關圖。

解釋ACF和PACF圖的差異和直覺。




相關焦點

  • 第六章 | 自相關
    (二)自相關產生的原因1、經濟系統的慣性自相關現象大多出現在時間序列數據中,而經濟系統的經濟行為都是具有時間上的慣性,這種情況下經濟數據很可能表現為自相關。2、經濟活動的滯後效應滯後效應是指某一變量對另一變量的影響不僅限於當期,而是延續若干期,由此帶來變量的自相關。
  • 空間自相關-騰挪空間展覽時間、地點等信息介紹
    空間自相關-騰挪空間展覽時間、地點等信息介紹【導語】: 2015年廣州展覽:「空間自相關-騰挪空間」展覽什麼時候開始?下面小編整理了「空間自相關-騰挪空間」展覽時間、地點等信息,以供參考。   空間自相關-騰挪空間  時間:即日-2月26日每天08:00-22:00  地點:小洲村小洲人民禮堂背面村西浦直街1號(翰墨橋旁)騰挪空間
  • 自相關、卷積與匹配濾波
    自相關、卷積與匹配濾波1、引言最近被相關、卷積和匹配濾波弄得暈頭轉向
  • 詳聊「相關分析」(二)---偏相關、典型相關 | 醫學方統計學專題
    我們之前講到的直線相關、秩相關都只是分析兩個變量間的相關,並沒有考慮當兩個變量同時與第三個變量相關時的情況。所以這就引出了「偏相關分析」。偏相關分析是指當兩個變量同時與第三個變量相關時,將第三個變量的影響剔除,只分析另外兩個變量之間相關程度的過程。
  • 自相關函數的性質及其物理意義
    自相關函數與原始信號具有相同的周期(頻率)、衰減率(阻尼)動態特性,可用來檢測隨機過程中是否含有周期成分,或者其信號特徵。自相關函數是自功率譜計算的依據,其既包含了一個隨機過程間隔時間的相關程度和依賴性,同時也包含了能量大小的信息。不過要注意,相關性再也不是象相關係數那樣能夠用- 1到1這樣的數來表示相關大小了。
  • 自相關和互相關函數計算方法總結及心得體會
    x(t),y(t)在任意兩個不同時刻t1,t2的取值之間的相關程度,自相關函數是描述隨機信號x(t)在任意兩個不同時刻t1,t2的取值之間的相關程度。[轉版友hustyoung]自相關函數是描述隨機信號X(t)在任意兩個不同時刻t1,t2的取值之間的相關程度;互相關函數給出了在頻域內兩個信號是否相關的一個判斷指標,把兩測點之間信號的互譜與各自的自譜聯繫了起來。它能用來確定輸出信號有多大程度來自輸入信號,對修正測量中接入噪聲源而產生的誤差非常有效。
  • 說說自相關函數,功率譜與白噪聲
    比如在圖像處理裡,將圖像函數看做一個信號函數,對圖像某一區塊其進行上述標準化互相關函數中講到的亮度和對比度不變性處理後,進行傅立葉變換,並最後算出圖像功率譜,於是就有了一個很好的以頻率表達的可用於模板匹配的模板屬性。這就是圖像處理中所說的,把對圖像處理的時空域內思考,轉化到頻域。可以使一些在時空域較難處理的問題,在頻域裡找到直觀簡便的解決方案。
  • 基於小波變換和自相關函數的基音頻率檢測算法
    到目前為止,基音檢測的方法主要有短時自相關函數法、平均幅度差函數法、倒譜解卷積法、Hil―be;t―Huang變換法等。但尚未找到一個完善的可以適用於不同語音狀況和環境的基音檢測算法。近幾年,小波分析理論發展迅速。它已經被廣泛地應用到信號處理中。
  • SPSS之簡單相關係數
    簡單相關分析是對兩個變量之間的相關程度進行分析。單相關分析所用的指標稱為 單相關係數,又稱為 Pearson(皮爾森)相關係數或相關係數。通常用 ρ 表示總體的相 關係數,以 r 表示樣本的相關係數。 我們已經給出總體相關係數的定義式為
  • Eviews中的自相關檢驗與修正操作(三):杜賓兩步法
    自相關問題往往出現在時間序列數據中,所以也經常稱為「序列自相關」。自相關問題往往採用殘差圖、DW檢驗、LM檢驗(也稱BG檢驗)等檢驗方法,並採用廣義差分法進行修正,又由於實際中估計自回歸係數p的不同,分為杜賓兩步法、科克倫-奧科特迭代法。
  • SPSS、EXCLE——偏相關分析
    SPSS、EXCLE——偏相關分析原始數據:一、為什麼要使用偏相關分析相關分析用於分析兩個事物之間的關係情況,在現實分析中,相關分析往往有第三變量的影響或作用,而使得相關係數不能真實地體現其線性相關程度。
  • N溝道結型場效應管自偏電路
    N溝道結型場效應管自偏電路
  • Eviews中的自相關檢驗與修正操作(二):BG檢驗(LM檢驗)
    自相關是指在時間序列資料中按時間順序排列的觀測值之間存在相關性或在橫截面資料中按空間順序排列的觀測值之間存在相關性,它是不滿足經典
  • 簡單好用!推薦中的自監督圖神經網絡
    數據的偏態分布、噪聲等問題在機器學習中廣泛存在,極大的限制了模型的性能。自監督學習可能是緩解上述問題的有效途徑!微軟亞洲研究院、中國科學技術大學、新加坡國立大學的一眾大佬聯合提出了SGL模型,通過輔助的自監督任務來提高監督任務(推薦)的性能。
  • 刀塔自走棋魔抗屬性怎麼計算?魔抗計算方法公式介紹
    《刀塔自走棋魔抗屬性怎麼計算?魔抗計算方法公式介紹》文章已經歸檔,不再展示相關內容,編輯建議你查看最新於此相關的內容:刀塔自走棋前期選什麼卡好 刀塔自走棋前中後期選卡攻略刀塔自走棋前期選什麼卡好?刀塔自走棋什麼卡比較厲害?刀塔自走棋新手應該怎麼選卡?一起來看看刀塔自走棋前中後期選卡攻略。斧王:單卡強度一般。
  • 線性相關
    當然,有關聯並不代表就一定是線性相關,也可能是曲線、性線性相關等。本節主要討論線性相關,因為線性相關較其他相關簡單,也是多重線性回歸的基礎。           線性相關                兩隨機變量X、Y之間呈線性趨勢的關係。一般地,若兩變量X、Y 同時增大或減少,稱為正相關;若兩變量X、Y 呈反向變化,稱為負相關。
  • 想改色,選擇好一罐自噴漆非常重要!
    之前給大家介紹了那麼多的自噴漆改色案例,各位小主可還滿意呀。最近小編忙著考試,就沒有時間再給大家直播更多的自噴漆改色案例啦。所以今天就要給大家說一下我再改色過程中整理的自噴漆相關知識。Emmm~期待嗎~自噴漆用途非常廣泛,相信大家一定不會陌生,小編就不再做太多的介紹啦。
  • 手搖式自發電手電筒電路原理介紹
    本文介紹的手搖式自發電手電筒能夠解決停電時的困擾。  該手搖動式自發電手電筒電路原理如圖1所示。其結構示意圖如圖2所示。在使用電筒時,搖動電筒使它的磁鐵7上下移動,通過線圈6即產生電能,再經圖2中的D1-D4整流,C1貯能向電池CR2032充電通過開關控制使發白光二極體發光而實現自發電的功能。
  • r語言檢驗序列相關 - CSDN
    解釋建模的基本步驟:通過read.table()收集數據,ts()繪製時序圖根據觀察時序圖以及白噪聲檢驗Box.test(),進行平穩性判別的檢驗若得到平穩的非白噪聲序列,則進行模式識別畫自相關圖和非自相關圖
  • 簡單相關分析中,相關係數r的取值的特點有( )。
    簡單相關分析中,相關係數r的取值的特點有( )。A.r的值越大,意味著變量之間的相關程度越高B.若兩變量相關,且變化的方向一致,則r值為負;反之,則r值為正C.r=0,意味著變量之間完全不相關D.r=l,意味著變量之間完全正相關E.r=﹣1,意味著變量之間完全負相關查看答案解析【正確答案】ACDE