Markov過程(D) Markov鏈的平穩分布(補充)以及其轉移概率的極限性質
上一節我們留了個尾巴, 即Markov鏈的極限分布, 我們這一節就來補上這個, 具體就是Markov鏈轉移概率的極限性質. 在上一節關於Markov鏈的平穩分布的研究中我們其實就已經用到這個東西了, 當時的結論是直接拋出來的, 這一節我們就來研究那個定理的一般形式. 順便我們嚴格地證明一下平穩分布的有關命題, 以便讓這個系列的筆記基本上實現self-supported, 省得為了閱讀該筆記還需要去翻其它教材.
1. 準備工作
這一部分我們來證明一些引理, 方便在後面進行調用.
引理1.1 設
證: 根據數列收斂的定義, 我們知道對任意
於是
對於固定的
另一方面, 我們還有
因此對任意
進而對任意
這就證明了這個引理.
引理1.2 設Markov鏈
證: 因為
類似地,
比較上述兩個結果, 我們就可以證明
利用同樣的方法去計算
考慮到
因此對於任意的
這就導致
引理1.3 設對於任意
小插曲:上極限與下極限
上下極限是分析中的概念, 非數學專業一般不會遇到, 因此這裡值得稍微敘述一下. 眾所周知, 單調遞增(遞減)序列有上界(下界)則有極限, 然而不是所有序列都是單調有界的, 但是從一個有界數列
因為數列
我們有時候把下極限和上極限也記作
證: 首先注意到非負序列全部和一定不小於部分和, 有
兩邊對
現在兩邊取
引理1.4 若線性方程組
滿足
是方程組
證: 首先我們需要驗證
也就是說
則當
現在我們假設
於是根據數學歸納法,
需要注意的是, 引理1.4中對
則
就構成了方程組
定理1.1 對任意的
的最小非負解.
證: 我們知道
即可, 觀察上式的形式, 我們肯定需要使用全概率公式, 為此我們需要找到一個全事件劃分, 這個劃分需要引入狀態轉移概率, 考慮到這一點, 我們選擇全事件
注意這裡我們使用了齊次馬氏鏈的性質將概率進行了平移, 方便和定義進行比對, 這個做法我們在下面的證明中也會經常用到.
下一個命題和我們在隨機過程(8)中引入的一個中間過程有關, 當時為了指出常返態的含義是指無窮次返回這個態, 我們引入了概率
定理1.2 對任意態
證: 注意到
我們按首次進入態
可以看到這個推理過程和當時我們推理
這個定理只是對第8節內容的一個推廣, 可以看到, 第8節的結論其實只是這個定理的直接推論. 本節我們要用到的是下面的命題:
引理1.5 設
證: 首先根據定理1.2, 我們有
這裡第二個到第三個等號是因為滿足
考慮到
現在我們考察態
由於常返態一定是本質態 , 這是之前我們曾經提到過的一個結論, 但是沒有證明過, 這裡我們就提供了這個結論的證明. 這裡我們提到了可達性, 那麼順便補充一條可達性的判定定理:
定理1.3
證: 我們知道
顯然, 我們有
若
讓我們回到定理1.2, 注意到若
考慮到
根據隨機過程8中的結論
引理1.6 若
這個引理的直觀證明就是前文敘述的方式, 即根據定理3.2 和定理3.3 給出.
2. Markov鏈的不變測度與平穩分布
我們從不變測度開始說起. 在上一節我們定義平穩分布的時候給出了三個條件: (1)非負性 不變測度 . 顯然, 如果
就確定了一平穩分布
我們考察一條Markov鏈從態
根據這個定義, 我們可以看到
我們記
也就是說
根據定義, 我們可以發現如下遞推關係:
而當
的最小非負解, 或者說
也就是說
這裡我們用到了平穩方程的推論
根據上面的分析, 我們發現如果沒有任何額外條件,
定理2.1: 設
我們現在已經得到了不變測度, 距離平穩分布只差一個規範條件, 在上一節中我們已經得知當鏈是正常返不可約的情況下就有唯一的平穩分布, 我們現在就來慢慢逼近這個定理. 首先, 我們來看常返不可約鏈:
定理2.2: 設鏈為常返不可約的, 則對一切
證: 當
這裡最後一行我們用到了Markov鏈的齊次性將
根據前面敘述的內容, 我們已知序列:
是收斂的, 且收斂到
證畢.
讓我們重新來審視一下上文證明中得到的一個中間結果:
我們用這個結果結合引理1.1得到了最終的極限表達式
在隨機過程(8)一文中我們曾經得到了一個很相似的式子: 首次進入分解定理:
那麼利用相同的方式, 我們就可以得到和定理2.2 相似的一個表達式, 但是是關於
根據定理2.1 我們知道給定常返態, 我們就有不變測度定理2.2 則給出
定理2.3: 設鏈是常返不可約的,
證: 由於不變測度不恆為零, 我們知道至少有一個
換句話說, 常返不可約鏈的不變測度恆不為零, 從而
對任意
這表明我們得到了一個隨機矩陣
我們可以看到
對上式兩邊同時取
現在我們注意到
採用我們前文提到過的記號
我們現在已知常返不可約鏈必有不變測度
如果我們還希望這個不變測度是平穩分布, 則還必須要有
為此我們需要求解後面的那個求和式. 注意到
我們轉向求解後面那個和式, 展開後我們迅速發現裡面出現了一個全事件劃分:
如果
若
整理一下, 我們就有
前文我們已經指出常返不可約鏈的不變測度必然不等於零, 記
換句話說,
定理2.4: 設鏈是不可約的, 若鏈有平穩分布, 則全部狀態都是正常返的, 反之, 若有一個狀態是正常返的, 則鏈有唯一的平穩分布
證: 假設
這和我們已知的
由於平穩分布必然是不變測度, 從而對於存在平穩分布的不可約鏈一定有
換句話說, 我們可以由平穩分布求解
而平穩分布可以通過求解方程組:
得到, 這就完成了閉環. 另外, 平穩方程
3. Markov鏈的極限行為
由於Markov鏈由其轉移概率矩陣唯一確定, Markov鏈的極限行為其實就是指其轉移概率的極限, 即
定理3.1 設
其中
證: 考慮到步長總是
正常返不可約鏈: 假定
也就是說, 定理2.4 , 我們知道這時候
現在對於任意的
按照同樣的方法, 我們有
也就是說, 我們有. 根據我們的假設, , 考慮到
這裡第三行是因為我們根據
我們就有
換句話說, 此時我們就有
零常返不可約鏈: 零常返情況下我們有
於是我們就得到了
前面我們導出的仍舊成立, 因為其導出不需要初始分布參與, 於是我們就類似地有
即
這個距離我們要證明的還有一些距離, 我們需要從上式出發得到
於是根據極限的定義, 我們知道對於任意的
換句話說
根據數列的迫斂性, 我們就有
考慮到我們在反證的時候要求
由於
我們再次使用引理1.3(非負數列下極限的和不超過和的下極限)
於是就有
但是本身我們知道
換句話說, 我們找到了定理2.4 , 有平穩分布的不可約鏈必然是正常返鏈, 這與我們最開始考慮的零常返前提矛盾, 於是根據反證法, 我們可以斷定
定理3.1 是我們尋找
定理3.2 若
證: 首先, 根據定理1.2, 我們知道
若
根據定理3.2 以及第一部分給出的結論
我們就完全得到了
現在我們已經拿到了分析
定理3.3: 設
(1) 設
(2) 設
(i) 若
(ii) 若
(iii) 若
證: 首先(1)就是我們在引理1.6中表述的內容, 因此毋需再證.
對於(i), 我們採用反證法, 假定存在某個
對於(2)剩下的兩個, 首先我們由首次進入分解定理, 有
沿用在定理2.2 中的論證方式, 構造對應的數列定理3.1 我們知道
接下來, 我們注意到
而
如果
當
代入到(iii)的結果中, 我們就得到了(ii)的第一部分.
定理3.3 對
如果我們將
則當
於是(iii)就可以寫成
事實上, 我們有:
推論3.3.1: 若
證: 當
而當
從推論3.3.1 更進一步, 對於一條遍歷不可約鏈, 我們有
推論3.3.2: 對於遍歷不可約鏈, 在充分長的時間過後, 系統進入狀態
證: 首先對於遍歷不可約鏈, 根據推論3.3.1 我們立刻知道對於任意的
於是我們就得到了:
它的意思就是我們這個推論表示的含義.
定義(極限分布): 如果一條Markov鏈滿足
我們就稱
推論3.3.2 指出遍歷不可約Markov鏈的轉移概率矩陣滿足
我們看到遍歷不可約Markov鏈的極限分布就是其平穩分布 , 從另一個角度來看, 我們也意識到有限狀態Markov鏈存在平穩分布若且唯若它存在極限分布, 且極限分布就是其平穩分布 . 此外, 這個結論使得我們可以快速計算一類矩陣(遍歷不可約Markov鏈對應的隨機矩陣)乘冪的極限. 比如在之前的一個例子(隨機過程(7)中的例7:)中我們考察的矩陣
它的平穩分布滿足
解得
考慮到這是有限鏈, 要讓其不可約則兩個態必須互通, 這導致
這正是我們在那個例子中得到的結果.
4. 一般情況下的平穩分布
在第二部分中我們討論了平穩分布, 但是當時只是對不可約鏈給出了唯一性的充要判據, 我們知道不可約鏈如果存在平穩分布, 則平穩分布必然唯一, 且鏈必然正常返. 考慮到一般的可約鏈總可以通過將過程局限在某個不可約閉集中, 於是每個正常返不可約閉集就會生成一個平穩分布, 這是我們在上一節, 也就是隨機過程(9)裡平穩分布定義的注4中談到的. 這個小節我們來徹底解決平穩分布的存在性問題, 並給出一般的構造.
我們從一個引理開始:
引理4.1 設非負數列
證: 觀察這個命題的形式, 我們可以嘗試使用引理1.1來進行證明, 因為我們已知某個收斂序列
顯然
即
考慮到
上式中的第一部分我們很容易得到
然後我們將
則
於是
現在我們需要注意到一件事, 因為
並且此時其實也有
現在我們取
將極限放到絕對值裡面, 然後去絕對值, 接下來移項就得到了我們要證明的式子.
現在我們從**定理3.3(iii)**出發, 首先有
它滿足引理4.1中
換句話說當
而當定理3.3(1) 指出
定理4.1: 對任意的
我們現在考察某個零常返類
因為對於零常返態
在第一部分我們指出常返態一定是本質態, 從而常返類一定是本質類, 而在隨機過程(8)中我們曾經證明過本質類一定是極小閉集, 既然是閉集, 我們就有
這樣我們就發現了一個矛盾: 無窮個
定理4.2: 零常返類中必然包含無窮多個狀態, 即零常返類為無窮集.
這直接導致了有限Markov鏈必然不存在零常返狀態 , 換言之, 一旦我們知道有限Markov鏈存在常返態, 則一定是正常返態, 而有限不可約Markov鏈一定常返(因為任意兩個態都互通), 於是有限不可約Markov鏈一定是正常返的, 從而一定存在唯一的平穩分布 , 這是我們早已知曉的. 其實我們還知道對於非常返態
定理4.3: 有限狀態的Markov鏈不可能所有狀態都是非常返態, 於是一定存在常返態, 進而一定存在正常返態, 進而一定存在正常返類.
最後, 我們利用
定理4.4: 存在平穩分布的充要條件是存在正常返類. 若將正常返類記作
其中
證: 充分性: 首先正常返類一定是極小閉集, 換言之, 我們總可以將正常返類視作一不可約Markov鏈, 從而
這樣一來, 我們就有
以及
這表明
必要性: 我們假定存在某個平穩分布
我們兩邊對
兩邊取定理4.1 , 此時就有
假定沒有正常返態, 則我們知道對於所有
這裡我們注意到
因為當
從定理4.4 出發, 我們迅速可以得到如下重要結論:
推論4.4.1: 存在唯一的平穩分布的充要條件是恰有一個正常返類
證: 從定理4.4 中我們可以得知, 只要給定滿足條件
推論4.4.2: 不存在平穩分布的充要條件是不存在正常返類.
這個是就是定理4.4 的等價論述, 無需額外證明.
推論4.4.3: 存在無窮多個平穩分布的充要條件是存在至少兩個不同的正常返類.
證: 考慮到定理4.4 這些解都會生成平穩分布, 於是就有無窮多個平穩分布.
推論4.4.3 從另一個方面告訴我們:
推論4.4.4: 只要平穩分布存在且不唯一, 則一定存在無窮多個平穩分布.
另一方面, 定理4.3 告訴我們有限狀態Markov鏈一定有正常返類, 於是根據定理4.4 , 我們得知
推論4.4.5: 有限狀態Markov鏈一定存在平穩分布; 而不可約的有限狀態Markov鏈只有一個互通類, 就是狀態空間自己, 於是必須是正常返類, 它是唯一的, 從而不可約的有限狀態Markov鏈必然存在唯一的平穩分布.
現在, 我們完整回答了平穩分布的存在性問題, 並且給出了存在平穩分布時Markov鏈平穩分布的構造方式. 至此, 對於狀態離散, 時間離散的時齊Markov鏈的分析討論就可以告一段落了, 我們應該意識到, 狀態離散, 時間離散的時齊Markov鏈完全由它的轉移概率矩陣進行確定, 一旦我們知道它的轉移概率矩陣, 我們就可以分析得到所有態的信息, 基於態的屬性, 我們可以給出
不過從理論上來看, 特別是物理學中, 我們的時間總是連續的, 因此我們必須研究時間連續的Markov過程, 這又分為兩種情況: 時間連續狀態空間離散的連續Markov鏈以及時間連續狀態空間也連續的Markov過程, 接下來我們就來研究它們.