安德烈·馬爾可夫（1856-1922），俄羅斯人，物理-數學博士，聖彼得堡科學院院士，以數論和概率論方面的工作著稱，主要著作有《概率演算》等
☆本文將出現的一些關鍵概念
（1）隨機矩陣（Stochastic Matrix）：如果一個矩陣的元素是非負的，且每一行元素的和為1，則這個矩陣稱為隨機矩陣。隨機矩陣的作用是將概率方便的引入矩陣計算。與行向量右乘的矩陣稱為右隨機矩陣，是隨機矩陣的主要形式。20世紀30年代，數學家Hsu和Wishart首次提出隨機矩陣。
（2）e：在本文中指元素全是1的列向量。由於右隨機矩陣每一行元素的和為1，故右隨機矩陣左乘e之後，結果還是e。由此可見，e是此右隨機矩陣的一個特徵向量，對應特徵值是1。
（3）特徵方程/特徵多項式：如果方陣A的特徵值是λ，對應特徵向量是x（即Ax=λx），則(A-λI)x=0。這是一個有n個未知數n個方程的齊次線性方程組，它有非零解的充要條件是係數行列式為0，即|A-λE|=0。該式是以λ為未知數的一元n次方程，稱為方陣A的特徵方程，左端的|A-λE|是λ的n次多項式，稱為方陣A的特徵多項式。特徵方程的解自然就是方陣A的特徵值λ。
（4）弗羅貝尼烏斯-佩龍定理（Perron-Frobenius theorem）：由Oskar Perron於1907發現，Frobenius推廣。如果n階方陣A的元素都是非負實數，其特徵方程必定有一個單的正實根μ，且μ嚴格大於所有其他根的（複平面）絕對值（其他的根有可能是複數），稱之為譜半徑。μ是A的一個特徵值，其對應的（右）特徵向量v（Av=μv）的所有分量都是非負的。同時，A也有關於μ的左特徵向量（行向量）w，它可以看作是A'（A的轉置）的（右）特徵向量的轉置，滿足wA=μw。w中分量也都是非負的，且wv=1（這可以通過將w乘以合適的係數做到）。Perron–Frobenius定理的限制「元素均非負」正好符合馬爾科夫鏈狀態轉移矩陣的特點——元素都是概率值。
（5）類（class）：在有向圖中指聚為一簇的節點。通信類表示類中所有的狀態之間都是連通的。要想明白類的具體含義，最好的辦法是自己畫幾個有向圖，用定義判斷一下。大家不妨試試。
（6）漸進返回概率：隨著馬爾可夫鏈平穩的漸進過程中，是否還會返回某一個狀態的概率。
（7）出度（outdegree）：在有向圖中，指以某頂點為弧尾，起始於該頂點的弧的數目。
（8）單位根(unit root)：設n是正整數。當一個數的n次方等於1時，稱此數為n次單位根。在複數範圍內，n次單位根有n個。例如，1、-1、i、-i 都是4次單位根。單位根指模為1的根，一般的x^n=1的n個根可以表示為: x=cos(2kπ/n)+sin(2kπ/n)i ，其中:k=0,1,2,..,n-1 ，i是虛數單位。
小夥伴們假期快樂！！我現在的寫作屬於憋大招的性質。一次性寫幾篇內容相關的，CD較長。幾個月不更的話，請大家也不要取關，可以留言催我 看的人多，動力才足。
對了，封面照片是九個月大的萌豆，覺得小豆萌萌噠的，請點擊在看支持小豆（他爸）。
本文介紹馬爾可夫模型。首先給大家看一本書：
這本書是我的，這可不是什麼深奧的教材，而是高中數學的選修教材，在一般新華書店可以買到。這本書中的第四章，就介紹了馬爾可夫模型。
我挺喜歡看高中教材的，不光是數學和歷史，還有其它文理各科，建議大家也有時間也可以看，因為高中知識是各專業知識體系的基礎和凝練的精華，又比一般的教材都易懂。不知道大家學過這本教材沒有，我上學的時候還是舊教材（暴露年齡）。可見馬爾可夫模型並不是什麼複雜的內容，而是一個高中水平的知識點。但想要學的很深入，也沒那麼簡單。
下面言歸正傳。在讀本文之前，最好先對時間序列和隨機過程有個了解，可以看我之前的兩篇文章。
一、馬爾可夫模型太長不看極簡版
通俗的來說，在已知現在的情況下，將來的隨機變化規律與過去發生的事件無關，這種性質，稱之為馬爾可夫性，即無記憶性。
我們稱具有馬爾可夫性的（時間）變量序列為馬爾可夫模型或者馬爾可夫過程。馬爾可夫過程是一種隨機過程——根據一定的概率產生隨機結果或狀態序列的過程。
圖是研究馬爾可夫模型的利器。一個超簡單的馬爾可夫模型用圖表示如下：
一個方塊表示一種狀態，連線表示轉換。相信這個圖不用解釋大家也看得懂
如果用表，那就像這樣：（這個表其實就是一個狀態轉移矩陣了）
只有晴天和陰天兩種天氣。明天天氣只和今天有關。今天是晴天，明天九成還是晴天，今天是陰天，明天五成是陰天。
很多教材都會單獨介紹馬爾可夫模型，但它是一種時間序列模型，可以用時間序列模型的思維來學習，並和其它時間序列模型做比較。
狀態空間指的是序列數據的狀態。（最少要有兩種狀態）理論上來說，這個空間可以是離散的，或者是連續的。本文主要討論最重要的離散狀態的情況。
在狀態空間中的各個狀態之間（從狀態i到狀態j）進行轉移的概率稱為狀態轉移概率（Pij）。狀態空間中的n個狀態間的n*n個轉移概率可以用n階方陣P表示，稱為狀態轉移概率矩陣。而n個狀態組成的行向量稱為在時刻k的分布。
一般地，如果k時刻的分布π*，能使得模型在之後的各個時刻的分布相等，即π*=π*P。（P是轉移概率矩陣）則稱π*為模型的一個平穩分布，其往往具有唯一性。如果一個模型存在唯一的平穩分布π*，則無論初始分布是什麼，隨著時間的推移（時間足夠長），該模型的分布會逐漸趨向，並在時刻k之後穩定於π*。這也被稱為模型的漸進行為，或者極限行為。在模型中，平穩分布起著重要的作用。
二、離散時間馬爾可夫鏈理論
這一部分其實是基礎的理論，帶你全面了解這一領域的概念。在實際應用中，倒不必過於在意，因為很多東西的都是默認的。所以大家可以選擇性的學習。
馬爾科夫過程可以通過幾個條件加以限制，從而逐步形成更簡潔的數學公式。以下是一些最常用的限制條件。
（1）狀態空間可以被限制在一個離散的集合中。這個特性是馬爾科夫鏈的象徵，即離散狀態的馬爾科夫過程稱為馬爾可夫鏈。馬爾可夫特性的轉移概率將鏈中的每個狀態「連結」到下一個狀態。
（2）如果狀態空間是有限的，則鏈是「有限狀態（finite-state）」。（離散不一定有限，比如整數有無限多個）
（3）如果過程以離散時間步長演化，則鏈是「離散時間（discrete-time）」的。（每隔一段時間，或者每一步採集一個數據）
（4）如果馬爾可夫特性與時間無關，則該鏈是同質（homogeneous）的（或者翻譯成時間齊次性）。即在時間流逝的過程中，狀態轉移矩陣不變。
以上條件實際上均是最通常、可以說是默認的情況，本文所討論的馬爾可夫模型正是受到了以上條件的限制，即離散時間離散狀態時間齊次馬爾科夫鏈，以下簡稱馬爾可夫鏈或者鏈。
馬爾可夫鏈的一個關鍵特徵是它的「極限行為」，即一種趨向平穩分布的行為。模型的預測性能取決於其是否具有定義良好的平穩分布，或稱漸近分布。
除了矩陣分析法外，前面說了，圖是研究馬爾可夫模型的利器。任何有限狀態離散時間齊次馬爾可夫鏈既可以表示為n×n的轉移矩陣P, n是狀態的數量，又可以以圖形可視化表示為有向圖D。D和P兩種表示方法所含信息是一樣的。有限狀態過程的有向圖D在節點i和其他節點j之間具有轉移概率。節點表示馬爾可夫鏈中的狀態。在有向圖D中，如果矩陣的元素Pij是0，那麼就不畫連接狀態i和j的邊（即D只顯示狀態間的可行轉移）。此外，D可以包含表示從狀態i向自身轉換的非零概率Pii的自循環，或者叫自轉移概率。自轉移概率又被稱為狀態慣性（state inertia）或持久性（persistence）。對應在狀態轉移矩陣P中，就是矩陣對角線上的數值。
在D中，狀態i和j之間的「步（walk）」指的是一系列的連接狀態，從i開始，到j結束，長度至少為2。路（path）是沒有重複狀態的步。一個循環 （circuit）是一個從i→i的步，但不存在其他重複的狀態。
我們用i→j表示可以從i走到j。如果i→j且j→i，則用i↔j表示，稱為i和j通信或者連通。一定程度上來說，連通就代表了一種等價關係。
馬爾可夫鏈中，單個狀態的屬性由所有其它狀態共享，從而成為整體本身的屬性（這裡的內容已經和圖論學有些關係了，我也不太懂。在圖論中，可互相轉移的狀態稱為「強連通分量」）。這些單個狀態的屬性包括：
（1）常返態（Recurrence）——可從所有可訪問的狀態中訪問的屬性。這個性質等價於狀態的漸進返回概率等於1。每個鏈至少有一個常返態的類。
（2）瞬時態（Transience）——又稱非常返態，即有可能進入無法返回的狀態。這個性質等價於漸近返回概率為0。一個具有瞬時態的類對漸近行為沒有影響。
（3）周期性（Periodicity）——在一個類中多個子類之間循環的特性。一種狀態的周期性是所有包含這種狀態的步的長度的最大公約數，稱為d。d=1的狀態或類是非周期的。
我從知乎上找的圖，其中零常返在離散狀態的鏈中不涉及
而鏈作為一個整體的一個重要性質是不可約性（irreducibility）。如果鏈由單個通信類組成，則鏈是不可約的。狀態或類屬性會成為整個鏈的屬性，這簡化了描述和分析。泛化（generalization）是由一個常返態類和任意數量的瞬時態類組成的唯一鏈（unichain）。而與漸近（asymptotics）相關的重要分析可以集中在常返態的類上。
在圖形中，通過將每個類的狀態合併到單個超節點中，可以形成壓縮圖（condensed graph）。這樣就簡化了對整體結構的可視化理解。在下圖中，超節點C1和C2之間的單個有向邊對應於類之間唯一的轉換方向。
digraph是有向圖的意思。右邊的壓縮圖表明，C1是瞬時態的，C2是常返態的。C1的出度為正。因為C1包含一個自循環，所以它又具有不定期性（aperiodic）。C2具有周期性，其周期是3。C2周期中的三個單個狀態在一個更一般的周期類中是「通信子類」。這個鏈是一個可簡化（reducible）的唯一鏈。
現在我們在這個圖的基礎上，再想像一條從C2到C1的有向邊。在這種情況下，C1和C2就變成了一個通信類，它們可以合起來在壓縮圖中摺疊為單個節點。
遍歷性（Ergodicity）是一種理想的性質，它是不可約性（irreducibility）和非周期性的結合，以保證了唯一的漸進行為。因為不可約性本質上是一個鏈性質，而不是一個類性質，所以遍歷性也是一個鏈性質。當與唯一鏈一起使用時，遍歷性意味著唯一的常返類是遍歷的。
有了以上這些定義,我們可以總結關於n維行向量狀態空間的平穩分布π∗的基本定理（平穩分布π∗=π∗P）。
（1）如果轉移矩陣P是右隨機矩陣，由隨機矩陣的性質，P必然有一個右特徵向量e，其對應特徵值為1。根據Perron-Frobenius定理,,P必然同時有非負左特徵向量π∗，其對應特徵值λ1 = 1 (稱為Perron-Frobenius特徵值)。由於π∗非負，所以一定可以歸一化得到一個概率向量。即公式π∗=π∗P必然至少有一個解π∗。其他特徵值λi均滿足在複平面上的絕對值|λi|≤1。
（2）若且唯若P是一個唯一鏈時，π∗唯一。一般來說,如果一個非唯一鏈包含k個常返類,π*=π*P則包含k個線性獨立的解。
（3）若且唯若P是一個遍歷唯一鏈時，每一個初始分布π0都將最終收斂於π∗。在這種情況下,π∗是一個極限分布，或平穩分布。
（4）周期為k的周期矩陣，有k個特徵值均勻地分布在複平面單位圓的k個單位根上。而單位圓內最大特徵值的絕對值大小決定了瞬時態的衰減率。
（5）如果唯一鏈或唯一鏈的唯一常返態類是非周期的（aperiodic），則不等式|λi|≤1嚴格取小於號。
（6）如果唯一鏈是遍歷的，則當m趨向無窮大時，Pm會逐漸收斂於eπ∗（即矩陣的每行都是π∗）。且誤差趨近於0的速度至少會快於mq|λs|m。其中λs是模數第二大的特徵值，而q為λs的重合數（即有幾個重複的解）。即，π∗的收斂速度取決於|λs|（除等於1的Perron-Frobenius特徵值外，第二大特徵值的複平面絕對值）。其速率可以表示為1-|λs|，這個式子稱之為光圈間隙（ terms of the spectral gap）。
複平面的「光圈」。Perron-Frobenius特徵值一定等於1，然後絕對值第二大的特徵值（本例目測也是一個實數解）決定了光圈間隙（紅色）的寬度，處在外圓上的所有根均稱作單位根，故此處可以與優化算法中的單位根概念聯繫起來
大的間隙導致更快的收斂。有個概念叫混合時間，是一個描述從非平穩趨向平穩分布的特徵時間量。因為收斂是指數型的，所以混合時間為：
λslem即λs
三、離散時間馬爾科夫鏈模型應用
一般來說，算法只支持有限數目的狀態鏈，這些狀態鏈在離散時間內以時間均勻的過渡結構演化。每一個馬爾可夫鏈包含n*n的轉移概率矩陣P,獨立的初始狀態x0或是初始分布狀態π0。使用模型時，往往可以把P指定為一個右隨機矩陣或者一個經驗計數矩陣。
（1）當P為右隨機矩陣時，自然地:
a.Pij是從狀態i到狀態j的非負概率。
b.每一行P和為1。
πt+1=πtP 描述了狀態分布從t時刻到t + 1時刻的演化過程。t時刻的狀態分布πt為長度為n的行向量。
（2）當P為一個經驗計數矩陣時：
a.Pij是狀態i轉換到狀態j的觀察次數。算法會將P的行規範化，使其成為一個右隨機矩陣。
模型可生成一個具有指定初始模式和隨機轉移概率的馬爾可夫鏈，並對其進行可視化。參數設置強調可通信的類和影響收斂的特定特性，如常返性、瞬態性和周期性。可視化功能往往可以將通信類壓縮到單個節點。
往往，算法在分析了鏈結構後，根據不可約性和遍歷性等分析結果對模型給出簡潔的總結。不可約性和遍歷性在一起就提供了是否存在的一個獨特的極限分布π∗的必要和充分條件，並計算π∗，如果π∗存在，可以利用特徵值分析來估計「混合時間」。
馬爾可夫模型收斂的一個障礙是周期性。我們可以使用「懶惰對象函數」，通過調整狀態慣性(即P的對角元素的權重)來消除周期性，從而在鏈中只產生指定數量的「懶惰」。模型的平穩分布不會受到這些轉換的影響。
你可以以兩種方式建立或估計一個馬爾科夫鏈模型：
（1）識別過程中相關的離散狀態，然後估計它們之間的轉移概率。在最簡單的情況下，直接就可以得出鏈結構和轉換矩陣p。所以馬爾可夫模型的參數估計比較容易，接近於頻數統計。在這種情況下，你主要感興趣的是理論如何在實踐中發揮作用。一旦了解了P，就可以創建一個馬爾科夫鏈，實現一個理論上的鏈。
（2）如果你對一個過程只有較少的具體信息，那麼你必須用不同數量的狀態和可行的轉移模式進行實驗來重現經驗結果。算法可以對鏈的骨架結構進行深入的分析，以捕獲數據中的基本特徵。通過迭代，你可以調整轉換矩陣P以適應建模目標。
選擇P的最重要的結果是鏈的漸近行為。為了理解並識別、分離瞬時態和常返態，直觀地確定狀態是瞬時態的還是常返態的，往往需要繪製圖形。下圖是具有分類節點的有向圖的一個示例。
白色節點是瞬時態的，而四個紅色的節點其實是一個通信類
前面說了，壓縮圖則可以將每個通信類合併為一個「超節點」，從而簡化了這種計算。在壓縮圖中，你可以通過超節點的出度(大於0的出度表示為瞬時態)，很容易識別出瞬時和常返。不可約鏈由一個單一的、必然常返的、可通信的類組成。唯一鏈則由一個常返類和任意數量的（衛星形式連接）瞬態類組成。唯一鏈仍然維持著不可約鏈的理論漸進行為。對壓縮圖，考慮的通常是對一系列無關的瞬態鏈進行修剪。下圖是前一圖中有向圖的壓縮圖，變得非常簡單了是不是？
通常來說，計算極限行為的兩個主要障礙是:
（1）可約性：存在一個以上的通信類
（2）周期性：在一個類的子類之間存在循環
結合圖和函數，就可以識別這些問題。如果一個鏈是可約的，而不是單鏈的，則我們通常將分析拆分到獨立的遞歸類中，或重新構造整個鏈。如果一個鏈是周期性的，那麼用懶惰函數是一種方法：重構P的對角元素以消除周期性，而使漸近行為不受影響。
遍歷性是不可約性和非周期性的結合，同時具有這兩種性質。對於遍歷鏈，由於P是隨機的，特徵值為1。只要鏈是不可約的，那平穩分布就是唯一的。不可約性雖然是唯一性的充分條件，但並不是必要條件。
相關函數可以確認鏈的遍歷性。一旦你確定了一個鏈是遍歷的，你就可以使用漸近函數來確定唯一的極限分布。函數會返回π∗以及混合時間的估計。Perron-Frobenius定理對於解釋這些結果很有用：任何隨機矩陣的譜半徑都是1。下圖是周期為3的馬爾可夫鏈的特徵值圖。顯然大圓上有三個單位根。除了Perron-Frobenius特徵值，還有兩個根的絕對值也是1，而光圈間隙還是由λs決定，而與單位根無關。
四、七個延伸
以下內容不是本文的重點，只簡單寫一下與本文相關之處，以拓展大家的思路。要是展開了寫，那每個方面又得這麼一篇（關鍵我暫時也寫不出來）。
1、關於時間序列模擬
時間序列模型主要的應用在於模擬，或者說仿真，即預測未來。我們可以模擬馬爾可夫鏈的隨機過程。從初始狀態或從整個狀態分布的時間演化中產生狀態轉移的隨機序列，並確定一個鏈的統計特性，而這些信息很難直接從理論推導出來。模擬生成獨立且「隨機漫步」的鏈。一些相關統計數據的總體平均值在預測中起著重要的作用。下圖是一些馬爾可夫模擬的可視化，顯示了若干個隨機遊動後所有狀態的比例與演化的過程。
隨著模擬時間的推移，初始概率相等的不同狀態的差距越拉越大，優秀的競爭者最終佔據了主要資源
2、關於馬爾可夫鏈蒙特卡洛模擬（Markov Chain Monte Carlo，MCMC）
這是一個很有意思的內容。MCMC是馬爾可夫模型的重要應用。MCMC由蒙特卡羅方法和馬爾科夫鏈組成。個人認為，在MCMC中，其實是以蒙特卡洛模擬為主，馬爾可夫模型則是為其解決"離散化維數災難"的。
然而，這兩個概念的主體內容，和本文中所介紹的有明顯的區別。或者說，本文的內容實則是夯實地基，有利於這些相關算法的學習。MCMC主要用於非常用概率分布的期望計算和抽樣等工作，而非時間序列模型和數據。在MCMC中，狀態空間往往是連續的而非離散的。所以按我們上面的定義，MCMC的精確叫法，其實是馬爾科夫過程蒙特卡洛模擬。
3、關於馬爾可夫決策過程（Markov Decision Processes，MDP）
這部分內容在前面提到的高中教材裡就有。當馬爾可夫系統是可控的時候，就涉及了決策問題。一般地，可以根據情況確定最優決策的準則，然後利用馬爾可夫鏈的性質來計算各種行動方案的平均收益或風險，以選擇最優決策。常用的選擇準則包括：
（1）短期準則：確定某一時刻n，使得在0到n時段內獲得最大平均收益或最小風險。
（2）長期準則：使得在0到無窮時間段內獲得最大平均收益或最小風險。其中長期準則的收益與本文所探討的平穩分布密切相關。長期準則也叫平穩準則。
MDP一個重要的應用在於其與機器學習的前沿領域——強化學習的相關性。這裡的內容就沒法說了，複雜的多。有興趣的推薦著名的課程CS229。（https://www.bilibili.com/video/BV1xb411M7sn?p=16）
在這裡，總有一種感覺，基礎知識和前沿科技的距離，有時候也沒想像的那麼遠，一切其實在於對算法理念的理解和合理的運用。
4、關於隱馬爾可夫模型（Hidden Markov Model，HMM）
可能是最重要的一個延伸，這個正在寫。神奇的隱馬爾可夫模型既是時間序列模型，又是監督學習模型，還是無監督學習模型。到底咋回事，敬請期待
根據不同的條件，延伸出HMM和MDP
5、關於n階馬爾可夫過程
前面講了，馬爾可夫性是在已知現在的情況下，將來的隨機變化規律與過去發生的事件無。但並沒有講明白：「現在」是具體指多長時間的跨度？
在廣義的馬爾可夫過程中，每個狀態的轉移不再只依賴於過去1個狀態，而是依賴於過去的n個狀態。這個過程被稱為n階的馬爾可夫模型，其中n是影響轉移的狀態的數目。
當然這其中最簡單的馬爾科夫過程就是一階過程，每個狀態的轉移只依賴於其之前的那個狀態，也就是我們通篇所講的內容。相比之下，n階的馬爾可夫過程會更複雜的多。問題是，這種複雜和我們追求的簡化背道而馳，變得和條件均值模型等時間序列模型的定義十分相似。可以說，n越大，這個模型的馬爾可夫性只有越來越弱。已經不再具備馬爾可夫模型其最大的優點：一個簡單假設所帶來的簡潔性。n階的模型有其發揮的場景，但總體的應用較少。
6、關於馬爾可夫隨機場（Markov Random Field，MRF）
一組有次序或者說相關的隨機變量（昨天，今天，明天），他們樣本空間（晴天，下雨，颳風）相同，那麼這些隨機變量就構成了隨機場。從隨機場概念的角度，馬爾可夫過程就是具有馬爾可夫性的隨機場，稱為馬爾可夫隨機場。從這個角度做研究的時候，一般會和其它各種隨機場模型做對比。
7、關於完全獨立序列
一種極端的情況是：序列數據是完全獨立的，一個時間序列就這麼變成了一個隨機抽樣的集合（比如我們重複扔一個骰子所獲得的點數序列）。我們驚奇地發現，這也部分符合馬爾可夫模型的定義。不過下一個狀態不僅不取決於歷史，也不取決於當前狀態了，真是徹底的無記憶性。這種情況下再來描述，那狀態轉移矩陣P的每一行都會變得一樣，這個鏈從它開始走的第一步起，它就是平穩的，這個獨立抽樣的分布，就是它的平穩分布，真的是十分簡單了。
六、總結
馬爾可夫過程的特點在於無記憶性：下一個狀態只取決於當前的狀態，而不取決於歷史。或者說，當前狀態包含預測未來所需的所有信息。
當我們假設模型的無記憶性時，這個假設被稱為馬爾科夫假設。除了序列確實具有這種性質的情況外，往往也可以應用於近似的情況，只因此假設雖然導致部分信息都丟失，卻可以大大地簡化模型的複雜度（就如同樸素貝葉斯算法中的獨立性假設）。因此馬爾科夫假設的思想在很多時間序列模型中得到廣泛的應用，比如循環神經網絡（RNN），它的記憶原理中，有馬爾可夫模型的影子。相對地，長短期記憶神經網絡（LSTM）則很像一個更有思維的n階馬爾可夫模型，它可以回憶起一些遙遠的歷史，這都是後話了。
馬爾可夫模型被廣泛應用。從股票價格到染色體上基因位點，從液體布朗運動到傳染病感染人數，再到自然語言處理（樸素貝葉斯、循環神經網絡都是此領域的利器，這不是巧合），都可視為馬爾可夫過程。馬爾可夫模型的魯棒性是其廣泛被採用的關鍵因素。
參考資料
1.Perron–Frobenius定理:當n趨向於無窮時矩陣Mn的性質,矩陣的冪的極限性質_phymath888AI_新浪博客
2.https://www.cnblogs.com/pinard/p/6632399.html
3.第5章_馬爾可夫鏈.ppt
4.https://www.zhihu.com/question/60437632
5.https://www.cnblogs.com/chaofn/p/9425218.html
6.https://www.bilibili.com/video/BV1xb411M7sn?p=16
為什麼不為看到這的小夥伴再多發一張呢
感謝小夥伴們的閱讀，歡迎轉發或點擊「在看」支持我們，轉載註明出處即可，長按二維碼關注，你的鼓勵就是我們最大的動力