今天是霧霾,明天是什麼?馬爾可夫鏈告訴你

2020-12-05 機器之心Pro

什麼是馬爾可夫鏈?什麼時候應該使用它們?它們是如何運作的?

馬爾可夫鏈是一個相當常見、相當簡單的對隨機過程進行統計建模的方式。它們被應用在很多領域,從文本生成到金融建模。一個比較流行的例子是 SubredditSimulator,它使用馬爾可夫鏈自動創建整個 subreddit 的內容。總之,馬爾可夫鏈在概念上是非常直觀,並且易於理解的,不使用任何高級的統計或者數學概念就可以實現。馬爾可夫鏈是入門概率建模和數據科學技術的很好的開端。

簡介

首先,我們用一個很常見的例子來描述它們:

試想有兩種可能的天氣狀態:晴天或者陰天。你總是可以直接地觀察當前的天氣狀態,而且保證是之前提及的兩者之一。現在,你決定預測明天的天氣。假設在這個過程中有一個潛在的轉移,因為當前的天氣會對第二天的天氣狀態有所影響。因此,作為一個敬業的人,你收集了幾年的天氣數據,然後計算得到陰天之後出現晴天的概率是 0.25。你還注意到,廣泛地講,陰天之後發生陰天的概率是 0.75,因為只有兩種可能的天氣狀態。你現在可以利用這個分布,根據當地目前的天氣狀態去預測未來幾天的天氣。

這個例子描述了馬爾可夫鏈的很多關鍵概念。馬爾可夫鏈本質上是由一系列滿足馬爾可夫性質的轉移組成,這些轉換服從某種概率分布。

我們來觀察一下在這個例子中,如何僅僅通過觀察從當天到第二天的轉換就得到概率分布。這其實說的就是馬爾可夫性,即馬爾可夫過程獨有的讓狀態轉移沒有記憶的性質。這通常使它們無法成功地生成會出現某些期望潛在趨勢的序列。例如,馬爾可夫鏈可能根據詞頻來模仿一個作者的寫作風格,但是它無法生成包含深層含義的文本或者蘊含某種主題意義的文本,因為這些文本都是基於更長的文本序列開發的。因此,它們缺乏生成語境相關內容的能力,因為它們無法考慮到之前的整條狀態鏈。

天氣預測例子的可視化

模型

形式上,馬爾可夫鏈是一個概率自動機。狀態轉移的概率分布通常表示為馬爾可夫鏈的轉移矩陣。如果馬爾可夫鏈有 N 個可能的狀態,那麼這個轉移矩陣就是 N*x*N 的矩陣,使得元素 (I, J) 代表從狀態 I 轉移到狀態 J 的概率。此外,狀態轉移矩陣必須是隨機矩陣,它的每一行元素之和必須是 1。這完全是能夠講得通的,因為每一行代表它自己的概率分布。

馬爾可夫鏈的一般視圖,圓圈代表狀態,邊代表轉移。

具有三個可能狀態的狀態轉移矩陣。

此外,馬爾可夫鏈也會有一個初始狀態向量,由一個 N x 1 的向量表示,用這個向量來描述從 N 個狀態中的某個狀態開始的概率分布。初始向量中的元素 I 代表該馬爾可夫鏈從 I 狀態開始的概率。

具有四個可能狀態的初始向量。

這兩個實體通常就是用來描述一個馬爾可夫鏈所需的全部內容了。

我們知道如何獲得從一個狀態轉移到另一個狀態的可能性,但是如何知道經過多個步驟後發生轉移的概率呢?為了將這個也形式化,我們現在要定義在 M 個步驟中從狀態 I 轉移到狀態 J 的概率。事實證明,這是很容易的。給定一個狀態轉移矩陣 P,這可以通過計算矩陣 P 的 M 次冪中的元素 (I, J) 來決定。然而,對於 M 值比較大的情況,如果您對簡單的線性代數比較熟悉,更有效的方法是先將矩陣對角化,然後再計算它的 M 次冪。

結論

既然你已經了解了馬爾可夫鏈的基本知識,現在就應該能夠用你選擇的語言輕鬆地實現它們。如果你不擅長編程,還有許多更高級的馬爾可夫鏈和馬爾可夫過程的屬性可以深入研究。在我看來,馬爾可夫鏈沿著理論路線的自然發展將是隱馬爾可夫過程或 MCMC(馬爾可夫鏈蒙特卡羅)。簡單的馬爾可夫鏈是其他更複雜的建模技術的基本組成,因此,掌握了這些知識,你現在可以去嘗試更多這種主題的技術,例如信念建模和採樣。

相關焦點

  • 原小點科普·從隨機過程到馬爾可夫鏈
    比如說,考慮明天北京下雨或天晴的可能性,不一定是與拋硬幣那樣各一半的機率,並且一般來說還與北京今天、昨天、前天……或者好多天之前的氣候狀況有關。這些連線表示從今天的天氣狀態,如何預測明天的天氣狀態。   比如說,從圖3-1-1a中的狀態「雨」出發有兩條連線:結束於狀態「晴」的右邊那一條標上了「0.6」,意思是說:「今天雨明天晴的概率是60%」;左邊曲線繞了一圈又返回「雨」,標識0.4,即「明天繼續下雨的概率是40%」。
  • 一文讀懂:什麼是馬爾可夫鏈?可以做什麼? - 讀芯術
    從理論角度來看,有趣的是,PageRank算法的一個常見解釋依賴於簡單但基本的馬爾可夫鏈數學概念。我們將在本文中看到,馬爾可夫鏈是隨機建模的強大工具,對任何數據科學家都有用。更特別的是,我們將回答一些基本的問題,例如:什麼是馬爾可夫鏈,它們有什麼好的性質,以及可以用它們做什麼?
  • 形象透徹理解馬爾可夫鏈
    我們將在本文中看到馬爾可夫鏈是用於隨機建模的強大工具,它對任何數據科學家都是有用的。什麼是馬爾可夫鏈?隨機變量和隨機過程首先,在非數學術語中,隨機變量X是一個變量,其值被定義為隨機現象的結果。對於每一天,有3種可能的狀態:讀者今天不訪問某網站,讀者訪問該網站但沒有閱讀完整帖子(V),和讀者訪問並閱讀至少一篇完整帖子(R)。所以,我們有以下狀態空間假設在第一天,該讀者有50%的機會訪問,有50%的機會訪問並閱讀至少一篇文章。
  • 今天下雪又揚沙,明天天氣怎麼樣,戳這裡告訴你答案
    今天下雪又揚沙,明天天氣怎麼樣,戳這裡告訴你答案 > 今天是真冷啊 今天出門都有點恍惚 這還是上周穿單件衣服的瀋陽嗎?
  • 簡潔清晰解釋馬爾可夫鏈蒙特卡洛方法
    本文,讓你達到中級水平。讓我們從初級水平開始。什麼是MCMC?要回答這個問題,我們首先需要重新審視貝葉斯統計。貝葉斯統計建立在這樣一種觀點的基礎上,即事物發生的概率受先驗概率假設和事件發生的可能性的影響,如數據所示。
  • 用Python入門不明覺厲的馬爾可夫鏈蒙特卡羅(附案例代碼)
    創建這個模型,我們通過數據和馬爾可夫鏈蒙特卡洛去尋找最優的alpha和beta係數估計。一個馬爾可夫鏈是「健忘」的,因為如何到達當前狀態並不要緊,只有當前的狀態值是關鍵。如果這有些難以理解的話,讓我們來設想一個每天都會經歷的情景--天氣。如果我們希望預測明天的天氣,那麼僅僅使用今天的天氣狀況我們就能夠得到一個較為合理的預測。
  • 無需數學知識:快速了解馬爾可夫鏈蒙特卡洛方法
    那麼,馬爾可夫鏈蒙特卡洛方法(Markov chain Monte Carlo,簡稱MCMC)究竟是什麼?簡而言之:MCMC.方法用於通過在概率空間中進行隨機採樣以近似地得出某一感興趣參數的後驗分布。配合先驗概率,後驗分布能夠告訴我們哪些參數值能夠最大程度提升我們觀察到特定數據的概率。在我們的示例中,得出的後驗分布結果如下所示:如上圖所示,紅色曲線表示後驗分布。大家可以將其視為一種先驗與可能性的分布平均值。由於先驗分布較短且更為分散,因此其代表著一種關於平均人體身高真實值的「不太確定」的預判。
  • 鮮為人知ISO 13849數學基石:馬爾可夫鏈
    馬爾可夫鏈:「時間、狀態都是離散的馬爾可夫過程。」對於我們熟知的安全標準EN ISO 13849-1,馬爾可夫鏈模型是用於評估元件失效概率、系統可靠性、安全有效性的數學理論基礎。馬爾可夫鏈簡單實例我們假設有一個剛剛出生的寶寶,除了睡就是哭。那麼「睡」和「哭」就形成了最簡單的狀態空間。
  • 如果你明天在東莞被查車,別怪我今天沒告訴你這個消息!
    (原標題:如果你明天在東莞被查車,別怪我今天沒告訴你這個消息!) 如果你明天被查車了, 別怪我今天沒提醒你哦!
  • 北京霧霾成因 北京霧霾的源頭是什麼
    北京霧霾成因 北京霧霾的源頭是什麼  導語:霧霾什麼時節都會有,尤其冬春季節特別多,而北京是出了名的霧霾最嚴重的城市。每次一旦霧霾來襲,北京一定在其襲擊範圍內。那麼,為什麼北京霧霾那麼嚴重呢?北京霧霾是怎麼造成的?今天我們就來深入了解一下北京霧霾的形成原因。
  • 霧霾是什麼?霧霾是什麼引起的?
    霧霾是什麼?  霧霾,是霧和霾的組合詞。霧霾常見於城市。中國不少地區將霧併入霾一起作為災害性天氣現象進行預警預報,統稱為「霧霾天氣」。  霧霾是特定氣候條件與人類活動相互作用的結果。高密度人口的經濟及社會活動必然會排放大量細顆粒物(PM 2.5),一旦排放超過大氣循環能力和承載度,細顆粒物濃度將持續積聚,此時如果受靜穩天氣等影響,極易出現大範圍的霧霾。  2013年,「霧霾」成為年度關鍵詞。這一年的1月,4次霧霾過程籠罩30個省(區、市),在北京,僅有5天不是霧霾天。
  • 霧霾是怎麼形成的原因竟是這樣 造成霧霾的原因有哪些危害
    11月4日早上8時,中央氣象臺發布每日天氣提示,稱今天白天到明天上午,本輪霧和霾天氣將進入最強時段,中央氣象臺已將預警等級提升至橙色,同時發布霾和大霧橙色預警。為什麼霧霾遲遲散不去?為什麼偏偏就在我這個城市?   那麼霧霾到底是什麼引起的呢?   關於霧霾是怎麼來的,有關方面和專家竟莫衷一是。   以北京等地近期的重度霧霾為例,環保部門專家認為與採暖燃煤排放二氧化硫等汙染物密切相關。住建部門有關官員則認為,其主要原因是汽車尾氣,不是供暖。
  • 今天,孫文斌被執行死刑,明天清明祭掃可以告訴楊文醫生了
    這次死刑由北京市第三中級人民法院依照最高人民法院下達的執行死刑命令,於今天上午執行完畢。這一惡性殺醫案的審判經歷了一審訴訟、二審訴訟,直到今日兇手被執行死刑,一共花了三個多月的時間。這是法律公正審判的結果,法律在充分保障孫文斌各項基本權利的基礎之上,給受害者、受害者家屬以及社會大眾給了一個交代,實現了法律維護公民權利的公平與正義。
  • 霧霾是大氣汙染?看《黃帝內經》告訴我們霧霾是如何形成的
    印度霧霾上了世界頭條,據說在首都新德裡待一天相當於抽近三包煙。媒體說當地農民焚燒秸稈加劇了霧霾,說的不錯,問題是,大氣本來應該是清氣上升濁氣下降,天清地濁,為什麼現在那些形成濁氣中汙染顆粒不下降了?幾千年前神仙就已經告訴了我們的祖先,《黃帝內經》裡講:天氣,清淨光明者也,【地氣】藏德(濁氣下降)不止,故不下也(霧霾顆粒不懸浮在空中)。天明(汙染)則日月不明,邪害空竅,陽氣者閉塞,地氣者冒明(形成霧霾),雲霧不精,則上應白露不下,交通不表,萬物命故不施,不施則名木多死。惡氣不發,風雨不節,白露不下,則菀稿不榮。
  • 霧霾藍是什麼顏色圖片 霧霾藍怎麼搭配
    霧霾藍是什麼顏色圖片 霧霾藍怎麼搭配 2018-11-19 11:29:56 來源:全球紡織網 霧霾藍是什麼顏色圖片?霧霾藍怎麼搭配?
  • 明天的日全食是在告訴你,「應該和最愛的人在一起」
    還是人不行」 這句話對有些人來說確實很正確,因為他們什麼都不缺。沒有煩惱,沒有壓力。 但大部分人應該都不會是這樣吧,他們有房貸,有車款,有小孩,有長輩。 如果他們失去現在崗位的話,那就無異在暴風雨中拿掉了人家的雨傘。 除了冷,還是冷,無止境的冷。
  • 什麼是霧霾 霧霾對人體有什麼危害
    霧霾,是霧和霾的組合詞。霧霾常見於城市。中國不少地區將霧併入霾一起作為災害性天氣現象進行預警預報,統稱為「霧霾天氣」。  霧霾是特定氣候條件與人類活動相互作用的結果。使用汽油的小型車雖然排放的是氣態汙染物,比如氮氧化物等,但碰上霧天,也很容易轉化為二次顆粒汙染物,加重霧霾。  機動車的尾氣是霧霾顆粒組成的最主要的成分,最新的數據顯示,北京霧霾顆粒中機動車尾氣佔22.2%,燃煤佔16.7%,揚塵佔16.3%,工業佔15.7%。
  • 霧霾是什麼,霧霾的產生、危害和預防
    後來就聽說了一個新詞「霧霾」,柴靜也曾為此做過專門的報導,讓我對霧霾有了更深的認識。今天小編就從霧霾的基本概念、霧霾的產生、霧霾的危害和怎樣預防霧霾四個方面談一談對霧霾的了解。霧是一種自然現象,一般會出現在每天的早晨或晚上。霧是水汽預冷液化或者水汽達到飽和形成的。當空氣中存在大量的水汽時,在一定的條件下,水汽凝結成微小的水滴懸浮在空氣中,阻擋人的視線,讓人看不清遠處的東西。
  • 霧霾是什麼原因造成的 霧霾對人體的危害
    我們都知道,北京的霧霾很嚴重,也給人帶去了很多的負面影響,那麼什麼是霧霾呢?  什麼是霧霾?  霧霾,是霧和霾的組合詞,霧霾常見於城市,中國不少地區將霧併入霾一起作為災害性天氣現象進行預警預報,統稱為「霧霾天氣」,空氣中的灰塵、硫酸、硝酸等顆粒物組成的氣溶膠系統造成視覺障礙的叫霾,霾就是灰霾(煙霞)。
  • 華北黃淮大範圍霧霾消散在即
    預計未來三天,北京將以晴為主,今明天風力較大,今天有陣風六七級,外出需注意防風保暖。 >>詳細 >>北京天氣 >>大風能吹跑瘦子嗎?具體預報:今天白天晴,北風四五級,陣風六級左右,最高氣溫4℃;夜間晴間多雲,北風四級左右,最低氣溫零下3℃。圖為12月2日北京送走霧霾後迎來清新早晨。