出自笑對人生，傲立寰宇 的博客。
原文地址：https://dahuasky.wordpress.com/2008/09/23/%E6%A6%82%E7%8E%87%E6%BC%AB%E8%B0%88/
前一段時間，隨著研究課題的深入，逐步研習現代概率理論，這是一個令人耳目一新的世界。
概率論要解決的問題
概率論是很古老的數學分支了——探討的是不確定的問題，就是說，一件事情可能發生，也可能不發生。然後，我們要預計一下，它有多大機會會發生，這是概率論要解決的問題。這裡面要特別強調概率和統計的區別，事實上這個區別在很多文章裡面被混淆了。舉一個簡單的例子，比如拋硬幣。那麼我們可以做兩件事情：
1.我們預先知道拋硬幣的過程是「平衡的」，也就是說出現正面的機會和出現背面的機會都是50%，那麼，這就是我們的概率模型——這個簡單的模型有個名字——伯努利試驗(Bernoulli trial)。然後，我們可以預測，如果我們拋10000次硬幣，那么正面和背面出現的次數大概各在5000次左右。這種執因「測」果的問題是概率論要解決的，它在事情發生之前進行。
2.我們預先不知道拋硬幣的過程遵循什麼法則。於是，我們先去做個實驗，拋10000次硬幣，數一下正面和反面各出現了多少次。如果各出現了5000次，那麼我們可以有很高的信心去認為，這是一個「平衡的」硬幣。如果正面出現9000次，反面出現1000次，那麼我們就可以基本認為這個硬幣遵循一個嚴重偏向正面的非平衡法則——正面出現的概率是10%。這種執果溯因的事情是統計要解決的，它在事情發生之後進行，根據觀察到的情況歸納背後的模型(Model)或者法則(Law)。
這篇文章只討論概率論的問題。
經典概率的困難
什麼是概率呢？長期以來，一個傳統而直到今天還被廣泛運用的概念是：概率就是一個事情發生的機會——這就是經典概率論的出發點和基礎。大部門的初等概率論教科書，給出一個貌似頗為嚴謹的定義：我們有一個樣本空間(sample space)，然後這個樣本空間中任何一個子集叫做事件(event)，我們給每個事件A賦一個非負實數P(A)。如果P(A)滿足
那麼我們就稱P為概率。這個定義，以及由此而演繹出來的整個經典概率體系，廣為接受並被成功用在無數的地方。
但是，這樣的定義藏著一個隱蔽很深的漏洞——使得從這個定義出發能在數學上嚴格導出互相矛盾的結果。假設樣本空間是S=[0, 1]，裡面的實數依循均勻分布，我們構造這樣一個集合。首先，建立一個等價關係：相差值是有理數的實數是等價的。依據這個等價關係，把0到1之間的實數劃分為等價類，這樣我們有無數個等價類。從每個等價類中隨便抽出一個實數作為代表，這些代表構成一個集合，記為H。（注意：我們有不可數無限個等價類，因此這個集合的存在依賴於選擇公理(Axiom of Choice))
那麼P(H) 是什麼呢？如果P(H)等於零，那麼P(S) = 0；如果P(H) > 0，那麼P(S) = 無窮大。無論如何，都和P(S) = 1的要求矛盾。這下麻煩大了，我們一直依賴的概率定義竟然是自相矛盾的！
也許，從數學家的眼光看來，這個問題很嚴重。但是，這對於我們有什麼意義呢。我們一輩子都用不著這種只存在於數學思辨中的特殊構造的集合！不過，即使我們從實用出發不顧及這類邏輯漏洞，傳統概率論還是會給我們帶來一定程度的麻煩。
一個問題，可能大家都有所感覺。那就是，我們在本科學習的概率論中有著兩套系統：離散分布和連續分布，基本什麼定理都得提供這兩種形式，但是它們的推導過程似乎沒什麼太大差別，一個用求和一個用積分而已。幾乎一樣的事情，為什麼要幹兩遍呢。
還有，那種離散和連續混合的分布又怎麼處理呢？這種「離散連續混合的分布」不僅僅是一種理論可能，在實際上它的應用也在不斷增長。一個重要的例子就是狄裡克萊過程(Dirichlet Process)——它是learning中的無限混合模型的核心——這種模型用於解決傳統有限混合模型中(比如GMM)子模型個數不確定的難題。這種過程，在開始時(t = 0)通常是連續分布， 隨著時間演化，在t > 0時變成連續和離散混合分布，而且離散部分比例不斷加重，最後（幾乎必然）收斂到一個離散分布。這種模型用傳統的連續和離散分離的處理方式就顯得很不方便了。
事實上，我們是可以把對連續模型，離散模型，以及各種既不連續也不離散的模型，使用一種統一的表達。這就是現代概率論採取的方式。
現代概率論——從測度開始
現代概率論是前蘇聯大數學家Kolmogorov在上世紀30年代基於測度理論(Measure theory)的基礎上重新建立的，它是一個非常嚴密的公理化體系。什麼是測度呢？說白了，就是一個東西的大小。測度是非負的，而且符合可數可加性，比如幾塊不相交的區域的總面積，等於各自面積之和。這個屬性和概率的屬性如出一轍。測度理論自從勒貝格(Lebesgue)那個時候開始，已經建立了一套嚴格的數學體系。因此，現代概率論不需要把前輩的路子重新走一遍。基於測度論，概率的定義可以直接給出：
概率就是總測度（整個樣本空間的測度）為1的測度。
測度理論和經典概率論有個很大的不同，不是什麼集合都有一個測度的。比如前面構造的那個奇怪的集合，它就沒有測度。所以，根據測度理論，樣本空間中的集合分成兩種：可測的(measurable)和不可測的。我們只對可測集賦予測度或者概率。特別留意，測度為零的集合也是可測的，叫做零測集。所謂不可測集，就是那種測度既不是零，也不是非零，就是什麼都不能是的集合。
因此，根據測度理論，我們描述一個概率空間，需要三個要素：一個樣本空間，所有可測集（它們構成sigma-代數：可測集的交集，併集和補集都是可測的)，還有就是一個概率函數，給每個可測集賦一個概率。
通過引入可測性的概念，那種給我們帶來麻煩的集合被排除在外了。不過，可測性的用處遠不僅僅是用於對付那些「麻煩集合」。它還表達了一個概率空間能傳達什麼樣的信息。這裡暫時不深入這個問題，以後要有機會寫到條件概率(conditional probability)和鞅論(Martingale theory)時，再去討論這個事情。這裡只是強調一下（雖然有點空口說白話），可測性是討論隨機過程和隨機分析的非常重要的概念，在實際計算和推導中也非常有用。
我們看到，這套理論首先通過可測性解決了邏輯上的漏洞。那怎麼它又是怎麼統一連續和離散的表達的呢？這裡面，測度理論提供了一個重要的工具——勒貝格積分(Lebesgue Integral)。噢，原來是積分，那不也是關於連續的麼。不過，這裡的勒貝格積分和在大學微積分課裡面學的傳統的積分（也叫黎曼積分）不太一樣，它對離散和連續通吃，還能處理既不離散又不連續，或者處處有定義而又處處不連續的各種各樣的東西）。
舉一個簡單例子，比如定義在[0, 1]的函數，它在[0, 0.5)取值為1，在[0.5, 1]取值為2。這是一個簡單的階梯函數，期望是1.5。按照傳統的黎曼積分求期望，就是把定義域[0, 1]分成很多小段，然後把每小段加起來。勒貝格積分反其道而行之，它不分定義域，而是去分值域，然後看看每個值對應的那塊的面積（測度）是多大。這個函數取值只有兩個：1和2。那麼值為1那塊的面積為0.5， 值為2的那塊的面積也是0.5，積分就是以這些值為係數，把對應的面積加起來：0.5 x 1 + 0.5 x 2 = 1.5。
上面是連續的情況，離散的呢？假設我們在一個離散集[0, 1, 2]上定義一個概率，P(0) = 0.5, P(1) = P(2) = 0.25。對一個函數f(x) = x，求均值。那麼，我們看到，值為0, 1, 2對應的測度分別是0.5, 0.25, 0.25，那麼我們按照「面積加權法」可以求出：0 x 0.5 + 1 x 0.25 + 2 x 0.25 = 0.75。
對於取值範圍連續的情況，它通過取值有限的階梯函數逼近，求取上極限來獲得積分值。
總體來說，勒貝格積分的idea很簡單：劃分值域，面積加權。不過卻有效解決了連續離散的表達的統一問題。大家如果去翻翻基於測度理論建立起來的現代概率論的書，就會看到：所謂「離散分布」和「連續分布」的劃分已經退出歷史舞臺，所有定理都只有一個版本——按照勒貝格積分形式給出的版本。對於傳統的離散和連續分布的區別，就是歸結為它們的測度函數的具體定義不同的區別。
那我們原來學的關於離散分布的點概率函數，或者連續分布的概率密度函數，也被統一了——積分的反操作就是求導，所以那兩個函數都叫成了測度積分的「導數」，有一個名字Radon-Nikodym Derivative。它們的區別歸結為原測度的具體不同，點概率函數是概率測度相對於計數測度的導數，而概率密度函數則是概率測度相對于勒貝格測度的導數。
我們看到，現代概率論建立了測度概念和概率概念的聯繫：
誰是基礎？概率 vs. 期望
從上面的介紹看來，似乎概率（測度）是一個更基本的概念，而期望（積分）是從那引申出來的概念。實事上，整個過程可以反過來，我們可以把期望作為基本概念，演繹出概率的概念。整個概率論，也由此基於期望而展開——其實，如果不是歷史慣性，整套理論叫做「期望論」也挺合適的，呵呵。關於這個事情，以後有機會，再做一個更詳細的探討。這裡，由於篇幅原因，只提出兩個關鍵點：
有了這麼三條，我們可以拋開概率，先定義「期望」這個概念：定義在可測集合上的單調線性實函數。然後，再把指示函數的期望定義成概率。那麼，期望就變成了一個更為基本的概念。
事實上，某些新出來的現代概率論的教科書已經處理得更為簡潔：直接把「期望」和「概率」看成同一個概念——同時，把幾個集合的指示函數和那個集合本身看成一回事。相比於把期望和概率分成兩個不同的東西來處理，很多事情的描述和演繹變得非常簡潔，而又不損失任何嚴密性（預先給出期望和概率的一致性的一個嚴格證明，大概思路是上面三點，不過數學上有一些處理）。由於，把期望視為線性函數，因此對於某個隨機變量的期望就變成了有點類似於隨機變量和測度的一種類似於「內積」的雙線性運算結構。很多本來複雜的概率推演就轉化為線性代數演算——不但使得演繹更為方便簡潔，而且有助於對於結果的代數特性的更深刻的理解。
總而言之，從經典概率論到現代概率論，發生了兩個非常重要的變化：
1.測度的引入——解決了基礎邏輯的難題，統一了離散分布和連續分布。
2.期望的基礎地位——一定程度上消弭了概率和期望的區別，同時把很多概率問題「代數化」。
交流分享、謝謝支持！
<如果你覺得本文還不錯，對你的學習帶來了些許幫助，請幫忙掃描二維碼，支持本公眾號的運營>