全文共2450字，預計學習時長5分鐘
貝葉斯定理可能是數理統計與概率論領域最重要的定理。因此，該定理經常應用於數據科學領域。本文將通過實際問題對貝葉斯定理進行直觀推導。
簡介
以18世紀英國數學家託馬斯貝葉斯命名的貝葉斯定理是確定條件概率的數學公式，其在數據科學領域具有重要意義。例如，貝葉斯定理的眾多應用之一是統計推理的一種特殊方法---貝葉斯推理。
貝葉斯推理是在獲得更多證據或信息時運用貝葉斯定理對假設概率進行更新的一種方法。貝葉斯推理已在廣泛領域內得以應用，包括科學、工程、哲學、醫學、體育和法律。
例如，在金融領域，貝葉斯定理可用於評估向潛在借款人提供貸款的風險。在醫學領域，該定理可根據人們患病的可能性與測試的一般準確性來確定醫學測試結果的準確性。
現在讓我們看一些實際問題：
問題陳述
假設現有兩個碗，X與Y，碗裡都裝滿了橘子和藍莓，並且你很清楚每個碗裡有多少橘子和藍莓。若我問你，從X碗裡取出橘子的可能性是多少，那你能準確說出其概率。因為碗X裡橘子和藍莓共11個，其中3個是橘子，故取出橘子的概率是P（橘子）=3/11。
碗X和碗Y內都裝滿了橘子和藍莓。
相反案例：
現進行隨機抽取，取出的是一個藍莓，並且假設我們不知其來自碗X還是碗Y，你能說出藍莓是從哪個碗內取出的概率嗎？
該問題可用貝葉斯推理來解答。
貝葉斯定理推導
為推導出貝葉斯定理，我們將進行一個模擬實驗：擲骰子。當骰子的點數小於等於4時，從碗X內隨機取出一個物品，當點數大於等於5時，則從碗Y內隨機取出一個物品，重複進行300次（N=300）。簡單起見，將上述物品簡稱為：
Blueberry:=B, Orange:=O, Bowl X: =X, Bowl Y:= Y
當一枚均勻骰子連續擲300次（N=300）後，我們將得到關於從兩個碗裡取出的物品數量的統計結果。該實驗的假設結果如圖1所示。其中，s代表碗或取出的物品的「來源」，y是可觀察變量（藍莓或橘子）。
圖1：統計結果
該表顯示：
從碗X中取出藍莓的次數為148： n(s=X, y=B)=148從碗Y中取出藍莓的次數為26：n(s=Y, y=B)=26從碗X中取出橘子的次數為51： n(s=X, y=O)=51從碗Y中取出橘子的次數為75：n(s=Y, y=O)=75
根據這些統計數字，現提出一些有趣的問題：
從碗X中取出隨機物品的概率為多少？
為得出此概率，即P（s=X），我們須用僅從碗X中取出的物品數除以總物品數N=300。這裡，n(s=X, y=B)=148表示從碗X中取出的藍莓數量，n(s=X, y=O)=51 表示的是從碗X中取出的橘子數量。由此，我們得出從碗X中取出隨機物品的概率，如下：
公式1：從碗X中取出隨機物品的概率
注意：該概率被稱為「先驗概率」。在貝葉斯統計推理中，先驗概率是在數據收集前事件的概率。該案例中p(s=X)告訴我們的是從碗X中抽取隨機物品的概率，但該物品是橘子還是藍莓未知。
同樣，從碗Y中取出隨機物品的概率p(s=Y)為：
公式2：從碗Y中取出隨機物品的概率
取出橘子或藍莓的概率為多少？
這次我們想知道在不考慮特定碗的情況下取出橘子或藍莓的概率。該概率可分別表示為p(y=O)和p(y=B)。計算方法與前一案例類似。我們用取出特定物品的次數除以總抽取次數，由此得出的概率可用公式3和公式4表示。如下：
公式3：取出橘子的概率
公式4：取出藍莓的概率
從碗X中取出藍莓的概率為多少？
現在我們來計算聯合概率p(s=X, y=B)，其表示的是從碗X中取出藍莓的可能性。
注意：聯合概率是指事件1與事件2同時發生時的概率。在該案例中，事件1是「從碗X中進行隨機抽取」，而事件2是「取出的物品為藍莓」。
該聯合概率可用從碗X中取出藍莓的次數除以總抽取次數來計算，如下：
公式5：從碗X中取出藍莓的概率
同樣，從碗Y中取出藍莓的概率為：
公式6：從碗Y中取出藍莓的概率
另外，從碗X中取出橘子的概率為：
公式7：從碗Y中取出藍莓的概率
假定已對碗X進行隨機抽取，那麼取出的物品為藍莓的概率為多少？
現在問題變得有趣了。讓我們來計算第一個條件概率。在該案例中，可以確信的是我們從哪個碗中進行隨機抽取，例如，我們從碗X中抽取。基於此，我們可以計算出從碗X中取出藍莓的概率。
該條件概率可用p(y=B| s=X)表示，其中s=X表示該條件為「從碗X中進行隨機抽取」。為計算出 p(y=B| s=X)，我們須用從碗X中取出藍莓的次數除以從碗X中取出的總物品數，如下：
公式8：給定條件為從碗X中隨機抽取時，取出藍莓的概率
乘積規則
現在讓我們來看看第一個重要統計規則。這裡我們用先前得出的從碗X中取出藍莓的概率 p(s=X, y=B)，然後通過分子分母同時乘以(n(s=X,y=B)+n(s=X, y=O))對該公式進行擴展，該擴展不會改變概率p(s=X, y=B)的值。
現在仔細觀察該公式，就會發現 p(s=X, y=B)的新的表達式是由先前得出的其他兩個概率p(y=B|s=X)和p(s=X)的乘積組成。
公式9：乘積規則
我們稱概率間的這種關係為乘積規則。該規則可通過條件概率p(y=B| s=X)和先驗概率p(s=X)來計算聯合概率p(s=X, y=B)。
求和定則
現在，讓我們重新看一下先驗概率p(s=X )，其表示從碗X中取出隨機物品的可能性。若將該公式分為兩個被加數的和，如公式10第二行所示，可觀察到被加數正是我們先前得出的兩個聯合概率。
公式10：求和規則
我們稱此關係為求和規則。該規則可通過聯合概率的相加計算出先驗概率 p(X)的值。該聯合概率包含先驗概率中的隨機變量 p(X）和任何其他隨機變量y。
貝葉斯規則
在乘積規則中，聯合概率中的隨機變量的順序無關緊要。因此 p(s,y)和p(y,s)的值相等。
公式11
如果讓 p(s, y)和 p(y, s)的值相等，並進行重組，我們將得出p(s|y）的一個新的數學表達式。該表達式就是貝葉斯規則。
公式12：貝葉斯定理/法則
最後：藍莓是從哪個碗裡取出的？
貝葉斯定理為我們提供了條件概率 p(s|y)的計算公式，這正是我們最初問題的答案。
我們可用條件y=B來表示已取出藍莓這一事實。為解答藍莓從哪個碗裡取出這一問題，須計算出 s=X和s=Y時各自的概率 p(s|y=B)的值。得出的這兩個值能告訴我們從碗X或碗Y的取出藍莓的可能性。
現在讓我們來計算s=X時的值。幸運的是，我們需要的概率都已在前述部分計算得出。若將這些概率的值代入公式13 p(s=X|y=B)中，我們將得出以下結論：在已取出藍莓的條件下，從碗X中取出該藍莓的概率大約為86%。該計算方法與其他案例類似，如下：
公式13：貝葉斯定理
若沒有貝葉斯定理，計算出概率 p(s|y)將會非常困難。不過，貝葉斯定理讓我們通過更容易計算出的概率對此概率進行計算。貝葉斯定理的神奇之處就在於：用容易計算出的概率來表示難以計算的概率。