形象理解貝葉斯定理

2021-01-11 AI火箭營

理解概率概念對於機器學習工程師或數據科學專業人員來說是必須的。許多數據科學挑戰性問題的解決方案本質上是從概率視角解決的。因此，更好地理解概率將有助於更有效地理解和實現這些算法。

每當你閱讀任何概率書、博客或論文時，大多數時候你會發現這些書中的講解太過理論化。據研究，65％的人是視覺學習者。以圖形方式理解定理和證明是一種可視化信息和數據的有效方式，而且不僅以可視方式呈現數據已被證明長期有效。因此，本文以可視方式透徹展示、講解概率概念。

本文安排如下：

1. 什麼是條件概率？2. 總概率定律3. 貝葉斯定理4. 貝葉斯定理的應用什麼是條件概率？

根據維基百科， 條件概率是一個事件概率依賴於另一個事件（已然發生）的度量，假設（通過假設、推定、斷言或證據）另一個事件發生的概率，表示為P（A / B）。

現在讓我們嘗試通過一種新的方法在視覺上解釋它。

條件概率圖

讓我們假設我們在START的時間線內開始觀察。P（A）表示在我們開始觀察時間線之後發生事件A的概率。在A之後還有可能發生另一個事件B，並且其機率由P（B | A）表示。

由於兩個事件都是連續發生的，所以整個時間線出現的概率（即A和B都發生，B發生在A之後）是

P（A）·P（B | A）

由於我們正在考慮A和B都發生的概率，它也可以解釋為P（A∩B）

交叉規則（A∩B）

P（A∩B）= P（A）·P（B | A）

這裡P（B | A）被稱為條件概率，因此可以簡化為

P（B | A）= P（A∩B）/ P（A），假設P（A）≠0

請注意，上述情況的前提是，事件序列發生且彼此相互依賴。也有可能A不影響B，如果是，則這些事件彼此獨立並稱為獨立事件。

獨立事件

在獨立事件的情況下，A發生的機率不會影響B發生的機率。

P（B | A）= P（B）

總概率定律

總概率定律將計算分為不同的部分。它用於計算事件的概率，該事件與前一事件之前發生的兩個或多個事件相關。

太抽象了？讓我們嘗試一種視覺方法

總概率圖

設B是可以在任何" n"個事件（A1，A2，A3，...... ...... An）之後發生的事件。如上所定義P（Ai∩B）= P（Ai）P（B | Ai）i∈[1，n]

事件A1，A2，A3，...... A是相互排斥的，不能同時發生，我們可以通過A1或A2或A3或......或An到達B. 因此，用和的表達如下：

P（B）= P（A1∩B）+ P（A2∩B）+ P（A3∩B）+ ...... + P（An∩B）

進而：

P（B）= P（A1）·P（B | A1）+ P（A2）·P（B | A2）+ ...... + P（An）·P（B | An）

上述表達式稱為總概率規則或總概率定律。

貝葉斯定理

貝葉斯定理是一種基於某些概率的先驗知識來預測起源或來源的方法

我們已經知道P（B | A）= P（A∩B）/ P（A），假設兩個相關事件的P（A）≠0。有沒有想過P（A | B）=？，從語義上說它沒有任何意義，因為B發生在A之後，時間線無法逆轉（即我們不能從B向上行進到START）

數學上我們根據條件概率知道

P（A | B）= P（B∩A）/ P（B），假設P（B）≠0

P（A | B）= P（A∩B）/ P（B），P（A∩B）= P（B∩A）

我們知道

P（A∩B）= P（B | A）·P（A）

代入：

P（A | B）= P（B | A）·P（A）/ P（B）

這是貝葉斯定理的最簡單形式。

現在，假設B依賴於它之前發生的多個事件。將Total Probability Rule應用於上面的表達式，我們得到

P（Ai | B）= P（B | Ai）·P（Ai）/（P（A1）·P（B | A1）+ ...... + P（An）·P（B | An））

這是我們通常在各種實際應用中使用的貝葉斯定理的形式。

貝葉斯定理的應用

由於其預測性，我們使用貝葉斯定理推導出樸素貝葉斯，這是一種流行的機器學習分類器

如上所述，貝葉斯定理基於可能與事件相關的因素的先驗知識來定義事件的概率。

現在，基本上對於數據點xi，我們必須預測當前輸出Y所屬的類。假設輸出的總類數為'j'。然後， P（y = c1 | x = xi） - - >告訴我們，對於給定的輸入xi，y是c1的概率是多少。 P（y = c2 | x = xi） - - >告訴我們，對於給定的輸入xi，y是c2的概率是多少。

在所有這些概率計算中，y屬於具有最大概率的特定類。

我們將使用貝葉斯定理進行這些概率計算。

這給出了輸出屬於數據點（xi）的當前值的第j類的概率。 因為對於所有類1,2，...，j，分母將具有相同的值，所以我們可以在進行比較時忽略它。因此，我們獲得了計算概率的公式。

為什麼它被稱為樸素？？

我們之所以稱之為樸素，是因為我們做了一個簡單的假設，即類中特定特徵的存在與任何其他特徵的存在無關，這意味著每個特徵彼此獨立。

概率P（y = cj）的估計可以直接從訓練數據點的數量來計算。 假設有100個訓練點和3個輸出類，10個屬於c1類，40個屬於C2類，其餘50個屬於C3類。 類概率的估計值將是：

P（y = C1）= 10/100 = 0.1

P（y = C2）= 40/100 = 0.4

P（y = C3）= 50/100 = 0.5

為了對P（x = xi | y = cj）進行概率估計，樸素貝葉斯分類算法假設所有特徵都是獨立的。因此，我們可以通過單獨乘以為所有這些特徵獲得的概率（假設特徵是獨立的）來計算這個，用於第j類的輸出。

P（x = xi | y = cj）= P（x = xi（1）| y = cj）P（x = xi（2）| y = cj）.... P（X = XI（N）| Y = CJ）

這裡，xi（1）表示第i個數據點的第1特徵的值，x = xi（n）表示第i個數據點的第n個特徵的值。

在接受了樸素假設之後，我們可以很容易地計算出單個特徵概率，然後通過簡單地乘以結果來計算最終概率P'。

使用上面的公式，我們可以計算輸出y對於給定的第i個數據點屬於第j個類的概率。

這是貝葉斯定理在實際應用中的主要應用。

相關焦點

  • 懂貝葉斯定理,學會理解生活
    我們在理解生活中一些問題時，經常會忘記一些事情的先決條件。除此之外，在更多的情況下，我們甚至根本不知道這些先決條件（信息），這不光會影響我們對事物的理解，還會影響我們做出任何決定。此時，你一定在想有沒有什麼方法，能讓我們更好地「摸著石頭過河」？沒錯，答案就是題目中的貝葉斯定理。高中的讀者在概率的部分應該會學習到它。
  • 貝葉斯定理的通俗理解
    樸素貝葉斯是一種基於貝葉斯定理的簡單概率分類器（分類又被稱為監督式學習，所謂監督式學習即從已知樣本數據中的特徵信息去推測可能出現的輸出以完成分類
  • 貝葉斯定理
    此前有業內人士將期貨交易比喻為「賭博」，而貝葉斯定理或許是個提高獲勝率的好辦法。【貝葉斯定理】貝葉斯定理也稱貝葉斯公式，是關於隨機事件A和B的條件概率或邊緣概率的一則定理，指當分析樣本大到接近總體數時，樣本中事件發生的概率將接近於總體中事件發生的概率。
  • 透徹理解貝葉斯推理
    前邊在文章透徹理解最大似然估計，闡述如何理解最大似然進行參數估計，本文將討論使用貝葉斯推理進行參數估計。我還將展示如何將此方法視為最大似然的概括，以及在何種情況下這兩種方法是等價的。貝葉斯定理在介紹貝葉斯推理之前，有必要理解貝葉斯定理。貝葉斯定理真的很酷。
  • 為什麼樸素貝葉斯定理會被叫做樸素的?
    樸素貝葉斯算法是一種基於著名貝葉斯定理的分類算法。那麼讓我們先了解一下Bayes定理是怎麼說的，並為樸素貝葉斯算法定理建立自己的理解，它是如何工作的，它為什麼被稱作樸素的？貝葉斯定理在深入研究貝葉斯定理之前，我們需要了解一些術語-獨立事件和從屬事件邊際概率聯合概率條件概率獨立事件和從屬事件考慮兩個事件A和B。
  • 30分鐘了解貝葉斯定理――AI產品經理了解的數學知識系列
    貝葉斯定理提供的是一種逆條件概率的方法，本文簡單總結了貝葉斯定理是什麼，貝葉斯定理應用的理解，以及貝葉斯定理在AI場景下的應用，目的是希望產品經理了解到這個定理的能力後，在設計相關推薦或是具有推理功能的應用場景，能通過貝葉斯定理來解決。
  • 貝葉斯定理：AI不只是個理科生
    從主觀猜測出發，這顯然不符合科學精神，所以貝葉斯定理為人詬病。1774年，法國的大數學家拉普拉斯也看到貝葉斯定理的價值。不過他知道人類的普遍毛病，總是用傳統來反對新思想。貝葉斯定理簡單優雅、深刻雋永。貝葉斯定理並不好懂，每一個因子背後都藏著深意。它到底是如何「為人民服務」的呢？對於貝葉斯定理，參照上面的公式，首先要了解各個概率所對應的事件。
  • 貝葉斯定理：AI 不只是個理科生 | 贈書
    從主觀猜測出發，這顯然不符合科學精神，所以貝葉斯定理為人詬病。1774年，法國的大數學家拉普拉斯也看到貝葉斯定理的價值。不過他知道人類的普遍毛病，總是用傳統來反對新思想。貝葉斯定理簡單優雅、深刻雋永。貝葉斯定理並不好懂，每一個因子背後都藏著深意。它到底是如何「為人民服務」的呢？對於貝葉斯定理，參照上面的公式，首先要了解各個概率所對應的事件。P（A|B）是在B發生的情況下A發生的概率；也叫作A的後驗概率，是在B事件發生之後，對A事件概率的重新評估。
  • 極具震撼力的貝葉斯定理,作為數據科學人的您咋能錯過?
    作者 | KHYATI MAHENDRU編譯 | CDA數據分析師An Introduction to the Powerful Bayes' Theorem for Data Science Professionals概述貝葉斯定理是統計學中最強大的概念之一，而貝葉斯定理也是數據科學專業人員必須知道的定理熟悉貝葉斯定理，其工作原理及其多種多樣的應用本文中有許多直觀的例子來理解貝葉斯定理背後的思想介紹
  • 基於貝葉斯定理的算法——樸素貝葉斯分類
    不過今天我們介紹的樸素貝葉斯分類器通過獨立假設簡化了概率的計算，節省了內存，可以很好地用於數據量大的情況。下面我們首先來了解這一算法的數理背景——貝葉斯定理。這一算法是由我們在概率論中學到的貝葉斯定理延伸出來的。我們知道貝葉斯公式為：其中，
  • 「貝葉斯定理」在生活中很有用,它到底是如何算出來的?
    學生即使學了貝葉斯定理，也只把它當作一個數學公式，不知道它對學習統計學有什麼幫助，更不知道它具備生活實用性。其次，貝式定理的數學表示式難以背誦；即使一時背了，也容易忘記。 如果沒有充分理解機率運算的定義和法則，實在難以理解此公式背後的邏輯。許多學生因此強記上述公式以準備考試，只求能解題而不求理解；公式反而成為學習貝葉斯定理的主要障礙。
  • 條件概率,全概率,貝葉斯公式理解
    貝葉斯理論和貝葉斯概率以託馬斯·貝葉斯（1702－1761）命名，他證明了現在稱為貝葉斯定理的一個特例。術語貝葉斯卻是在1950年左右開始使用，很難說貝葉斯本人是否會支持這個以他命名的概率非常廣義的解釋。拉普拉斯證明了貝葉斯定理的一個更普遍的版本，並將之用於解決天體力學、醫學統計中的問題，在有些情況下，甚至用於法理學。但是拉普拉斯並不認為該定理對於概率論很重要。
  • 這個例子讓你精通貝葉斯定理
    全文共2450字，預計學習時長5分鐘貝葉斯定理可能是數理統計與概率論領域最重要的定理。因此，該定理經常應用於數據科學領域。本文將通過實際問題對貝葉斯定理進行直觀推導。簡介以18世紀英國數學家託馬斯貝葉斯命名的貝葉斯定理是確定條件概率的數學公式，其在數據科學領域具有重要意義。
  • 可怕的貝葉斯定理,看完後忍不住感慨數學太重要了
    學多點知識你好我也好今天，超模君來講講貝葉斯定理。眾所周知，貝葉斯定理是一種在已知其他概率的情況下求概率的方法：圖片來源：HackYourself既然開講了，那就不要停下來了。那我們怎麼去理解這個傳說中不黃但很暴力的貝葉斯定理呢，貝葉斯定理是如何暴力狂虐數學界的？
  • 貝葉斯定理為何能名滿天下?AI從此不再只是個理科生
    從主觀猜測出發，這顯然不符合科學精神，所以貝葉斯定理為人詬病。 1774年，法國的大數學家拉普拉斯也看到貝葉斯定理的價值。 不過他知道人類的普遍毛病，總是用傳統來反對新思想。
  • 貝葉斯定理是怎麼幫助我們計算出檢驗系統的可靠性和客戶PPM的?
    貝葉斯定理也稱貝葉斯推理，早在18世紀，英國學者貝葉斯(1702~1763)本職是一個牧師，業務愛好數學，他想通過數學概率統計的方式來證明上帝是存在的。在這個過程中，他發明了貝葉斯定理。貝葉斯定理是用來計算，在已知（或已有初步經驗）某件事A發生的概率的情況，當事件B發生時，A實際發生的條件概率。
  • 貝葉斯定理還能用來把妹......
    貝葉斯定理
  • 貝葉斯定理:多一點人生經驗還是有用的
    總覺得哪裡不對可能很多人對貝葉斯定理這個名詞還很陌生，但是大家在生活中都會不自覺地用到它，只是很多時候，我們用反了。這些直覺思維都是遵從了貝葉斯定理。簡單來說，所謂貝葉斯定理，指的就是我們的經驗可以修正我們的理論，相信理論與事實的偏差，相信事出反常必有妖，這就是貝葉斯定理的通俗描述。你有病嗎貝葉斯定理在生活中也有正向的用途。再給大家舉個例子。想像這麼一個場景：我開著車，經過筆直的大道，快速的往下一個路口駛去。我知道，到了下一個路口就要右轉了。
  • 科普丨樸素貝葉斯了解一下
    要理解樸素貝葉斯，我們首先需要了解貝葉斯推斷。貝葉斯推斷是一種用貝葉斯定理來迭代假設概率的方法。貝葉斯定理是在掌握與相關事件的先決信息下，計算該事件的概率。假設你想計算星期天下午5點得到一個停車位的概率。那麼你如何計算這一事件的概率呢？是的，貝葉斯定理！數學上貝葉斯定理寫為：這裡"B"是一個條件，"A"是一個事件。
  • 樸素貝葉斯:幫助AI產品經理「小步快跑,快速迭代」
    同時對於產品經理來說，貝葉斯分類法是一個很好的研究自然語言處理問題的切入點。樸素貝葉斯分類是一種十分簡單的分類算法，說它十分簡單是因為它的解決思路非常簡單。即對於給出的待分類項，求解在此項出現的條件下各個類別出現的概率，哪個最大，就認為此待分類項屬於哪個類別。舉個形象的例子，若我們走在街上看到一個黑皮膚的外國友人，讓你來猜這位外國友人來自哪裡。