貝葉斯和貝葉斯公式

2021-01-11 千家智客

【為了證明上帝的存在，他發明了概率統計學原理，遺憾的是，他的這一美好願望至死也未能實現】

貝葉斯(約1701-1761) Thomas Bayes，英國數學家。約1701年出生於倫敦，做過神甫。1742年成為英國皇家學會會員。1761年4月7日逝世。貝葉斯在數學方面主要研究概率論。他首先將歸納推理法用於概率論基礎理論，並創立了貝葉斯統計理論，對於統計決策函數、統計推斷、統計的估算等做出了貢獻。他死後，理察·普萊斯(Richard Price)於1763年將他的著作《機會問題的解法》(An essay towards solving a problem in the doctrine of chances)寄給了英國皇家學會，對於現代概率論和數理統計產生了重要的影響。貝葉斯的另一著作《機會的學說概論》發表於1758年。

貝葉斯所採用的許多術語被沿用至今。貝葉斯思想和方法對概率統計的發展產生了深遠的影響。今天，貝葉斯思想和方法在許多領域都獲得了廣泛的應用。從二十世紀20~30年代開始，概率統計學出現了「頻率學派」和「貝葉斯學派」的爭論，至今，兩派的恩恩怨怨仍在繼續。

貝葉斯決策理論是主觀貝葉斯派歸納理論的重要組成部分。

貝葉斯決策就是在不完全情報下，對部分未知的狀態用主觀概率估計，然後用貝葉斯公式對發生概率進行修正，最後再利用期望值和修正概率做出最優決策。

貝葉斯決策理論方法是統計模型決策中的一個基本方法，其基本思想是：

1、已知類條件概率密度參數表達式和先驗概率。

2、利用貝葉斯公式轉換成後驗概率。

3、根據後驗概率大小進行決策分類。

他對統計推理的主要貢獻是使用了"逆概率"這個概念，並把它作為一種普遍的推理方法提出來。貝葉斯定理原本是概率論中的一個定理，這一定理可用一個數學公式來表達，這個公式就是著名的貝葉斯公式。 貝葉斯公式是1763年被發現後提出來的：

假定B1,B2,……是某個過程的若干可能的前提，則P(Bi)是人們事先對各前提條件出現可能性大小的估計，稱之為先驗概率。如果這個過程得到了一個結果A，那麼貝葉斯公式提供了我們根據A的出現而對前提條件做出新評價的方法。P(Bi∣A)即是對以A為前提下Bi的出現概率的重新認識，稱 P(Bi∣A)為後驗概率。經過多年的發展與完善，貝葉斯公式以及由此發展起來的一整套理論與方法，已經成為概率統計中的一個冠以「貝葉斯」名字的學派，在自然科學及國民經濟的許多領域中有著廣泛應用。


貝葉斯公式



理論分析


分析

（1）如果我們已知被分類類別概率分布的形式和已經標記類別的訓練樣本集合，那我們就需要從訓練樣本集合中來估計概率分布的參數。在現實世界中有時會出現這種情況。（如已知為正態分布了，根據標記好類別的樣本來估計參數，常見的是極大似然率和貝葉斯參數估計方法）

（2）如果我們不知道任何有關被分類類別概率分布的知識，已知已經標記類別的訓練樣本集合和判別式函數的形式，那我們就需要從訓練樣本集合中來估計判別式函數的參數。在現實世界中有時會出現這種情況。（如已知判別式函數為線性或二次的，那麼就要根據訓練樣本來估計判別式的參數，常見的是線性判別式和神經網絡）

（3）如果我們既不知道任何有關被分類類別概率分布的知識，也不知道判別式函數的形式，只有已經標記類別的訓練樣本集合。那我們就需要從訓練樣本集合中來估計概率分布函數的參數。在現實世界中經常出現這種情況。（如首先要估計是什麼分布，再估計參數。常見的是非參數估計）

（4）只有沒有標記類別的訓練樣本集合。這是經常發生的情形。我們需要對訓練樣本集合進行聚類，從而估計它們概率分布的參數。（這是無監督的學習）

（5）如果我們已知被分類類別的概率分布，那麼，我們不需要訓練樣本集合，利用貝葉斯決策理論就可以設計最優分類器。但是，在現實世界中從沒有出現過這種情況。這裡是貝葉斯決策理論常用的地方。


問題

問題：假設我們將根據特徵矢量x 提供的證據來分類某個物體，那麼我們進行分類的標準是什麼？decide wj， if（p(wj|x)>p(wi|x)）(i不等於j)應用貝葉斯展開後可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，決策規則就是似然率測試規則。


結論

結論：對於任何給定問題，可以通過似然率測試決策規則得到最小的錯誤概率。此錯誤概率稱為貝葉斯錯誤率，且是所有分類器中可以得到的最好結果。最小化錯誤概率的決策規則就是最大化後驗概率判據。



決策判據


貝葉斯決策理論方法是統計模式識別中的一個基本方法。貝葉斯決策判據既考慮了各類參考總體出現的概率大小，又考慮了因誤判造成的損失大小，判別能力強。貝葉斯方法更適用於下列場合：

(1) 樣本(子樣)的數量(容量)不充分大，因而大子樣統計理論不適宜的場合。

(2) 試驗具有繼承性，反映在統計學上就是要具有在試驗之前已有先驗信息的場合。用這種方法進行分類時要求兩點： 　第一，要決策分類的參考總體的類別數是一定的。例如兩類參考總體(正常狀態Dl和異常狀態D2)，或L類參考總體D1，D2，…，DL(如良好、滿意、可以、不滿意、不允許、……)。 

第二，各類參考總體的概率分布是已知的，即每一類參考總體出現的先驗概率P(Di)以及各類概率密度函數P(x/Di)是已知的。顯然，0≤P(Di)≤1，(i=l，2，…，L)，∑P(Di)=1。對於兩類故障診斷問題，就相當於在識別前已知正常狀態D1的概率P(D1)和異常狀態0：的概率P(D2)，它們是由先驗知識確定的狀態先驗概率。如果不做進一步的仔細觀測，僅依靠先驗概率去作決策，那麼就應給出下列的決策規則：若P(D1)>P(D2)，則做出狀態屬於D1類的決策；反之，則做出狀態屬於D2類的決策。例如，某設備在365天中，有故障是少見的，無故障是經常的，有故障的概率遠小於無故障的概率。因此，若無特別，j明顯的異常狀況，就應判斷為無故障。顯然，這樣做對某一實際的待檢狀態根本達不到診斷的目的，這是由於只利用先驗概率提供的分類信息太少了。為此，我們還要對系統狀態進行狀態檢測，分析所觀測到的信息。


應用


概率論是邏輯嚴謹推理性強的一門數學分科,貝葉斯公式是概率論中較為重要的公式,是一種建立在概率和統計理論基礎上的數據分析和輔助決策工具,以其堅實的理論基礎、自然的表示方式、靈活的推理能力和方便的決策機制受到越來越多研究學者的重視。目前,貝葉斯網絡已經廣泛應用在醫學、信息傳遞、生產、偵破案件幾個方面。

相關焦點

  • 貝葉斯與貝葉斯公式
    當時貝葉斯發現了古典統計學存在的一些缺點，從而提出了自己的一套貝葉斯統計學理論。貝葉斯的理論是基於條件概率的理論上的，所以讓我們來簡單看看條件概率是個什麼東西。比如我們擲一個骰子，得到1點的概率當然是1/6。
  • 全概率公式和貝葉斯公式
    條件概率公式 設A, B是兩個事件，且P(B)>0， 則在事件B發生的條件下，事件A發生的條件概率(conditional probability)為：P(A|B)=P(AB)/P(B)條件概率是理解全概率公式和貝葉斯公式的基礎，可以這樣來考慮，如果P(A|B)大於P(A)則表示B的發生使A發生的可能性增大了。
  • 概率|全概率公式和貝葉斯公式
    註：有些條件概率不方便直接求，而用貝葉斯公式將其轉換後，每一項我們都可以求得，這種迂迴的方式很方便，但是剛開始使用大家可能在思路上轉不過來，覺得很亂，多做幾個題就會清晰許多，不信你試試    最後我想致謝白志惠老師，在這裡引用她之前寫的一篇文章——「狼來了」的貝葉斯公式解讀：    狼來了這個故事大家都聽過，那麼從心理角度分析，這個小孩是如何一步步喪失村民信任的呢？我們可以藉助貝葉斯公式來解讀。
  • 全概公式與貝葉斯公式解析
    全概公式與貝葉斯公式是概率論中的兩個重要公式，是求隨機事件概率的兩類方法，二者之間有明顯的區別，下面先來了解一下全概公式。
  • 全概率公式&貝葉斯公式
    該怎樣理解這兩個公式呢ԅ(¯ㅂ¯ԅ)？簡單來說，如果導致一個事件發生的原因有很多種，而且各種原因是互斥的，那麼這個事件發生的概率就是每種原因引起該事件發生的概率的總和，而求出這個概率，就是全概率公式要解決的問題而如果一個事件已經發生了，有很多原因都能導致這個事件發生。
  • 條件概率和貝葉斯公式 - 圖解概率 03
    條件概率與貝葉斯公式給定條件 B 發生時, A 的條件概率:現在用文氏圖直觀來看什麼是條件概率
  • CFA乾貨放送——貝葉斯公式
    高大上的公式跟我什麼關係呢？它除了是個公式還是個公式呀！NO！NO！NO！很多粉絲都是懸疑推理劇的鐘愛粉那你們是否知道CFA裡面的貝葉斯公式在偵破案件時十分有用！！！全概率公式是求由「某項原因導致某項結果」的概率，而貝葉斯定理則是求「某項結果已知，求是哪項原因導致的」的逆概率，所以貝葉斯定理又叫逆全概率公式。其中P(A|B)是在B發生的情況下A發生的可能性。P(A)是A的先驗概率或邊緣概率。之所以稱為"先驗"是因為它不考慮任何B方面的因素。
  • 概率論|貝葉斯公式及其推論的理解和運用
    貝葉斯公式的得來在需要計算事件A在事件B下的條件概率時，可以計算P(A|B)=P(AB)/P(B),又因為條件概率公式P(AB)= P(B|A)*P(A)，所以可得P(A|B)= P(B|A)*P(A)/P(B)。
  • 條件概率,全概率,貝葉斯公式理解
    由條件概率公式推導出貝葉斯公式：P(B|A)=P(A|B)P(B)/P(A)；即,已知P(A|B)，P(A)和P(B)可以計算出P(B|A)。假設B是由相互獨立的事件組成的概率空間{B1,b2，...bn}。則P(A)可以用全概率公式展開：P(A)=P （A|B1)P(B1)+P（A|B2)P(B2)+..P（A|Bn)P(Bn)。
  • 應行仁:預測混淆與貝葉斯公式
    但是高同學咭言，從檢查結果得到患病概率不必用貝葉斯公式計算，直接從混淆矩陣統計就可得出，這個知識點被大家忽略了。這既怪他理解模糊，也怪圍毆者把混淆打成了糊塗，其實這矩陣表達的是辨識混淆的狀態分布，是可以直接從中得到王宏得病概率的。
  • 貝葉斯定理
    不過，從維護資本市場穩定的角度看，股市越上漲，投資者越需要有行之有效的套期保值和管理風險工具。此前有業內人士將期貨交易比喻為「賭博」，而貝葉斯定理或許是個提高獲勝率的好辦法。【貝葉斯定理】貝葉斯定理也稱貝葉斯公式，是關於隨機事件A和B的條件概率或邊緣概率的一則定理，指當分析樣本大到接近總體數時，樣本中事件發生的概率將接近於總體中事件發生的概率。但行為經濟學家發現，人們在決策過程中往往並不遵循貝葉斯規律，而是給予最近發生的事件和最新的經驗以更多的權值，在決策和做出判斷時過分看重近期的事件。
  • 樸素貝葉斯與文本分類
    貝葉斯1、樸素貝葉斯1.1 貝葉斯公式給定一個樣本，我們用 X 表示樣本的特徵，用 Y 表示樣本的類別，我們首先可以計算出 X 和 Y 的聯合概率 P(X,Y):X 和 Y 的聯合概率從聯合概率 P(X,Y) 可以推導出則貝葉斯公式：
  • 全概率公式和貝葉斯公式學習筆記(內容來自浙江大學公開課)
    全概率公式百度百科給定義有些拗口：公式表示若事件A1，A2，…，An構成一個完備事件組且都有正概率，則對任意一個事件B都有公式成立。
  • 貝葉斯牧師和福爾摩斯先生
    機上的298人，包括283名乘客和15名機組人員全部遇難。該軟體由拉德堡德大學的一個研究小組於2000年開發，採用貝葉斯網絡技術，能夠綜合對比來自遇難者幾個不同的家庭成員的DNA信息。法醫研究所最終能在2014年12月鑑定出298名遇難者中294人的身份，應歸于波拿巴的精確和高效。
  • 兩個小例子來理解貝葉斯公式
    關於貝葉斯公式，已經回爐學習過很多次了，但是感覺還是理解的不夠深入，最近又重溫了下，發現和工作生活還是很普遍的，可以不斷的培養這種思維模式。我做了如下的兩個例子來理解貝葉斯公式。這個公式看起來比較有逼格。
  • 貝葉斯定理的通俗理解
    了解貝葉斯定理前，我們需要先了解條件概率與全概率公式。條件概率（Conditional Probability）是指在事件B發生的情況下，事件A發生的概率，用P(A|B)表示，讀作在B條件下的A的概率。
  • 數學之美:貝葉斯公式估算災備切換概率
    講講概率論中的貝葉斯公式的應用，貝葉斯的應用有很多，比如前面介紹的中國風歌曲識別，除了用餘弦相似，用貝葉斯來判斷也是可以的，有興趣的同學可以試試。今天主要用貝葉斯試算災備切換和重大災難之間的關係。關於條件概率，全概率，貝葉斯公式的介紹就不多說了，網上有很多資料。這裡主要列下公式。條件概率：在B發生的條件下A的概率 P(A|B) = P(AB)/P(B)全概率：P(B) = P(B|A)*P(A) + P(B|A')*P(A')，其中A+A』=全集，其思想是將複雜事件的概率分解為簡單事件的概率之和。
  • 機器學習算法之樸素貝葉斯
    一、貝葉斯定理貝葉斯定理由英國數學家貝葉斯(Thomas Bayes 1702-1761)發展用來描述兩個條件概率之間的關係在B條件下A發生的概率： P(A∣B)=P(AB)/P(B)在A條件下B發生的概率： P(B∣A)=P(AB)/P
  • 貝葉斯模型下
    引言上一篇文章我們主要從理論上梳理了樸素貝葉斯方法進行文本分類的基本思路。這篇文章我們主要從實踐上探討一些應用過程中的tricks，並進一步分析貝葉斯方法，最後以情緒褒貶分析和拼寫糾錯為例展示這種簡單強大的方法在自然語言處理問題上的具體應用。2. 為什麼不直接匹配關鍵詞來識別垃圾郵件？看了上一篇文章的一些同學可能會問：「何必費這麼大勁算那麼多詞的概率？
  • 基於貝葉斯定理的算法——樸素貝葉斯分類
    不過今天我們介紹的樸素貝葉斯分類器通過獨立假設簡化了概率的計算，節省了內存，可以很好地用於數據量大的情況。下面我們首先來了解這一算法的數理背景——貝葉斯定理。這一算法是由我們在概率論中學到的貝葉斯定理延伸出來的。我們知道貝葉斯公式為：其中，