30分鐘了解貝葉斯定理――AI產品經理了解的數學知識系列

2021-01-11 人人都是產品經理

貝葉斯定理提供的是一種逆條件概率的方法,本文簡單總結了貝葉斯定理是什麼,貝葉斯定理應用的理解,以及貝葉斯定理在AI場景下的應用,目的是希望產品經理了解到這個定理的能力後,在設計相關推薦或是具有推理功能的應用場景,能通過貝葉斯定理來解決。

一、貝葉斯定理介紹

其中:

P(B|A)表示:在事件A發生的前提下,發生事件B的概率;P(A|B)表示:在事件B發生的前提下,發生事件A的概率;P(A)表示:發生事件A的概率;P(B)表示:發生事件B的概率。

以上公式就是貝葉斯定理,它提供的是一種逆條件概率的方法。

舉一個經常用的例子:

比如陰天的概率是40%,下雨的概率是10%,下雨天是陰天的概率是50%,那麼今天是陰天下雨的概率就是P(雨|陰)=10%*50%/40%= 12.5%。

通過概率計算發現今天陰天下雨的概率比較低,可以安心出行了。

因此,貝葉斯定理是條件概率的推斷問題,這對於人們進行有效的學習和判斷決策具有十分重要的理論和實踐意義。

二、貝葉斯定理舉例說明

對於貝葉斯定理的應用,難點在於兩個事件A和B的界定與應用:為什麼是B條件下的A的概率,而不是A條件下B的概率,P(A|B)和P(B|A) 之類的經常讓人混淆。也就是在我們的場景中哪些定義為事件A,哪些定義為事件B。

我在學習這裡的時候也有一些困惑,看了一些文章,有了一定的理解:比如兩個事件A和B,這兩個事件是相關的,在A事件下有發生B概率的可能性,在B事件下有發生A事件的可能性。

但是統計發現:在A條件下事件B的現象更容易觀測與統計,但是A的發生或是不發生也是有一定的規律,但是這種規律更容易觀測,因此我們可以定義A是可觀測的規律,B是此規律下某一個現象,那麼貝葉斯公式就可以理解為觀察到的現象去推斷現象後的規律所發生的概率問題。

那麼貝葉斯定理可以理解為如下公式:

比如以下案例:

比如我們有兩個箱子,箱子中分別有黑球和白球,其中箱子1有10個黑球、10個白球,箱子2中有5個黑球,15個白球。那我們隨機選擇一個箱子,從箱子中摸出一個球,發現是黑球,那麼問這個黑球來自於一號箱子的概率是多大?

那麼在上問題上不難理解:摸出來黑球和白球是兩個現象,但是我們又發現黑球和白球在不同箱子裡面概率是不一樣的,因此箱子就是兩個規律,這兩個規則控制著現象的發生的概率,並且是容易觀測得出概率的。

再比如,第一節說的下雨和陰天的事件,這裡面也有兩個規律和兩個現象:天氣下雨和不下雨是兩個規律,陰天和不是陰天是兩個現象。我們從下雨中發現是陰天的便於觀測和統計的,我們通過觀察天氣是陰天,推斷下雨不下雨就是一個推論。

所以,再利用貝葉斯公式的時候,注意區分哪個事件是現象,哪個事件是規律,通過規律下的現象是容易觀測統計的,在某一現象下推斷規律就是個推斷的概率。

三、貝葉斯定理AI應用說明

通過以上我們發現:貝葉斯定理提供了一種發現邏輯,它與大腦的推理機制有很大的相似性,因此貝葉斯理論是人工智慧中學習和推斷的重要分支。

美國心理學家MARR認為人腦有三個層次:計算層、算法層、實現層,

計算層更多的是對獲取的信息的處理,比如學習知識,記憶知識算法層是更加抽象的認知活動,比如歸納、推理等實現層更多是對抽象出來的算法進行相應生物機制的實現

根據上面我們不難理解:貝葉斯理論是類腦計算的一個算法框架,因此,了解貝葉斯理論對理解人工智慧的實現有著很重要的作用。

要具體了解貝葉斯定理在人工智慧中的應用,我們需要在對這個公式進行一下轉換。

我們把P(A)稱為」先驗概率」,即在B事件發生之前,我們對A事件概率的一個判斷;P(A|B)稱為」後驗概率」(Posterior probability),即在B事件發生之後,我們對A事件概率的重新評估;P(B|A)/P(B)稱為」可能性函數」,這是一個調整因子,使得預估概率更接近真實概率。

所以,條件概率可以理解成下面的式子:

後驗概率=先驗概率*調整因子

這就是貝葉斯推論。

我們先預估一個」先驗概率」,然後加入在這個先驗概率規律下發生某現象的概率,看這個現象到底是增強還是削弱了」先驗概率」,由此推論出更接近事實的」後驗概率」,也由此得出對於一個後驗概率P(A|B)的增強或是削弱由兩個因素來決定的。

舉一個例子:拼寫錯誤的糾正

當用戶輸入一個詞彙,可能正確,可能錯誤,我們可以設定P(正確)是此正確詞的概率,P(錯誤)是此錯誤詞的概率,當用戶輸入一個詞是錯誤的,我們系統要推斷出正確的詞給用戶,這就是拼寫錯誤的糾正,也就是P(正確|錯誤)概率越大,我們糾正的正確率也就越高。也就是說我們知道這個詞是錯誤的,然後去推斷一個匹配度很高的正確的詞彙給用戶,定理中我們已知這個詞的錯誤概率P(錯誤),那麼我們只要最大化P(錯誤|正確)* P(正確)的詞就可以,因此找到一個正確的詞彙出現這個錯誤的詞彙概率最高的一個正確的詞就可以。

我們再舉一個網際網路的推薦的例子,比如我們某一用戶畫像下(例如80後女性)購買某一商品可能性,可能性最高的推薦給這些用戶畫像下的用戶,根據網際網路平臺掌握的此商品瀏覽後購買概率,某一用戶畫像下用戶瀏覽此商品的概率,某一用戶畫像下用戶瀏覽此商品後夠買的概率。這三個概率指標,可以找到某一用戶畫像下購買某商品概率最高的推薦出來。

除此之外,經常應用到的案例就是垃圾郵件的分類,小夥伴可以自行思考或尋找相關文獻。

以上是簡單總結了貝葉斯定理是什麼,貝葉斯定理應用的理解,以及貝葉斯定理在AI場景下的應用,目的是希望我們做產品經理的了解到這個定理的能力後,在我們設計相關推薦或是具有推理功能的應用場景,我們是否能通過貝葉斯定理來解決!

其實,貝葉斯理論除了貝葉斯定理之外,還有貝葉斯分析、貝葉斯邏輯、貝葉斯網絡、貝葉斯分類器、貝葉斯決策、貝葉斯學習等相關理論與實踐,並在以上知識在人工智慧領域都有應用,如果感興趣的小夥伴可以參考相關文獻進行深度研究。

關於貝葉斯定理就說到這裡,個人最近也是在做AI產品相關設計,也是在學習和實踐中,本章就是閱讀相關文獻後的總結與分享,歡迎小夥伴給出建議和意見!

本文由 @羅飛 原創發布於人人都是產品經理。未經許可,禁止轉載

題圖來自Unsplash,基於CC0協議

相關焦點

  • 樸素貝葉斯:幫助AI產品經理「小步快跑,快速迭代」
    貝葉斯定理相信不少人都接觸過,這個看似只屬於數學領域的定理,在AI產品經理看來有怎樣的魅力呢?我們常常遇到這樣的場景。與友人聊天時,一開始可能不知道他要說什麼,但是他說了一句話之後,你就能猜到接下來他要講什麼內容。友人給的信息越多,我們越能夠推斷出他想表達的含義,這也是貝葉斯定理所闡述的思考方式。
  • 貝葉斯定理:AI 不只是個理科生 | 贈書
    貝葉斯定理並不好懂,每一個因子背後都藏著深意。它到底是如何「為人民服務」的呢?對於貝葉斯定理,參照上面的公式,首先要了解各個概率所對應的事件。P(A|B)是在B發生的情況下A發生的概率;也叫作A的後驗概率,是在B事件發生之後,對A事件概率的重新評估。
  • 貝葉斯定理:AI不只是個理科生
    貝葉斯定理並不好懂,每一個因子背後都藏著深意。它到底是如何「為人民服務」的呢?對於貝葉斯定理,參照上面的公式,首先要了解各個概率所對應的事件。可在貝葉斯的眼中,這種可信度也不過2%。原因無它,5%的誤報率在醫學界可謂非常高了。別看表面的數據,我們要相信貝葉斯的數學結論。看似冷酷的貝葉斯定理會溫柔的安慰你:別怕,不到2%的概率。
  • 可怕的貝葉斯定理,看完後忍不住感慨數學太重要了
    學多點知識你好我也好今天,超模君來講講貝葉斯定理。眾所周知,貝葉斯定理是一種在已知其他概率的情況下求概率的方法:圖片來源:HackYourself既然開講了,那就不要停下來了。那我們怎麼去理解這個傳說中不黃但很暴力的貝葉斯定理呢,貝葉斯定理是如何暴力狂虐數學界的?
  • AI產品經理需要了解的數據知識:餘弦相似度
    本文概括介紹了餘弦相似度是什麼、如何應用以及案例說明,目的是希望我們產品經理在設計相關跟相似度功能或是利用相似性功能解決某一業務的場景時能利用上餘弦相似度,並希望您讀完對自己在設計相關推薦業務、搜索業務、識別業務時能有更深層次的理解。
  • 貝葉斯定理為何能名滿天下?AI從此不再只是個理科生
    貝葉斯定理並不好懂,每一個因子背後都藏著深意。 它到底是如何「為人民服務」的呢? 對於貝葉斯定理,參照上面的公式,首先要了解各個概率所對應的事件。
  • 科普丨樸素貝葉斯了解一下
    要理解樸素貝葉斯,我們首先需要了解貝葉斯推斷。貝葉斯推斷是一種用貝葉斯定理來迭代假設概率的方法。貝葉斯定理是在掌握與相關事件的先決信息下,計算該事件的概率。假設你想計算星期天下午5點得到一個停車位的概率。那麼你如何計算這一事件的概率呢?是的,貝葉斯定理!數學上貝葉斯定理寫為:這裡"B"是一個條件,"A"是一個事件。
  • 懂貝葉斯定理,學會理解生活
    沒錯,答案就是題目中的貝葉斯定理。高中的讀者在概率的部分應該會學習到它。當然,沒有聽說過也不要緊,在下面的文章中,會有關於它的解釋。就是這樣的一個數學定理,能讓我們更好地做出決定,更好地理解事物。接下來,就讓我們一起來了解一下這個定理,以及它如何能讓我們的生活變得更好吧!貝葉斯定理要理解貝葉斯定理,我們先來看一個「對方到底喜不喜歡你?」
  • AI產品經理必修——揭開算法的面紗(餘弦定理)
    餘弦定理作為初中課本就學過的知識,AI產品經理將會把它運用到相似度計算當中。二、特徵向量先看一下特徵向量的嚴格定義吧:特徵向量是數學學科中的一個專業名詞,即線性變換的特徵向量(本徵向量)是一個非退化的向量。其方向在該變換下不變,該向量在此變換下縮放的比例稱為其特徵值(本徵值)。一個線性變換通常可以由其特徵值和特徵向量完全描述,相同特徵值的特徵向量集合稱之為特徵空間。
  • 形象理解貝葉斯定理
    以圖形方式理解定理和證明是一種可視化信息和數據的有效方式,而且不僅以可視方式呈現數據已被證明長期有效。因此,本文以可視方式透徹展示、講解概率概念。本文安排如下:1. 什麼是條件概率?2. 總概率定律3. 貝葉斯定理4. 貝葉斯定理的應用什麼是條件概率?
  • 貝葉斯定理的通俗理解
    樸素貝葉斯是一種基於貝葉斯定理的簡單概率分類器(分類又被稱為監督式學習,所謂監督式學習即從已知樣本數據中的特徵信息去推測可能出現的輸出以完成分類
  • 學不好數學連新聞都看不明白?貝葉斯定理幫你消化新聞
    圖源:unsplash 生活中,我們常常需要在變化了的或者不確定的情況下做出決策,這時,貝葉斯定理就是你的最佳助手。也許你知道貝葉斯定理的含義,但是卻從不知道該如何使用它,在看到「紅酒可降低患痴呆症風險」這樣的標題時無法立刻想到這與貝葉斯定理有關。那麼,本文將幫你熟練掌握它。首先,筆者將回顧貝葉斯定理,探討為什麼筆者認為它很難記住,並用敏感性和特異性來表述。接下來,筆者將探討幾種運用貝葉斯公式對新聞中經常出現的挑釁性言論做出適當反應的方法。
  • 貝葉斯定理是怎麼幫助我們計算出檢驗系統的可靠性和客戶PPM的?
    貝葉斯定理也稱貝葉斯推理,早在18世紀,英國學者貝葉斯(1702~1763)本職是一個牧師,業務愛好數學,他想通過數學概率統計的方式來證明上帝是存在的。在這個過程中,他發明了貝葉斯定理。貝葉斯定理是用來計算,在已知(或已有初步經驗)某件事A發生的概率的情況,當事件B發生時,A實際發生的條件概率。
  • 極具震撼力的貝葉斯定理,作為數據科學人的您咋能錯過?
    但我看到很多有能力的數據科學家都在迴避統計這一方面的知識,尤其是貝葉斯統計。許多分析師和數據科學家仍然無法理解這一點。我相信你們很多人都對此點頭贊同吧!貝葉斯定理是貝葉斯統計的一個主要方面,是由生活在18世紀的僧侶託馬斯·貝葉斯(Thomas Bayes)提出的。我們仍在學習貝葉斯統計的這一事實,表明他的作品在多個世紀以來都具有巨大的影響力!
  • 基於貝葉斯定理的算法——樸素貝葉斯分類
    不過今天我們介紹的樸素貝葉斯分類器通過獨立假設簡化了概率的計算,節省了內存,可以很好地用於數據量大的情況。下面我們首先來了解這一算法的數理背景——貝葉斯定理。這一算法是由我們在概率論中學到的貝葉斯定理延伸出來的。我們知道貝葉斯公式為:其中,
  • AI產品經理需要了解的概率論通識:4個概念3個問題
    我認為AI產品經理應該學一些概率知識,是否理解概率,直接決定一個人對AI智能的了解程度。現階段的自然語音處理,圖像識別,等都已不是專家系統,而是以數學為基礎,以概率論為方法,以算法為模型的最優解決方案。下面就了解一下幾個概率論概念:一、概率論概念1.
  • 透徹理解貝葉斯推理
    前邊在文章透徹理解最大似然估計,闡述如何理解最大似然進行參數估計,本文將討論使用貝葉斯推理進行參數估計。我還將展示如何將此方法視為最大似然的概括,以及在何種情況下這兩種方法是等價的。貝葉斯定理在介紹貝葉斯推理之前,有必要理解貝葉斯定理。貝葉斯定理真的很酷。
  • 貝葉斯定理
    此前有業內人士將期貨交易比喻為「賭博」,而貝葉斯定理或許是個提高獲勝率的好辦法。【貝葉斯定理】貝葉斯定理也稱貝葉斯公式,是關於隨機事件A和B的條件概率或邊緣概率的一則定理,指當分析樣本大到接近總體數時,樣本中事件發生的概率將接近於總體中事件發生的概率。
  • 這個例子讓你精通貝葉斯定理
    全文共2450字,預計學習時長5分鐘貝葉斯定理可能是數理統計與概率論領域最重要的定理。因此,該定理經常應用於數據科學領域。本文將通過實際問題對貝葉斯定理進行直觀推導。簡介以18世紀英國數學家託馬斯貝葉斯命名的貝葉斯定理是確定條件概率的數學公式,其在數據科學領域具有重要意義。
  • AI產品經理需要了解的語音交互評價指標
    enjoy~最近,在飯糰「AI產品經理大本營」裡,有團員提問:如何制定針對自然語言語音交互系統的評價體系?有沒有通用的標準?例如在車載環境中,站在用戶角度,從客觀,主觀角度的評價指標?1、準確率、召回率附上之前文章《AI產品經理需要了解的數據標註工作入門》中,分享過的一段解釋:準確率:識別為正確的樣本數/識別出來的樣本數召回率:識別為正確的樣本數/所有樣本中正確的數舉個慄子:全班一共30