懂貝葉斯定理,學會理解生活

2021-01-11 大科技雜誌社

我們都聽過一句俗語,叫做「好人不長命,禍害遺千年」。每當遇到什麼天災人禍,老人們就愛說這話,就像遇到車禍的人,大多數是好人,然而車子真的會選人來撞嗎?

顯然是不可能的。在這件事情上,我們大多數人都犯了謬誤,忘記了一個客觀的情況:壞人只佔這世界上的一小部分,絕大多數人都是好人,所以車禍中受傷害的自然是好人多了。我們在理解生活中一些問題時,經常會忘記一些事情的先決條件。

除此之外,在更多的情況下,我們甚至根本不知道這些先決條件(信息),這不光會影響我們對事物的理解,還會影響我們做出任何決定。

此時,你一定在想有沒有什麼方法,能讓我們更好地「摸著石頭過河」?

沒錯,答案就是題目中的貝葉斯定理。高中的讀者在概率的部分應該會學習到它。當然,沒有聽說過也不要緊,在下面的文章中,會有關於它的解釋。就是這樣的一個數學定理,能讓我們更好地做出決定,更好地理解事物。

接下來,就讓我們一起來了解一下這個定理,以及它如何能讓我們的生活變得更好吧!

貝葉斯定理

要理解貝葉斯定理,我們先來看一個「對方到底喜不喜歡你?」的例子。李雷經常單獨找韓梅梅聊天,而韓梅梅想知道李雷是不是喜歡自己。在這裡,李雷喜歡韓梅梅是事件A,而李雷經常和韓梅梅聊天是事件B。

在這裡,我們先認識一些數學符號,P(A)表示A發生的概率,P(B|A)表示在A發生的條件下,B發生的概率,P(A∩B)則表示A和B兩事件都發生的概率,其他同理。

根據條件概率的定義,在事件 B 發生的條件下事件 A 發生的概率為:

同樣地,在事件 A 發生的條件下事件 B 發生的概率為:

通過P(A∩B),我們可以得到:P(A)×P(B|A)=P(B)×P(A|B),進行簡單的變換,就可以得到著名的貝葉斯定理了:

以上是我們得到最基本的貝葉斯公式的推導過程。在貝葉斯定理中,A是你要考察的目標事件(如喜不喜歡韓梅梅),P(A)是在沒有其他任何信息幫助下,這個目標事件的概率,被稱為初始概率。公式左邊P(A|B)是指當發生B事件(如單獨聊天)後,我們得到的新的觀察,被稱為後驗概率,也就是我們最終尋求的事件概率。

在現實生活中,我們大腦決策的過程就是應用貝葉斯定理的過程。我們的手中只有有限的信息,而決策就是要利用有限的信息,儘量做出一個最優的預測。正如法國著名的天文學家和數學家皮埃爾·西蒙·拉普拉斯所說的一樣:「人生最重要的問題,在絕大多數情況下,真的就只是概率問題。」

概率是個主觀值,完全就是我們自己的判斷,我們可以先估計一個初始概率 ,然後每次根據出現的新情況,掌握的新信息,對這個初始概率進行修正,隨著信息的增多,慢慢逼近真實的概率。這個方法完美的解決了信息少的問題,我們不用等樣本累積到一定程度,先猜一個就行動起來了。

讓我們回到李雷和韓梅梅身上。韓梅梅如何推測李雷喜歡自己的概率呢?首先,韓梅梅只能主觀想出一個初始概率,在沒發生B(李雷單獨找韓梅梅聊天)之前,韓梅梅推測李雷喜歡自己的概率很低,只有5%(P(A))。

假設如果一個人喜歡另一個人,那麼他經常找對方聊天的概率是80%;一個人不喜歡另外一個人,他經常找對方聊天的概率只有20%。即P(B|A)=0.8,P(B|非A)=0.2。

注意經常找對方單獨聊天的情況存在兩種:喜歡並單獨聊天或不喜歡也單獨聊天,因此P(B)=P(B|A)×P(A)+P(B|非A)×P(非A)=0.8×0.05+0.2×0.95=0.23。

在李雷喜歡找韓梅梅聊天的情況下,李雷喜歡韓梅梅的概率漲到了:P(A|B)=P(A)×P(B|A)/0.23=0.05×0.8÷0.23=17.4%。

如果隨著韓梅梅後來的觀察,她又發現了別的「蛛絲馬跡」,如李雷經常偷看自己,那麼利用貝葉斯定理,李雷喜歡韓梅梅的概率肯定還會進一步上升。

別忘了先決條件

或許有人會說,這不就是常識嘛,新情況(信息)和自己原來預期得一致,就強化原來的看法,否則就弱化,用得著弄這麼複雜嗎?

的確,人腦思維的方式和貝葉斯定理是一致的。但是我們的大腦有一種證實傾向,即我們往往會高估了新情況的作用,但是貝葉斯定理不會,它會糾正我們的認知偏差。

我們再舉一個貝葉斯定理的經典例子。現在的醫藥檢測手段越來越先進,某種罕見病檢測結果的準確度為99%。如果小張去醫院做檢查,檢測結果為陽性,那麼小張真的得病了的概率是多少呢?

如果缺少貝葉斯思維,你肯定會想當然地說出來,不是99%嗎?可是你別忘了,該疾病是一種罕見病。

我們使用貝葉斯定理,A表示「真的患病」,B表示「檢測呈陽性」。根據現有條件,P(B|A)=99%,P(B|非A)=1%。假設一般人群中罕見病患者的比例為0.5%,即P(A)=0.005。代入公式:

儘管檢測的準確度高達99%,但貝葉斯定理告訴我們,哪怕這個人真的被檢測到陽性,他真的患病的可能性也只有33%左右,沒有患病的可能性比較大。在醫學中,沒病,但是檢測結果顯示有病的情況稱為假陽性。一般,像愛滋病等罕見疾病檢測第一次呈陽性的人,還需要做第二次檢測,第二次依然為陽性的還需做第三次檢測。

同樣地,我們也可以從中得到一些啟示,貝葉斯定理可不僅僅是計算,更是一種思考方式。

首先,初始概率其實很重要,初始概率越準確,得到真實的概率就越快速、越容易。

其次,我們在生活中,遇到一些問題,不應該反應過度,因為事情可能並沒有我們想像得那麼糟。在思考時,不要忘記將客觀情況考慮在內。

再次,我們要充分重視突然出現的特殊情況。在例子中,我們已經看到了,千分之幾概率的事情,因為特殊情況出現,概率一下子就提高了60多倍。因此,每當出現特殊、罕見情況的時候,我們要保持高度警惕,當然,這也要結合檢測精度來考慮。

最後就是一定要先行動起來,大膽假設,小心求證,不斷調整自己的看法。當信息不完全時,我們要先做一個預判,先行動起來,而不是乾等著,白白錯過時機。

除了對我們生活的指導,貝葉斯定理在基因分析,預測基因變化的概率方面也有非常重要的應用。教育學家也發現,孩子學習的過程也是一個貝葉斯預測的過程。股票市場、期貨市場、垃圾郵件過濾和人工智慧等也會用到貝葉斯定理,感興趣的小夥伴可以多多了解一下。

相關焦點

  • 形象理解貝葉斯定理
    理解概率概念對於機器學習工程師或數據科學專業人員來說是必須的。許多數據科學挑戰性問題的解決方案本質上是從概率視角解決的。因此,更好地理解概率將有助於更有效地理解和實現這些算法。每當你閱讀任何概率書、博客或論文時,大多數時候你會發現這些書中的講解太過理論化。據研究,65%的人是視覺學習者。
  • 貝葉斯定理的通俗理解
    樸素貝葉斯是一種基於貝葉斯定理的簡單概率分類器(分類又被稱為監督式學習,所謂監督式學習即從已知樣本數據中的特徵信息去推測可能出現的輸出以完成分類
  • 「貝葉斯定理」在生活中很有用,它到底是如何算出來的?
    學生即使學了貝葉斯定理,也只把它當作一個數學公式,不知道它對學習統計學有什麼幫助,更不知道它具備生活實用性。其次,貝式定理的數學表示式難以背誦;即使一時背了,也容易忘記。 如果沒有充分理解機率運算的定義和法則,實在難以理解此公式背後的邏輯。許多學生因此強記上述公式以準備考試,只求能解題而不求理解;公式反而成為學習貝葉斯定理的主要障礙。
  • 貝葉斯定理
    此前有業內人士將期貨交易比喻為「賭博」,而貝葉斯定理或許是個提高獲勝率的好辦法。【貝葉斯定理】貝葉斯定理也稱貝葉斯公式,是關於隨機事件A和B的條件概率或邊緣概率的一則定理,指當分析樣本大到接近總體數時,樣本中事件發生的概率將接近於總體中事件發生的概率。
  • 透徹理解貝葉斯推理
    前邊在文章透徹理解最大似然估計,闡述如何理解最大似然進行參數估計,本文將討論使用貝葉斯推理進行參數估計。我還將展示如何將此方法視為最大似然的概括,以及在何種情況下這兩種方法是等價的。貝葉斯定理在介紹貝葉斯推理之前,有必要理解貝葉斯定理。貝葉斯定理真的很酷。
  • 貝葉斯定理:AI不只是個理科生
    貝葉斯定理簡單優雅、深刻雋永。貝葉斯定理並不好懂,每一個因子背後都藏著深意。它到底是如何「為人民服務」的呢?對於貝葉斯定理,參照上面的公式,首先要了解各個概率所對應的事件。在日常生活中,我們也常使用貝葉斯公式進行決策,只是自己沒有注意到這就是「貝葉斯定理」。比如我們到河邊釣魚,根本就不知道哪裡有魚,似乎只能隨機選擇,但實際上我們會根據貝葉斯方法,利用以往積累經驗找一個回水灣區開始垂釣。
  • 貝葉斯定理:AI 不只是個理科生 | 贈書
    從主觀猜測出發,這顯然不符合科學精神,所以貝葉斯定理為人詬病。1774年,法國的大數學家拉普拉斯也看到貝葉斯定理的價值。不過他知道人類的普遍毛病,總是用傳統來反對新思想。貝葉斯定理簡單優雅、深刻雋永。貝葉斯定理並不好懂,每一個因子背後都藏著深意。它到底是如何「為人民服務」的呢?對於貝葉斯定理,參照上面的公式,首先要了解各個概率所對應的事件。P(A|B)是在B發生的情況下A發生的概率;也叫作A的後驗概率,是在B事件發生之後,對A事件概率的重新評估。
  • 為什麼樸素貝葉斯定理會被叫做樸素的?
    樸素貝葉斯算法是一種基於著名貝葉斯定理的分類算法。那麼讓我們先了解一下Bayes定理是怎麼說的,並為樸素貝葉斯算法定理建立自己的理解,它是如何工作的,它為什麼被稱作樸素的?貝葉斯定理在深入研究貝葉斯定理之前,我們需要了解一些術語-獨立事件和從屬事件邊際概率聯合概率條件概率獨立事件和從屬事件考慮兩個事件A和B。
  • 30分鐘了解貝葉斯定理――AI產品經理了解的數學知識系列
    貝葉斯定理提供的是一種逆條件概率的方法,本文簡單總結了貝葉斯定理是什麼,貝葉斯定理應用的理解,以及貝葉斯定理在AI場景下的應用,目的是希望產品經理了解到這個定理的能力後,在設計相關推薦或是具有推理功能的應用場景,能通過貝葉斯定理來解決。
  • 極具震撼力的貝葉斯定理,作為數據科學人的您咋能錯過?
    作者 | KHYATI MAHENDRU編譯 | CDA數據分析師An Introduction to the Powerful Bayes' Theorem for Data Science Professionals概述貝葉斯定理是統計學中最強大的概念之一,而貝葉斯定理也是數據科學專業人員必須知道的定理熟悉貝葉斯定理,其工作原理及其多種多樣的應用本文中有許多直觀的例子來理解貝葉斯定理背後的思想介紹
  • 貝葉斯定理為何能名滿天下?AI從此不再只是個理科生
    從主觀猜測出發,這顯然不符合科學精神,所以貝葉斯定理為人詬病。 1774年,法國的大數學家拉普拉斯也看到貝葉斯定理的價值。 不過他知道人類的普遍毛病,總是用傳統來反對新思想。
  • 貝葉斯定理還能用來把妹......
    貝葉斯定理
  • 基於貝葉斯定理的算法——樸素貝葉斯分類
    不過今天我們介紹的樸素貝葉斯分類器通過獨立假設簡化了概率的計算,節省了內存,可以很好地用於數據量大的情況。下面我們首先來了解這一算法的數理背景——貝葉斯定理。這一算法是由我們在概率論中學到的貝葉斯定理延伸出來的。我們知道貝葉斯公式為:其中,
  • 條件概率,全概率,貝葉斯公式理解
    貝葉斯理論和貝葉斯概率以託馬斯·貝葉斯(1702-1761)命名,他證明了現在稱為貝葉斯定理的一個特例。術語貝葉斯卻是在1950年左右開始使用,很難說貝葉斯本人是否會支持這個以他命名的概率非常廣義的解釋。拉普拉斯證明了貝葉斯定理的一個更普遍的版本,並將之用於解決天體力學、醫學統計中的問題,在有些情況下,甚至用於法理學。但是拉普拉斯並不認為該定理對於概率論很重要。
  • 這個例子讓你精通貝葉斯定理
    全文共2450字,預計學習時長5分鐘貝葉斯定理可能是數理統計與概率論領域最重要的定理。因此,該定理經常應用於數據科學領域。本文將通過實際問題對貝葉斯定理進行直觀推導。簡介以18世紀英國數學家託馬斯貝葉斯命名的貝葉斯定理是確定條件概率的數學公式,其在數據科學領域具有重要意義。
  • 可怕的貝葉斯定理,看完後忍不住感慨數學太重要了
    學多點知識你好我也好今天,超模君來講講貝葉斯定理。眾所周知,貝葉斯定理是一種在已知其他概率的情況下求概率的方法:圖片來源:HackYourself既然開講了,那就不要停下來了。那我們怎麼去理解這個傳說中不黃但很暴力的貝葉斯定理呢,貝葉斯定理是如何暴力狂虐數學界的?
  • 貝葉斯定理:多一點人生經驗還是有用的
    總覺得哪裡不對可能很多人對貝葉斯定理這個名詞還很陌生,但是大家在生活中都會不自覺地用到它,只是很多時候,我們用反了。生活中遇到的事情跟前面兩個故事差不多。想要男孩卻生了好多胎女兒,我們下意識的認為肯定是男方有問題;輪盤開了10把黑,是不是有人在作弊搞鬼出老千?這些直覺思維都是遵從了貝葉斯定理。簡單來說,所謂貝葉斯定理,指的就是我們的經驗可以修正我們的理論,相信理論與事實的偏差,相信事出反常必有妖,這就是貝葉斯定理的通俗描述。
  • 貝葉斯定理是怎麼幫助我們計算出檢驗系統的可靠性和客戶PPM的?
    貝葉斯定理也稱貝葉斯推理,早在18世紀,英國學者貝葉斯(1702~1763)本職是一個牧師,業務愛好數學,他想通過數學概率統計的方式來證明上帝是存在的。在這個過程中,他發明了貝葉斯定理。貝葉斯定理是用來計算,在已知(或已有初步經驗)某件事A發生的概率的情況,當事件B發生時,A實際發生的條件概率。
  • 貝葉斯定理幫你消化新聞
    圖源:unsplash 生活中,我們常常需要在變化了的或者不確定的情況下做出決策,這時,貝葉斯定理就是你的最佳助手。它本應用於日常生活為人們創造價值,但卻局限在了教科書和機器學習應用程式領域。到了該解放它的時候了!
  • 貝葉斯和貝葉斯公式
    【為了證明上帝的存在,他發明了概率統計學原理,遺憾的是,他的這一美好願望至死也未能實現】貝葉斯(約1701-1761) Thomas Bayes,英國數學家。約1701年出生於倫敦,做過神甫。1742年成為英國皇家學會會員。