學不好數學連新聞都看不明白?貝葉斯定理幫你消化新聞

2021-01-11 讀芯術

全文共2598字,預計學習時長8分鐘

圖源:unsplash

生活中,我們常常需要在變化了的或者不確定的情況下做出決策,這時,貝葉斯定理就是你的最佳助手。它本應用於日常生活為人們創造價值,但卻局限在了教科書和機器學習應用程式領域。到了該解放它的時候了!

也許你知道貝葉斯定理的含義,但是卻從不知道該如何使用它,在看到「紅酒可降低患痴呆症風險」這樣的標題時無法立刻想到這與貝葉斯定理有關。那麼,本文將幫你熟練掌握它。

首先,筆者將回顧貝葉斯定理,探討為什麼筆者認為它很難記住,並用敏感性和特異性來表述。接下來,筆者將探討幾種運用貝葉斯公式對新聞中經常出現的挑釁性言論做出適當反應的方法。最後,筆者會列出一些平常使用貝葉斯定理的注意事項並對文章內容加以總結。

在正式開始之前,筆者將定義所有出現的術語:

1. 貝葉斯定理告訴人們在給定新條件的情況下如何修改某些結果的概率估計。在日常生活中,當有更多證據顯示時,該定理有助於更新人們的看法或確定某一結果(比如癌症)在某種情況下(比如抽菸)是否更有可能顯著出現。

2. 人們需要三種信息來正確更新自己對某一結果的看法:結果的基礎比率、證據的敏感性和特異性。新聞往往只能提供敏感性。

3. 在沒有這三種信息的情況下,請試著自己填補信息的空白,並警惕那些有著極高/極低基礎比率或證據的邊際概率很高的情況。

貝葉斯定理的敏感性和特異性

貝葉斯定理告訴人們在給定新證據的情況下如何計算某一結果的後驗概率。後驗概率表示為P(A|B)的條件概率。

當該公式由一堆字母表示時,很容易把它們混淆,忘記誰是分子誰是分母。因此,筆者喜歡用結果和條件來表示。

從數學上講,確實沒有理由將一個事件稱為「結果」,而將另一個事件稱為「條件」。但在現實生活中,有些事情是人們想要了解卻又無法直接測量的——比如,得癌症的可能性。這是一種結果,而醫學診斷結果之類的證據是用於估計此類結果概率的條件。

P(outcome)指的是人們感興趣事物的先驗概率或基礎比率。它與人們看法更新的概率成正比是有道理的,否則,人們一遇到新證據就會改變他們之前的看法。

P(condition)稱為條件的邊際概率,將其視為一個實體可能有點奇怪。這是在結果為真或不真的情況下,觀察人們擁有的條件或證據的總概率。

接下來是另外兩個術語:敏感性和特異性。比如說,有70%的醫學生彈鋼琴。這意味著以彈鋼琴作為醫學生身份的證據的敏感性為70%。

不過可以肯定的是,是否是一名鋼琴演奏者並不能有力地證明某人是否是醫學生,特異性低是其中的一個原因。也就是說,很多不是醫學生的人也會彈鋼琴。

為了使某個條件能對結果的概率產生極大的影響,其必須具有高度的敏感性和高度的特異性。此外,為了得出後驗概率的估計值,除了證據的敏感性和特異性之外,人們還必須對結果的基礎比率有所了解。

圖源:unsplash

下面是對貝葉斯公式的改寫,這與上述直覺一致:

筆者發現新聞報導通常不會提供全部必要細節來幫助人們得出完全基於數據的看法。貝葉斯定理告訴人們調整看法的程度往往是違反直覺的,特別是在處理罕見事件的時候。「90%感染新冠肺炎的人穿有鞋帶」無疑是合理的,筆者將告訴你如何避免對這樣的陳述反應過度。

需要注意的情況

同樣,計算結果的後驗概率需要三種信息:結果的基礎比率、條件的敏感性、條件的特異性。如果敏感性或特異性沒有什麼特殊情況(~0.5),那麼就說明後驗概率和基礎比率相差不大。

在這種情況下,如果人們當前的行為是由自己的思想來引導,那麼就有可能不需要調整自己的認知來對新數據做出解釋。但是,如果新聞只提供一種或兩種信息,那該怎麼辦呢?可採取如下選擇:

· 承認自己無法有意義地合併新數據,然後把這件事拋諸腦後。

· 判斷缺失的信息。

在某些情況下,確實無法判斷出丟失的信息,但是過度依賴這種選擇是很危險的。新聞中經常會提供敏感性因素,而查找基礎比率和邊際概率(也就是特異性)也不是一件難事。只要估計值表現出低基礎比率、高邊際概率或高基礎比率,筆者就會警惕。

低基礎比率

「90%的天才兒童的母親說她們在懷孕期間食用了貝類。」

圖源:unsplash

這句話中,人們感興趣的結果(有一個智力超群的孩子)是很少見的。這意味著除非要測試的條件在敏感性和特異性方面極為苛刻(如果未在科學期刊中直接報導,可能就不會如此),否則後驗概率也可能很低。

高邊際概率

「幾乎所有尋求抑鬱症心理諮詢服務的美國大學生都擁有智慧型手機。」

和擁有帶鞋帶的鞋一樣,目前擁有智慧型手機也十分普遍,但抑鬱症心理諮詢服務不是這樣。換句話說,擁有智慧型手機的邊際概率很高。這可能是一個警告信號,表明該條件的特異性很低。

換句話說,可以假設幾乎所有未尋求抑鬱症心理諮詢服務的大學生也都擁有智慧型手機,這意味著擁有智慧型手機並不是學生尋求諮詢服務的有力證明。

高基礎比率

「95%的坐過飛機的人都沒活過100歲。」

先別急著退機票,請考慮這樣一個事實:活不到100歲的現象相當普遍。在100歲之前死亡的可能性很可能低於基礎比率。無論如何,後驗概率的差異可能都不足以保證生活方式的改變。

注意事項和總結

本文希望為各位提供的看待貝葉斯定理的另一種角度,能讓其更直觀、更容易應用於日常生活當中。但功能越強大,責任也越大,所以請留意以下注意事項:

· 不要因為新聞沒有明確提供使用貝葉斯規則所需的所有要素就對其持全盤拒絕的態度。如果用它去過濾自己不喜歡的新聞,很可能導致有動機的懷疑主義的風險。

· 即使確定了某些新信息並不能完全改變自己的看法進而改變自己的行為,那也並不意味著這些信息絲毫沒有改變自己的看法。如果越來越多的證據指向同一件事,那麼最終整體的看法也將發生改變。忘掉所有的證據而回歸到先前的證據不會起作用,你會認為原來的證據不夠充分。

· 雖然筆者在上述示例中直接給出了敏感性,但新聞標題往往會直接顯示結果(比如「智慧型手機會增加患抑鬱症的機率」),而隨後只會在主體部分中給出證據的敏感性。這樣的標題黨太多了。

圖源:unsplash

記住以上這幾點,也許你能以一種更為慎重、更具數據思維的方式來面對各類信息。不過即使這樣,傳聞類證據仍是毫無價值的。

留言點讚關注

我們一起分享AI學習與發展的乾貨

如轉載,請後臺留言,遵守轉載規範

相關焦點

  • 可怕的貝葉斯定理,看完後忍不住感慨數學太重要了
    學多點知識你好我也好今天,超模君來講講貝葉斯定理。眾所周知,貝葉斯定理是一種在已知其他概率的情況下求概率的方法:圖片來源:HackYourself既然開講了,那就不要停下來了。那我們怎麼去理解這個傳說中不黃但很暴力的貝葉斯定理呢,貝葉斯定理是如何暴力狂虐數學界的?
  • 貝葉斯定理:AI 不只是個理科生 | 贈書
    這就是說,當你不能準確知悉某個事物本質時,你可以依靠經驗去判斷其本質屬性。這個研究看起來平淡無奇,名不見經傳的貝葉斯也未引人注意。他寫的論文直到他死後的第二年,才由他的一位朋友在1763年發表。明珠蒙塵,就像畫界的梵谷,畫稿生前無人問津,死後價值連城。為什麼貝葉斯定理200多年來一直被雪藏,不受科學家待見?
  • 貝葉斯定理:AI不只是個理科生
    為什麼貝葉斯定理200多年來一直被雪藏,不受科學家待見?因為它與當時的經典統計學相悖,甚至是「不科學」的。經典統計學中,數字規律來源於隨機取樣再行計算。貝葉斯方法則建立在主觀判斷基礎上,你可以先估計一個值,然後根據客觀事實不斷修正。從主觀猜測出發,這顯然不符合科學精神,所以貝葉斯定理為人詬病。1774年,法國的大數學家拉普拉斯也看到貝葉斯定理的價值。
  • 這個例子讓你精通貝葉斯定理
    全文共2450字,預計學習時長5分鐘貝葉斯定理可能是數理統計與概率論領域最重要的定理。因此,該定理經常應用於數據科學領域。本文將通過實際問題對貝葉斯定理進行直觀推導。簡介以18世紀英國數學家託馬斯貝葉斯命名的貝葉斯定理是確定條件概率的數學公式,其在數據科學領域具有重要意義。
  • 懂貝葉斯定理,學會理解生活
    我們都聽過一句俗語,叫做「好人不長命,禍害遺千年」。每當遇到什麼天災人禍,老人們就愛說這話,就像遇到車禍的人,大多數是好人,然而車子真的會選人來撞嗎?顯然是不可能的。在這件事情上,我們大多數人都犯了謬誤,忘記了一個客觀的情況:壞人只佔這世界上的一小部分,絕大多數人都是好人,所以車禍中受傷害的自然是好人多了。
  • 貝葉斯定理
    不過,從維護資本市場穩定的角度看,股市越上漲,投資者越需要有行之有效的套期保值和管理風險工具。此前有業內人士將期貨交易比喻為「賭博」,而貝葉斯定理或許是個提高獲勝率的好辦法。【貝葉斯定理】貝葉斯定理也稱貝葉斯公式,是關於隨機事件A和B的條件概率或邊緣概率的一則定理,指當分析樣本大到接近總體數時,樣本中事件發生的概率將接近於總體中事件發生的概率。但行為經濟學家發現,人們在決策過程中往往並不遵循貝葉斯規律,而是給予最近發生的事件和最新的經驗以更多的權值,在決策和做出判斷時過分看重近期的事件。
  • 形象理解貝葉斯定理
    每當你閱讀任何概率書、博客或論文時,大多數時候你會發現這些書中的講解太過理論化。據研究,65%的人是視覺學習者。以圖形方式理解定理和證明是一種可視化信息和數據的有效方式,而且不僅以可視方式呈現數據已被證明長期有效。因此,本文以可視方式透徹展示、講解概率概念。本文安排如下:1. 什麼是條件概率?2. 總概率定律3. 貝葉斯定理4.
  • 為啥國人的數學非常好,卻很少發現定理
    我們都是學過這個數學的,但是你沒有沒有發現一個事情,那就是在現代數學系統中,確實很少發現有國人的影子。可能比較有名的就是勾股定理,這個是國人發現並且定義的,除此之外,好像沒有了。我覺得中國人在數學上的研究其實並不差,在一些數學思想上甚至是比當時世界上任何一個國家都先進。
  • 貝葉斯定理為何能名滿天下?AI從此不再只是個理科生
    為什麼貝葉斯定理200多年來一直被雪藏,不受科學家待見? 因為它與當時的經典統計學相悖,甚至是「不科學」的。 經典統計學中,數字規律來源於隨機取樣再行計算。
  • 貝葉斯定理的通俗理解
    在貝葉斯定理中,每個名詞都有約定俗成的名稱:P(A|B)是已知B發生後,A的條件概率,也由於得自B的取值而被稱作A的後驗概率。P(A)是A的先驗概率(或邊緣概率)。然而,假設你走在校園中,迎面走來一個穿長褲的學生(很不幸的是你高度近似,你只看得見他(她)穿的是否長褲,而無法確定他(她)的性別),你能夠推斷出他(她)是男生的概率是多大嗎?記長褲為事件A,短褲為事件B,男生為事件M,女生為F,那麼我們需要求P(M | A),由貝葉斯公式有:
  • 數學不好千萬不要填這四大專業,難學就算了,連畢業都很麻煩!
    數學一直都是許多同學從小的痛點,特別是對於文科生而言,放棄理科就業的大好前景,可能有一大部分原因就是數學不行。有句話說得好:專業沒選好,年年期末似高考,可這四大數學類專業,不僅僅是難學,而且還很容易掛科,因此才說畢業很麻煩。那麼,到底是除了應用數學外的哪四個呢?我們一起來看看!
  • 「貝葉斯定理」在生活中很有用,它到底是如何算出來的?
    熟悉,是因為絕大多數的大學或研究所統計課堂都有教貝式定理;陌生,則是因為許多學生上完統計課之後,對於貝葉斯定理仍然一知半解,甚至視為畏途。根據我們的觀察,造成此現象的原因有二:首先,一般基本統計學教科書雖然會提到貝葉斯定理,但絕大多數的教科書仍然只涵蓋以P值檢定為基礎的傳統「次數統計推論」(frequentist statistical inference)。
  • 貝葉斯定理:多一點人生經驗還是有用的
    我們繼續追問,不會吧,跟女朋友的電影票就這樣扔了,不是你的作風啊。M同學繼續狡辯,電影票真沒了,是不小心被搞丟的……半個小時後,M同學終於(裝作)妥協了,說,那你們看了電影票不要笑我哦。於是,他(假裝)不好意思地交出電影票。我們接過來一看,然後指著他大笑:你居然和女朋友一起去看建國大業?還是愛國電影通宵連映!這個效果絕對一流,估計我們幾乎百分之百地會相信他是真的去看電影去了。
  • 高一數學學不好,高二和高三還有希望嗎?聽聽老師怎麼說
    學生數學學不好數學的原因,千差萬別,總體分類,可以分成兩類:一類是不想學的學生:這類學生,或者因為懶,不願意做題,不願意付出,或者因為有畏難,不願意動腦子,不願意學數學。一類是不會學的學生:這類學生,天天補數學,刷數學題,成績就是不提升,甚至還會下降。
  • 30分鐘了解貝葉斯定理――AI產品經理了解的數學知識系列
    貝葉斯定理提供的是一種逆條件概率的方法,本文簡單總結了貝葉斯定理是什麼,貝葉斯定理應用的理解,以及貝葉斯定理在AI場景下的應用,目的是希望產品經理了解到這個定理的能力後,在設計相關推薦或是具有推理功能的應用場景,能通過貝葉斯定理來解決。
  • 極具震撼力的貝葉斯定理,作為數據科學人的您咋能錯過?
    因此,這足以涵蓋我們貝葉斯定理的基礎知識。現在讓我們花一些時間來了解貝葉斯定理的確切含義以及其工作原理。貝葉斯定理是什麼?你看過熱門電視劇《神探夏洛克》(或任何犯罪驚悚劇)嗎?想想看,我們對罪魁禍首的看法在整集裡都在改變。我們處理新的證據,並在每一步完善我們的假設。這就是現實生活中的貝葉斯定理!現在,讓我們從數學上理解它。
  • 奧卡姆剃刀和貝葉斯估計
    你腦子裡立刻列出幾個可能的原因(1)花盆被一個鬼魂撞倒了,(2)花盆被一個偷偷闖入你家裡的人碰倒了,並且他沒有拿任何東西。(3)花盆被你家養的貓弄砸了。首先,這三個原因都可以很好的解釋這個現象。在這個前提下,用奧卡姆剃刀就可以很好的幫我們找到真相。首先,花盆被鬼魂碰倒了這個原因,需要非常多的很強的假設。因為首先需要鬼魂存在。這個假設非常強,因為到現在為止沒有證據證明有鬼魂存在。
  • 貝葉斯定理還能用來把妹......
    原來可以用來把妹今天,小天有點煩躁地拿著個筆到處走來走去,超模君實在看不下去,就問了小天到底在煩些什麼,原來小天在糾結貝葉斯定理到底厲害在哪裡!這個是由貝葉斯定理,結合劉同學嘗試的結果,重新估計小姐姐對劉同學好感度的公式,對於這種無法進行大量重複實驗求取其概率的情況,貝葉斯派的做法是:先假設一個非常主觀的概率,然後通過反覆測量(觀測/嘗試),來修正這個概率,使其變得客觀。而超模君讓劉同學去試探一下,就是為了獲取本次的觀測結果。這個是之前超模君盲猜的妹子對劉同學的好感度,也就是貝葉斯定理中的先驗概率(先於試驗/觀測的概率)。
  • 孫斌勇:「做數學要慢一點」—新聞—科學網
    「做數學要慢一點,把每一步都走得非常紮實,一點一點進步,這樣會走得比較遠,至少我是這樣做的。」他說。 在孫斌勇眼中,數學很「simple」,是一門單純的學問。 抽絲剝繭,再複雜的數學問題也是由最基本的定理、公式所組成。而簡單獨立的數學原理以某種邏輯聯繫在一起,就變成了一個深刻的理論。 「不斷思考,想清楚」,這是孫斌勇所一直遵守的原則。
  • 為什麼樸素貝葉斯定理會被叫做樸素的?
    樸素貝葉斯算法是一種基於著名貝葉斯定理的分類算法。那麼讓我們先了解一下Bayes定理是怎麼說的,並為樸素貝葉斯算法定理建立自己的理解,它是如何工作的,它為什麼被稱作樸素的?貝葉斯定理在深入研究貝葉斯定理之前,我們需要了解一些術語-獨立事件和從屬事件邊際概率聯合概率條件概率獨立事件和從屬事件考慮兩個事件A和B。