張天蓉:基本比率謬誤(base rate fallacy)

2021-01-10 科學網

先看一個生活中的例子。

王宏去醫院作驗血實驗,檢查他患上了X疾病的可能性,其結果居然為陽性,把他嚇了一大跳,趕忙到網上查詢。網上的資料說,實驗總是有誤差的,這種實驗有「百分之一的假陽性率和百分之一的假陰性率」。這句話的意思是說,在得病的人中做實驗,有1%的人是假陽性,99%的人是真陽性。而在未得病的人中做實驗,有1%的人是假陰性,99%的人是真陰性。於是,王宏根據這種解釋,估計他自己得了X疾病的可能性(即概率)為99%。王宏想,既然只有百分之一的假陽性率,那麼,百分之九十九都是真陽性,那我已被感染X病的概率便應該是99%。

可是,醫生卻告訴他,他被感染的概率只有0.09左右。這是怎麼回事呢?王宏的思路誤區在哪裡?

醫生說:「百分之九十九?哪有那麼大的感染機率啊。99%是測試的準確性,不是你得病的概率。你忘了一件事:這種X疾病的正常比例是不大的,1000個人中只有一個人有X病。」

醫生的計算方法是這樣的:因為測試的誤報率是1%,1000個人將有10個被報為「假陽性」,而根據X病在人口中的比例(1/1000=0.1%),真陽性只有1個。所以,大約11個測試為陽性的人中只有一個是真陽性(有病)的,因此,王宏被感染的機率是大約1/11,即0.09(9%)。

王宏想來想去仍感糊塗,但這件事激發了王宏去重溫他之前學過的概率論。經過反覆閱讀,再思考琢磨醫生的算法之後,他明白了自己是犯了那種叫做「基本比率謬誤」的錯誤,即忘記使用「X病在人口中的基本比例(1/1000)這個事實。

談到基本比率謬誤,我們最好是先從概率論中著名的貝葉斯定理【1】說起。託馬斯·貝葉斯(ThomasBayes ,1701年–1761年)是英國統計學家,曾經是個牧師。貝葉斯定理是他對概率論和統計學作出的最大貢獻,是當今人工智慧中常用的機器學習之基礎框架,它的思想之深刻遠出一般人所能認知,也許貝葉斯自己生前對此也認識不足。因為如此重要的成果,他生前卻並未發表,是他死後的1763年,才由朋友發表的。本篇將對貝葉斯定理稍作介紹,我們在本系列的後幾篇,將討論貝葉斯學派以及貝葉斯理論在人工智慧中的應用。

初略地說,貝葉斯定理涉及到兩個隨機變量A和B的相互影響,如果用一句話來概括,這個定理說的是:利用B帶來的新信息,應如何修改B不存在時A的「先驗概率」P(A),從而得到B存在時的「條件概率」P(A|B),或稱後驗概率,如果寫成公式便是:

這兒「先驗後驗」的定義是一種「約定俗成」,是相對的。比如說也可以將A、B反過來敘述,即如何從B的「先驗概率」P(B),得到B的「條件概率」P(B|A),見圖中虛線所指。

不要害怕公式,通過例子,我們能慢慢理解它。例如,對前面王宏看病的例子,隨機變量A表示「王宏得X病」;隨機變量B表示「王宏檢查結果」。先驗概率P(A)指的是王宏沒有檢查結果時得X病的概率(即X病在公眾的基本概率0.1%),而條件概率(或後驗概率)P(A|B)指的是王宏「檢查結果為陽性」的條件下得X病的概率(9%)。如何從基本概率修正到後驗概率的?待會兒再解釋。

貝葉斯定理是18世紀的產物,200來年用得好好的,不想在20世紀70年代遇到了挑戰,該挑戰來自於卡尼曼和特維爾斯基(Tversky)提出的「基礎概率謬誤」(Base-RateFallacy)。丹尼爾·卡尼曼(Daniel Kahneman,1934年-)是以色列裔美國心理學家,2002年諾貝爾經濟學獎得主。基礎概率謬誤並不是否定貝葉斯定理,而是探討一個使人困惑的問題:為什麼人的直覺經常與貝葉斯公式計算的結果相違背?如同剛才的例子所示,人們在使用直覺的時候經常會忽略基礎概率。卡尼曼等在他的文章《思考,快與慢》中舉了一個計程車的例子來啟發人們思考這個影響人們「決策」的原因。我們不想在這兒深談基礎概率謬誤對「決策理論」的意義,只是借用此例來加深對貝葉斯公式的理解:

某城市有兩種顏色的計程車:藍和綠(市場比率15:85)。一輛計程車夜間肇事後逃逸,但還好當時有一位目擊證人,這位目擊者認定肇事的計程車是藍色的。但是,他「目擊的可信度」如何呢?公安人員經過在相同環境下對該目擊者進行「藍綠」測試而得到:80%的情況下識別正確,20%的情況不正確。也許有讀者立刻就得出了結論:肇事之車是藍色的機率應該是80%吧。如果你作此回答,你便是犯了與上面例子中王宏同樣的錯誤,忽略了先驗概率,沒有考慮在這個城市中「藍綠」車的基本比例。

那麼,肇事之車是藍色的(條件)機率到底應該是多少呢?貝葉斯公式能給出正確的答案。首先我們必須考慮藍綠計程車的基本比例(15: 85)。也就是說,在沒有目擊證人的情況下,肇事之車是藍色的機率只有15%,這是「A=藍車肇事」的先驗概率P(A)= 15%。現在,有了一位目擊者,便改變了事件A出現的概率。目擊者看到車是「藍」色的。不過,他的目擊能力也要打折扣,只有80%的準確率,即也是一個隨機事件(記為B)。我們的問題是要求出在有該目擊證人「看到藍車」的條件下肇事車「真正是藍色」的概率,即條件概率P(A|B)。後者應該大於先驗概率15%,因為目擊者看到「藍車」。如何修正先驗概率?為此需要計算P(B|A)和P(B)。

因為A=車為藍色、B=目擊藍色,所以P(B|A)是在「車為藍色」的條件下「目擊藍色」的概率,即P(B|A)=80%。最後還要算先驗概率P(B),它的計算麻煩一點。P(B)指的是目擊證人看到一輛車為藍色的概率,等於兩種情況的概率相加:一種是車為藍,辨認也正確;另一種是車為綠,錯看成藍。所以:

P(B) = 15%×80% + 85%×20% = 29%

從貝葉斯公式:

可以算出在有目擊證人情況下肇事車輛是藍色的機率=41%,同時也可求得肇事車輛是綠車的概率為59%。被修正後的「肇事車輛為藍色」的條件概率41%大於先驗概率15%很多,但是仍然小於肇事車可能為綠的概率0.59。對王宏測試X病的例子,讀者可以參考這兒的方法,不難得出正確的答案,作者就不再贅述了。

相關焦點

  • 滑坡謬誤的幾點見解,帶你了解滑坡謬誤
    滑坡謬誤的幾點見解,帶你了解滑坡謬誤 什麼是滑坡謬誤(Slippery Slope)?有哪些典型? 滑坡謬誤是非形式邏輯理論下的一個概念,通常也採用非形式的方法來解釋。
  • 快速了解「基本歸因謬誤」:破壞人際關係的認知偏見
    編者按:基本歸因謬誤是認知偏見中的一種典型情況,通常會給我們的人機關係帶來重要的影響。什麼是基本歸因謬誤?怎麼理解基本歸因謬誤?怎麼突破基本歸因謬誤?近日,暢銷書作家麥可·西蒙斯(Michael Simmons)發表了一篇文章,以非常簡潔的方式就上述問題給出了答案。
  • 一個在日常生活中常見的認知偏差-滑坡謬誤
    滑坡謬誤(Slippery slope fallacy)是一種批判性思維中的錯誤,一個人以一個小的陳述或猜想開始,然後建立在一系列相關事件的基礎上,最終導致一個大概率為負面的結果。簡而言之就是以偏概全,然後此偏見會像滾在斜坡上的球一樣,越滾越厲害,進而無限放大一個基於小的猜想所帶來的主觀臆想的結果。
  • 渣打銀行:金銀比率及基本面對白銀價格有利
    渣打銀行在周三(4月4日)發布的報告中表示,黃金白銀比率和供需基本面對白銀有利。金銀比率創下兩年新高,這是衡量買一盎司黃金需要多少盎司白銀的指標,目前大約是81.6。  渣打稱通常情況下,當比率上升到75以上時,平均價格回升是由於白銀價格上漲而非黃金價格下跌所致。然而,我們認為,不僅技術因素看起來有利於白銀。
  • 我們的思維謬誤
    臺灣華梵大學哲學系教授、紐約州立大學水牛城分校哲學博士冀劍制所著的《可笑的思維謬誤:批判性思考與查錯神經》,以通俗易懂的方式為讀者講解了常見的思維謬誤,並引入了「查錯神經」的概念。查錯神經指的是檢查錯誤思考與推理的敏感神經,其敏銳度越高,我們就越可能發現自己思維以及思維決定的行為的謬誤,為及時糾偏創造可能;與之同時,這也有助於我們在信息超載的世界,辨識事實、常識、推理、結論,儘可能地避免受到誤導和愚弄。書中介紹了常見的13種謬誤,對每一種謬誤的生成機製作了解析,並以我們在日常生活中的口頭語、答語等為例,進行了深入分析,還列出了大量的查錯訓練題目。
  • 常見的「一元化」思維謬誤——從「星座理論」到「大道至簡」
    1、「一元化歸因」的謬誤「單一歸因」是比較常見的,所以先從這個話題說起。這個謬誤的英文是「fallacy of the single cause」,意思是:用單一的原因來解釋某個事物,因此導致對其它原因的忽略。
  • Loan shark rate?
    Reader question:Please explain 「loan shark rate」 in this sentence: 「They were charged interest at a loan shark rate.」
  • rate/proportion/ratio 使用辨析
    ============================== rate/proportion/ratio 使用辨析(轉載需經授權)很多同學在寫文章時常常對rate(率)、proportion(比例)和ratio(比)拿捏不準,今天我們就好好來辨析一下。
  • 最常見的5大經濟謬誤
    》一書 永遠不要低估用事實推翻謬誤的難度。但我們可以概括出五大類常見的經濟謬誤並進行分析: 1 零和式謬誤 許多經濟謬誤都建立在一個錯誤的假設上,即交易是零和博弈,一方所得意味著另一方所失。
  • Crunchbase是什麼?怎麼找客戶?
    ●如何註冊使用Crunchbase? ●我們可以利用Crunchbase來做什麼? 1、什麼是Crunchbase? Crunchbase, 是一個用於查找私營企業和上市公司業務信息的平臺。最初由Michael Arrington於2007年成立,作為TechCrunch的附帶項目進行運營。
  • OceanBase 2.x體驗:手動搭建OceanBase集群
    /store/obdemo/* /home/admin/oceanbase/log/* /home/admin/oceanbase/etc/*config*ps -ef|grep observerdf -h |egrep home\|data2.2 安裝observer軟體首先確保admin用戶已經創建,相應的文件系統目錄{/home
  • 【學習時報】我們都有可笑的思維謬誤
    (原題:我們都有可笑的思維謬誤)跟十分明顯的錯誤不同,思維謬誤往往具有欺騙性和誤導性,似是而非。臺灣華梵大學哲學系教授、紐約州立大學水牛城分校哲學博士冀劍制所著的《可笑的思維謬誤:批判性思考與查錯神經》,以通俗易懂的方式為讀者講解了常見的思維謬誤,並引入了「查錯神經」的概念。
  • 《爐石傳說》中的認知偏差:賭徒謬誤
    在第一部分中,我打算談到可能是有關隨機性的最常見的謬誤——賭徒謬誤。當你打爐石或者其他卡牌遊戲時,你總要依靠一定的運氣,而理解賭徒謬誤可以讓你在每一個隨機時刻看起來完全不一樣。我也會給一些賭徒謬誤的確有效的例子。什麼是賭徒謬誤其實很簡單。
  • 高七師:成人自我的邏輯謬誤
    第三個錯誤理論叫追求完美解決方案謬誤。 追求完美解決方案謬誤是指假設因為嘗試某種解決方案後,還有遺留問題沒解決,那麼這個方案不妥當,這是一個錯誤的。偷換概念謬誤是指在說話和談論中關健詞有兩種或者兩種以上的含義,所以如果我們發現他主要的概念意義不一樣,實際上這是一個偷換概念的遊戲。 第五個謬誤是訴諸公眾謬誤,訴諸公眾謬誤是指通過引說大部分人都持這一觀點的說法來竭力地證明某個論證是有道理的,錯誤的假設,大部分人喜歡的,就是有道理的,是可以接受的。
  • 法律人必知的 24 種邏輯謬誤
    通俗而言,邏輯思維,就是每個論斷,都要明確前提,審慎推理,反思結論,為的是判斷真假,辨別是非,反擊謬誤。以下 24 種邏輯謬誤,在生活中隨處可見。在當事人、法律法規和應用實踐中斡旋的法律人——可能是這個社會中最喜歡「講理」的群體,感觸估計會更深。歡迎在評論區說說你在工作中遇到的邏輯謬誤。第一條:稻草人你歪曲了別人的觀點,使你自己能夠更加輕鬆的攻擊別人。