概率之本質—從主觀概率到量子貝葉斯 | 張天蓉專欄

2021-02-18 知識分子

►圖片來源:pixabay 

前面兩篇中所介紹的大數定律和中心極限定理,都是基於多次實驗結果的經典概率觀點,屬於概率論中的頻率學派。事實上,概率和統計中還有另一個極端的派別——貝葉斯學派。兩派的爭論焦點涉及到「什麼是概率?概率從何而來?」等本質問題。

撰文 | 張天蓉

責編 | 呂浩然


2017-03-16 上帝教人擲骰子——「神童」帕斯卡與概率論

2017-03-31  似是而非的答案:概率論悖論

2017-04-18  別相信直覺:概率論幫助偵破「財務造假」

2017-05-15  賭徒謬誤:賭博與大數定律

2017-06-24  無所不在的概率分布鍾型曲線 

● ● ●

託馬斯·貝葉斯(Thomas Bayes, 1702-1761)雖為英國的一位古人,卻在當代科技界「紅」了起來,原因歸結於我們曾經在第二篇中介紹過的貝葉斯定理。這個定理現在被廣泛應用於與人工智慧密切相關的機器學習中。

當年,貝葉斯研究過「白球黑球」的概率問題。概率問題可以正向計算,也能反推回去。下面舉正向計算的例子,比如,暗盒裡有10個球,黑白兩種顏色。如果我們知道10個球中5白5黑,那麼,如果我問你,從中隨機取出一個球,這個球是黑球的概率是多大?問題不難回答,當然是50%!如果10個球是6白4黑呢?取出一個球為黑的概率應該是40%。

再考慮複雜一點的情形:如果10個球中2白8黑,現在隨機取2個球,得到1黑1白的概率是多少呢?10個球取出2個的可能性總數為10*9=90種,1黑1白的情況有16種,所求概率為16/90,約等於17.5%。因此,只需進行一些簡單的排列組合運算,我們便可以在10個球的各種分布情形下,計算取出n個球,其中m個是黑球的概率。這些都是正向計算。

不過,貝葉斯當時更感興趣的是反過來的問題(可稱之為逆概率問題):假設我們預先並不知道盒子裡黑球白球數目的比例,只知道總共是10個球,那麼,如果我隨機地拿出3個球,發現是2黑1白。是否可以通過這個試驗樣本(2黑1白),猜測盒子裡白球黑球的比例呢?這就是逆概率問題。

可以從最簡單的拋硬幣試驗來說明「逆概率」問題。假設我們不知道硬幣是不是兩面「公平」的,也就是說,不了解這枚硬幣的物理偏向性,這時候,得到正面的概率p不一定等於50%。那麼,逆概率問題便是企圖從某個(或數個)試驗樣本來猜測p的數值。

為了解決逆概率問題,貝葉斯在他的論文中提供了一種方法,即貝葉斯定理:

後驗概率 = 觀測數據決定的調整因子×先驗概率

上述公式的意義,指的是對未知概率首先有一個「先驗」猜測,然後結合觀測數據,修正先驗,得到更為合理的「後驗」概率。「先驗」和「後驗」是相對而言的,前一次算出的後驗概率,可作為下一次的先驗概率,與新的觀察數據相結合,再得到新的後驗概率。因此,運用貝葉斯公式,有可能對某種未知的不確定性逐次修正概率模型並得到最終結果,即解決逆概率問題。

有關貝葉斯定理的論文,直到貝葉斯死後的1763年,才由朋友代為發表。後來,拉普拉斯(Pierre-Simon Laplace,1749-1827)證明了貝葉斯定理的更普遍的版本,並將之用於天體力學和醫學統計中。

也許貝葉斯當初對他自己這個定理的意義認識不足,恐怕也沒有料到由此可以啟發人們以一種全新的思考方式來看待概率和統計,並繼而發展成所謂的「貝葉斯學派」【1,2】。

貝葉斯學派,是相對於「頻率學派」而言的,二者更像是一種哲學爭論。頻率學派將概率定義為事件多次重複後發生的頻率之極限。但是,這只是代表我們使用概率這個名詞的某一種情況。很多時候,概率無法通過多次試驗來得到,比如說,今天北京下雨的概率,或者,加州某年某月某日地震的概率,這些是無法用多次重複來驗證的。再比如說,某個國家研製的飛彈,命中1000公裡外目標的概率,理論上可以重複,但事實上並不會用多次重複來得到這個概率,因為花費太昂貴了。

從上面所舉的幾個實例可見,概率一詞所描述的是對「不確定性」 的度量。這種度量既有客觀因素,也有主觀因素。有時候,不確定性是物體的固有屬性,是獨立於主觀因素的客觀存在。比如硬幣或骰子,它的物理偏向性如何?某一面出現的概率是多少?是否「公平」?這些都是在物體的製造過程中決定了的,原則上可用頻率派多次實驗的方法來探索它的概率。但在某些情形,「不確定性」的客觀意義並不顯而易見,例如在清華對北大的某次籃球賽中,某人預言清華隊「贏」的概率,是他的個人觀點結合兩個球隊實力得出的主觀猜測,這時候,使用貝葉斯定理逐次更新概率模型的方法更為合適。

那麼,概率到底是客觀的,還是主觀的?這便涉及到了「概率之本質」的哲學問題,因此,頻率派和貝葉斯派的爭論焦點實際上是哲學意義上的。如果僅就科學研究的意義上,兩個學派的統計學家基本上都承認大數定律和中心極限定理,也都使用貝葉斯公式,只是兩派使用這些定理的方式和場合不完全一樣,各有利弊而已。

英國數學家及哲學家弗蘭克·拉姆齊(Frank Ramsey,1903-1930)在他1926年的論文中首次建議將主觀置信度作為概率的一種解釋,他認為這種解釋可以作為頻率解釋的一個補充或代替。

►圖1:貝葉斯和拉姆齊 

概率有時候是主觀的,比如以賽馬為例,大多數觀眾並不具備對馬匹和騎師等因素的全面知識,而只是憑主觀因素對賽馬結果下賭注,他們認可的某個馬匹的獲勝概率反映的是他們的個人信念,因而是主觀概率。

科學有別於哲學,儘管物理世界是客觀存在的,解決問題的科學方法卻總是人為的,難免摻進主觀的因素,自覺或不自覺地,明顯的或隱含的。不管哪個派別,主觀性都在所難免。作為數學的應用,必須具體問題具體分析,哪種方法有效便使用哪一種,主觀還是客觀之說法,只不過是凌駕於科學之上的「哲人」們對理論的不同詮釋,對解決具體問題無濟於事。

頻率派強調概率的客觀性,一般用隨機事件發生的頻率極限來描述概率;而貝葉斯派則將對不確定性的主觀置信度作為概率的一種解釋,並認為:根據新的信息,可以通過貝葉斯公式不斷地導出或者更新現有的置信度。

在歷史上,貝葉斯統計長期受到排斥,受到當時主流的數學家們的拒絕。然而,隨著科學的進步,貝葉斯統計在實際應用上取得的成功慢慢改變了人們的觀點。貝葉斯統計慢慢地受到人們的重視,人們認為它的思路更為符合科學研究的過程以及人腦的思維模式。目前貝葉斯概率已經成為一個熱門研究課題,在機器學習中大展宏圖,在物理學中也有應用。以下簡單介紹量子力學詮釋中的「量貝模型」,看看貝葉斯方法如何啟發人們從不同的視角來思考問題。

儘管量子力學在應用方面已經取得了巨大的成就,但人們一直被種種詭異的量子現象所困擾,即使在頂尖物理學家之間,也難以達成共識,可謂眾說紛紜。其中主流派的觀點,也就是大多數教科書上的解釋,被稱之為「哥本哈根詮釋」。

量子理論與經典理論的不同之處以及哥本哈根詮釋,都可以藉助「薛丁格的貓」來理解。

從日常生活經驗,一隻貓要麼死,要麼活,不可能「既死又活」。但量子力學相關的實驗結果卻告訴我們,微觀粒子的狀態似乎是「死活」並存的(即波粒二象性),但我們又無法探索這種狀態的詳情,因為一旦實施測量,便沒有了既死又活的貓,結果只看到死貓或活貓。於是,哥本哈根詮釋解釋說:在進行測量之前,粒子的波函數為疊加態,一旦進行測量,便幹預了量子態,發生「波函數塌縮」,按照一定的概率塌縮到「死」「活」狀態之一。塌縮概率可根據波函數的平方來計算,這種特殊的疊加態及塌縮,便是量子力學奇妙現象之根源,但哥本哈根詮釋並未真正解決「既死又活」的薛丁格貓的量子悖論。更多有關量子及量子糾纏的內容,請參考筆者在科學網和《物理》的系列文章【3】。

貝葉斯派的主觀概率思想與量子力學的哥本哈根詮釋在某些方面有異曲同工之妙,因此,在本世紀初,有三位學者發表了一篇題為《作為貝葉斯概率的量子概率》的短論文【4】,探索一種量子力學的新詮釋。三人都是經驗豐富的量子信息理論專家,他們將量子理論與貝葉斯派的概率觀點結合起來,建立了「量子貝葉斯模型」,或簡稱為「量貝模型」(QBism)。

量貝模型與哥本哈根詮釋有關,但又有所不同。哥本哈根詮釋認為波函數是客觀存在,人為的「測量」幹擾並破環了這個客觀存在,使得量子疊加態「塌縮」,從而造成悖論。量貝模型則認為波函數並非客觀實在,只是觀察者所使用的數學工具。波函數不存在,也就沒有什麼「量子疊加態」,如此便能避免詮釋所產生的悖論。

根據量子貝葉斯模型的詮釋,概率的發生並不是由物質的內在結構決定的,而是與觀察者對量子系統不確定性的置信度有關。他們將與概率有關的波函數定義為某種主觀信念,觀察者得到新的信息之後,根據貝葉斯定理的數學法則得到後驗概率,不斷地修正觀察者本人的主觀信念。

量貝模型認為:波函數是主觀的,但量子系統卻是獨立於觀察者而客觀存在的。每個觀察者使用不同測量技術,修正他們的主觀概率,對量子世界作出判定。在觀察者測量的過程中,真實的量子系統並不會發生奇怪的變化,變化的只是觀察者選定的波函數。對同樣的量子系統,不同觀察者可能得出全然不同的結論。觀察者彼此交流,修正各自的波函數來解釋新獲得的知識,於是,就逐步對該量子系統有了更全面的認識。這也是貝葉斯方法的思維方式。

根據量貝模型,盒子裡的「薛丁格貓」並沒有處於什麼「既死又活」的恐怖狀態。但盒子外的觀察者對裡面的「貓態」認識不夠,不足以準確確定它的「死活」,便主觀想像它處於一種死活二者並存的疊加態,並使用波函數的數學工具來描述和更新觀察者自己的這種主觀信念。

舉一個通俗例子來說明此類主觀想像的「疊加態」。在2016年美國總統大選中,川普和希拉蕊都有「勝敗」的可能性,但結果難以預測。對某個川普的支持者而言,在不知道川普最後到底是「勝」還是「敗」之前,只能憑著他個人的主觀置信度來估計川普「勝敗」概率(比如52%:48%),這就像認為川普是處於某種「勝敗」並存的疊加態中。這種疊加態的概率分配是這個人主觀的,其他人可能會有不同概率分配的主觀疊加態。

量貝模型創建者希望能用概率論來重新構建量子力學的標準理論。這個目標尚未達成,結論如何,還需拭目以待。但貝葉斯方法為量子詮釋提供了一種新視角【5】。之後介紹機器學習時,還將更詳細討論貝葉斯方法,下一篇將著重介紹隨機過程。

參考文獻:

【1】維基百科:貝葉斯概率

https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A6%82%E7%8E%87

【2】Edwin Thompson Jaynes. Probability Theory: The Logic of Science. Cambridge University Press, (2003).

【3】張天蓉. 走近量子糾纏系列之三:量子糾纏態[J]. 物理, 2014, 43(09): 627-630.

http://www.wuli.ac.cn/CN/abstract/abstract61515.shtml

【4】C. M. Caves, C. A. Fuchs and R. Schack, 「Quantum Probabilities as Bayesian Probabilities,」 Phys. Rev. A65, 022305 (2002).

【5】Hans Christian Von Baeyer,QBism: The Future of Quantum Physics,Harvard University Press,10/3/2016。

製版編輯:呂浩然丨


本頁刊發內容未經書面許可禁止轉載及使用

公眾號、報刊等轉載請聯繫授權

copyright@zhishifenzi.com

歡迎轉發朋友圈




▼▼▼點擊「閱讀原文」,牽手科學隊長!

相關焦點

  • 拿什麼拯救你量子力學-淺談量子貝葉斯
    量子貝葉斯模型本世紀初,有三位學者(美國的凱夫斯、富克斯、及英國的沙克)發表了一篇題為《作為貝葉斯概率的量子概率》的短論文【4】,探索一種量子力學的新詮釋。三人都是經驗豐富的量子信息理論專家,他們將量子理論與貝葉斯派的概率觀點結合起來,建立了「量子貝葉斯模型」(Quantum Bayesianism),或簡稱為「量貝模型」(QBism)。說來說去仍然回到了本文的起點:概率之本質及其來源的問題上,不過這次具體涉及到的是「貝葉斯派的概率觀」。對於概率的「主觀客觀」性,通常有兩種極端的解釋:頻率派和貝葉斯派。
  • 張天蓉:基本比率謬誤(base rate fallacy)-概率問題與貝葉斯定理...
    貝葉斯定理是他對概率論和統計學作出的最大貢獻,是當今人工智慧中常用的機器學習之基礎框架,它的思想之深刻遠出一般人所能認知,也許貝葉斯自己生前對此也認識不足。因為如此重要的成果,他生前卻並未發表,是他死後的1763年,才由朋友發表的。本篇將對貝葉斯定理稍作介紹,我們在本系列的後幾篇,將討論貝葉斯學派以及貝葉斯理論在人工智慧中的應用。
  • 科普| 貝葉斯概率模型一覽
    圖 1在每類任務中,又可以將各類模型歸結為概率模型和非概率模型,以下以監督學習為例說明。概率模型(生成模型)通過函數 F 來描述 X 和 Y 的聯合概率或者條件概率分布,如 P(X|Y);非概率模型(判別模型)通過函數 F 來直接描述 X 到 Y 的映射,如 Y=f(X)。
  • 貝葉斯、概率分布與機器學習
    貝葉斯定理的發現過程我沒有找到相應的資料,不過我相信託馬斯.貝葉斯(1702-1761)是通過生活中的一些小問題去發現這個對後世影響深遠的定理的,而且我相信貝葉斯發現這個定理的時候,還不知道它居然有這麼大的威力呢。
  • 貝葉斯系統學習之一:我是如何理解先驗概率和後驗概率的
    ,尤其是貝葉斯的應用,在終極算法一書中,提到了一個不可思議的觀點,貝葉斯有可能發展成終極算法,厲害吧。所以關於概率與統計的學習我是覺得越來越重要了,所以我之前在公眾號裡轉發了很多關於這方面的知識,最近也想系統的學習整理一下,在正式介紹貝葉斯相關應用的之前,先從最基本的概念開始吧,本文先介紹兩個你既熟悉,但又不能完全理解明白的概念,先驗概率和後驗概率。
  • 貝葉斯及概率統計角度
    理解概念學習逆概問題所謂的貝葉斯方法源於他生前為解決一個「逆概」問題寫的一篇文章,而這篇文章是在他死後才由他的一位朋友發表出來的。在貝葉斯寫這篇文章之前,人們已經能夠計算「正向概率」,如「假設袋子裡面有N個白球,M個黑球,你伸手進去摸一把,摸出黑球的概率是多大」。
  • 條件概率與貝葉斯統計
    從原則上說,這種方法的優點是無偏性,結論僅僅建立在觀測到的數據之上。但是,某些情況更適合使用另外一種統計方法:貝葉斯統計。圖1 太陽爆炸了嗎?圖 1 中畫的是什麼情況呢?頻率論統計學家很清楚,只有兩種可能:探測器擲出一對 6,表示它說了謊;或者擲出其他的數,表示它說的是真的。
  • 概率|全概率公式和貝葉斯公式
    註:有些條件概率不方便直接求,而用貝葉斯公式將其轉換後,每一項我們都可以求得,這種迂迴的方式很方便,但是剛開始使用大家可能在思路上轉不過來,覺得很亂,多做幾個題就會清晰許多,不信你試試    最後我想致謝白志惠老師,在這裡引用她之前寫的一篇文章——「狼來了」的貝葉斯公式解讀:    狼來了這個故事大家都聽過,那麼從心理角度分析,這個小孩是如何一步步喪失村民信任的呢?我們可以藉助貝葉斯公式來解讀。
  • 量子力學中的概率與經典概率在本質上有何區別?
    我們知道,量子力學是以統計學(概率)的方式對亞原子世界進行描述的一個物理理論。在量子力學中,我們通過理論計算,並不能準確預測出一個亞原子粒子在下一時刻會出現在什麼位置,但是我們可以給出它出現在任何一個位置的概率。
  • 全概率公式&貝葉斯公式
    該怎樣理解這兩個公式呢ԅ(¯ㅂ¯ԅ)?簡單來說,如果導致一個事件發生的原因有很多種,而且各種原因是互斥的,那麼這個事件發生的概率就是每種原因引起該事件發生的概率的總和,而求出這個概率,就是全概率公式要解決的問題而如果一個事件已經發生了,有很多原因都能導致這個事件發生。
  • 條件概率和貝葉斯公式:機器翻譯
    條件概率和貝葉斯公式:機器翻譯是怎麼工作的?到目前為止,我們講的和概率有關的隨機試驗都是獨立的,前後不相關。
  • 如何用貝葉斯概率思考未來?
    還有很多新興事物,壓根沒有先例,一種新發現的疾病,一個新的產品,一種新的市場策略,那怎麼判斷概率呢?瞎矇嗎?也對,也不對。這就需要貝葉斯學派了。貝葉斯學派的觀點是,概率是個主觀值,完全就是我們自己的判斷,我可以先估計一個初始概率 ,然後每次根據出現的新情況,掌握的新信息,對這個初始概率進行修正,隨著信息的增多,我就會慢慢逼近真實的概率。
  • 物理大師的困惑:概率從何而來?
    從這個意義上,溫伯格明確地站到了當年愛因斯坦和薛丁格的那一邊!令溫伯格深感困惑的問題之一,便是概率。決定論面臨破產量子力學與經典力學之不同,可以從它們對粒子(比如電子)運動的描述為例來說明。在牛頓力學中,粒子用它的「運動軌跡」來描述。
  • 2021考研數學備考指導:概率統計淺析貝葉斯公式及其應用
    2021考研數學備考指導:概率統計淺析貝葉斯公式及其應用 2021考研已經進入緊張的備考強化階段,考生務必要重視,打好基礎,為將來做準備!
  • 量子貝葉斯模型中,科學理論與人類經驗
    之前幾篇文章介紹過量子貝葉斯的基本觀點,本文介紹量子貝葉斯者眼中的科學理論。量子貝葉斯理論認為,量子力學提供了一種方法,使每個代理人能夠調研並且組織他們的個人經驗。 2 科學如何發展 當量子貝葉斯理論將概率的相關性限制在單個代理人上時,這意味著每個代理人的的概率網絡和其他人的都可能不一樣,各是各的概率網。若是這樣,科學是如何發展的?
  • 當量子力學遇上貝葉斯理論,薛丁格的貓終於不用既死又活了
    1 量子貝葉斯理論的誕生 2002年,美國的Carlton Caves、Christopher Fuchs和英國的RüdigerSchack,三人合作發表了一篇題為《作為貝葉斯概率的量子概率》的短論文,這標誌著量子貝葉斯理論的起源。
  • 謎一樣的概率權_詳細解讀_最新資訊_熱點事件_36氪
    假如我們持續觀察,並採用貝葉斯算法,可以算出作弊了的硬幣正面朝上的概率。 《統計學關我什麼事》對貝葉斯定理給出了以下描述: 主觀和客觀 通常所說的概率,是一個客觀的概念,答案是唯一的,例如扔一個標準的硬幣,正面朝上的概率是50%。 貝葉斯定理提及的「概率」,是一種「主觀概率」。
  • 從「概率論」到「量子力學」,嬌豔的數學之花在物理的土壤上怒放
    於是,人們開始使用「數學方法」研究各個領域中「各種結果」出現的「可能性大小」,一門具有劃時代意義的學科「概率論」誕生了。「概率論」發展之初,由於主要應用於「賭博術」,而且整個體系也並不「完整」和「嚴格」,因而並不受人們歡迎。
  • 機器學習 | 終於有人把條件概率和貝葉斯公式講明白了
    這就是大名鼎鼎的貝葉斯公式。實際上,這個公式裡包含了全概率公式、條件概率、貝葉斯準則。我們來挖掘一下裡面所蘊藏的重要內涵。貝葉斯公式將條件概率P(A|B)和條件概率P(B|A)緊密地聯繫起來,其最根本的數學基礎就是P(A|B)P(B)=P(B|A)P(A),它們都等於P(AB)。那這裡面具體的深刻內涵是什麼呢?我們接著往下看。
  • 從貝葉斯定理到概率分布:綜述概率論基本定義
    編者按:本文選自 Medium & analyticsvidhya,機器之心編譯。本文從最基礎的概率論到各種概率分布全面梳理了基本的概率知識與概念,這些概念可能會幫助我們了解機器學習或開拓視野。這些概念是數據科學的核心,並經常出現在各種各樣的話題上。重溫基礎知識總是有益的,這樣我們就能發現以前並未理解的新知識。