貝葉斯定理:AI 不只是個理科生 | 贈書

2020-09-20 CSDN程序人生

作者 | 量子君

來源 | 量子學派(ID:quantumschool)

A.I.的背後

2015年, AlphaGo與人類圍棋天才李世石五番棋決戰。

第四局,李世石判斷黑空中有棋,下出白78挖。

李世石這史詩級的「神之一手」,體現了人類巔峰的直覺、算力和創造力。

五年過去了,李世石這位天才棋手已經退役。

AI卻在各個智力領域將人類逼得連連敗退。

2016年,DeepMind又打敗當時世界排名第一的柯潔。

2017年,Libratus贏得了德州撲克大戰。

2018年,Watson肺癌治療精確度達到90%超過人類醫生。

2019年,A.I.又開始了「深度學習」暴風雨式的革命。

…………

也有人說,自然科學領域A.I.可以戰勝人類。

但在藝術領域,人工智慧它沒有辦法與人類比肩。

A. I.真的就不懂藝術嗎?

即使它寫不出《第九交響曲》這樣的經典,

難道不能創作出朗朗上口的兒歌?

即使A.I.不能「自由思考主觀表達」,

但在藝術上助力人類總可以吧。

A.I.真的不能「主觀創造」?

A. I.的思維方式到底是怎樣的?

A. I.的智能與人類智力到底有何不同?

要回答這些問題,我們先要研究「貝葉斯定理」。

因為它是隱藏在A.I.背後的智能基石。

「不科學」的貝葉斯公式

歷史有許多天才,生前籍籍無名,死後眾人崇拜。

18世紀數學家託馬斯·貝葉斯也是其中一位。

「貝葉斯」定理源於解決「逆向概率」問題時寫的論文。

在此之前,人們只會計算「正向概率」

什麼是「正向概率」呢:

假設袋子裡面有P只紅球,Q只白球,它們除了顏色之外,其它性狀完全一樣。你伸手進去摸一把,摸到紅球的概率是多少是可以推算出來的。

但反過來是否也可以計算,我們可以將它視為「逆向概率」:

如果我們事先並不知道袋子裡面紅球和白球的比例,而是閉著眼睛摸出一些球,然後根據手中紅球和白球的比例,對袋子裡紅球和白球的比例作出推測。

這個問題就是逆向概率問題。

通俗地講,就像一個迷信星座的HR,如果碰到一個處女座應聘者,HR會推斷那個人多半是一個追求完美的人。

這就是說,當你不能準確知悉某個事物本質時,你可以依靠經驗去判斷其本質屬性。

這個研究看起來平淡無奇,名不見經傳的貝葉斯也未引人注意。

他寫的論文直到他死後的第二年,才由他的一位朋友在1763年發表。

明珠蒙塵,就像畫界的梵谷,畫稿生前無人問津,死後價值連城。

為什麼貝葉斯定理200多年來一直被雪藏,不受科學家待見?

因為它與當時的經典統計學相悖,甚至是「不科學」的。

經典統計學中,數字規律來源於隨機取樣再行計算。

貝葉斯方法則建立在主觀判斷基礎上,你可以先估計一個值,然後根據客觀事實不斷修正。

從主觀猜測出發,這顯然不符合科學精神,所以貝葉斯定理為人詬病。

1774年,法國的大數學家拉普拉斯也看到貝葉斯定理的價值。

不過他知道人類的普遍毛病,總是用傳統來反對新思想。

他懶得與人爭論,直接給出數學表達:

貝葉斯公式是這樣工作的

貝葉斯定理簡單優雅、深刻雋永。

貝葉斯定理並不好懂,每一個因子背後都藏著深意。

它到底是如何「為人民服務」的呢?

對於貝葉斯定理,參照上面的公式,首先要了解各個概率所對應的事件。

P(A|B)是在B發生的情況下A發生的概率;

也叫作A的後驗概率,是在B事件發生之後,對A事件概率的重新評估。

P(A)是A發生的概率;

也叫作A的先驗概率,是在B事件發生之前,對A事件概率的一個判斷。

P(B|A)是在A發生的情況下B發生的概率。

P(B)是B發生的概率。

而貝葉斯定理的含義也不言而喻:先預估一個「先驗概率」,再加入實驗結果,看這個實驗到底是增強還是削弱了「先驗概率」,修正後得到更接近事實的「後驗概率」。

就知道你沒看懂……那還是舉個例子吧!

我們以COVID-19疫情為例。

假設COVID-19的發病率是0.001,即1000人中會有1個人得病。

某病毒研究所研發出了一種試劑,可以用來檢驗你是否得病。

它的準確率是0.99。即在你確實得病的情況下,它有99%的可能呈現陽性。

它的誤報率是0.05,即在你沒有得病的情況下,也有5%可能呈現陽性(也就是醫學界令人頭疼的「假陽性」)

可怕的事情來了:如果你的檢驗結果為陽性,那你確實生病的可能性有多大?

這是一個要命的問題,你一定想知道結果,所以你得好好看以下推論。

假定A事件表示生病,那麼P(A)為0.001,這就是「先驗概率」。

假定B事件表示陽性,那麼要計算P(A|B),即檢測後對發病率的估計。

P(B|A)表示生病情況下呈陽性,也就是「真陽性」,P(B|A)為0.99。

P(B)是一種全概率,為每一個樣本子空間中發生B概率的總和。它有兩個子情況,一個是沒有誤報的「真陽性」,一個是誤報了的「假陽性」,套用全概率公式後:

一種準確率為99%的試劑,你被檢測到呈陽性。

你可能被嚇得失魂落魄,人生就這樣88了嗎?

可在貝葉斯的眼中,這種可信度也不過2%。

原因無它,5%的誤報率在醫學界可謂非常高了。

別看表面的數據,我們要相信貝葉斯的數學結論。

看似冷酷的貝葉斯定理會溫柔的安慰你:

別怕,不到2%的概率。

貝葉斯公式取得了人類信任

今天的貝葉斯理論已經開始遍布各地。

從物理學到癌症研究,從生態學到心理學,

貝葉斯定理幾乎像「熱力學第二定律」一樣放之宇宙皆準了。

物理學家提出量子機器的貝葉斯解釋,捍衛弦和多重宇宙理論。

哲學家主張作為一個整體的科學可以被視為一個貝葉斯過程。

而在IT界,AI大腦的思考和決策樹,更是被工程師設計成了一個貝葉斯程序。

在日常生活中,我們也常使用貝葉斯公式進行決策,只是自己沒有注意到這就是「貝葉斯定理」。

比如我們到河邊釣魚,根本就不知道哪裡有魚,似乎只能隨機選擇,但實際上我們會根據貝葉斯方法,利用以往積累經驗找一個回水灣區開始垂釣。

這就是根據先驗知識進行主觀判斷,在釣過以後加強這種判斷,然後下一次進行再選擇。

所以,在認識事物不全面的情況下,貝葉斯方法是一種理性且科學的方法。

貝葉斯理論現在被認可主要來源於兩件事:

❶《聯邦黨人文集》作者揭密

1788年,《聯邦黨人文集》匿名出版,兩位作者寫作風格幾乎一致。其中12篇文章作者存在爭議,而要找出每一篇文章的作者極其困難。

兩位統計學教授採用以貝葉斯公式為核心的分類算法,10多年的時間,他們推斷出12篇文章的作者,而他們的研究方法也在統計學界引發轟動。

❷美國天蠍號核潛艇搜救

1968年5月,美國海軍天蠍號核潛艇在大西洋亞速海海域失蹤。軍方通過各種技術手段調查無果,最後不得不求助於數學家John Craven。

Craven提出的方案同樣也使用了貝葉斯公式,搜索某個區域後根據搜索結果修正概率圖,再逐個排除小概率的搜索區域,幾個月後,潛艇果然在爆炸點西南方的海底被找到了。

2014年初馬航MH370航班失聯,科學家想到的第一個方法就是利用海難空難搜救的通行方法——貝葉斯定理開始區域搜索。

這個時候,貝葉斯公式已經名滿天下了。

貝葉斯定理展示「神跡」

當然,貝葉斯定理名揚天下,主要還是在人工智慧領域的應用。

特別是自然語音的技術識別,讓人類見識了A.I.的「思考力」。

人類語言的多義性,可以說是信息裡最複雜最動態的一部分。

機器怎麼知道你在說什麼?

2020年,只要你看到機器翻譯的準確性,

你也會感嘆這簡直就是「神跡」,它們比大部分現場翻譯要強得多。

語音識別本質上是找到概率最大的文字序列。

一旦出現條件概率,貝葉斯定理總能挺身而出。

我們用P(f|e)區別於以上的P(A|B)來解釋語音識別功能。

統計機器翻譯的問題可以描述為:給定一個句子e,它可能的外文翻譯f中哪個是最靠譜的。

即我們需要計算:P(f|e)

這個式子的右端很容易解釋:

那些先驗概率較高,並且更可能生成句子e的外文句子f將會勝出。

我們只需簡單統計就可以得出任意一個外文句子f的出現概率。

隨著大量數據輸入模型進行迭代,隨著計算能力不斷提高,隨著大數據技術的發展,貝葉斯定理威力日益凸顯,貝葉斯公式巨大的實用價值也愈發體現出來。

語音識別僅僅只是貝葉斯公式運用的其中一個例子。

實際上,貝葉斯思想已經滲透到了人工智慧方方面面。

貝葉斯網絡,AI智慧的拓展

語音識別,見證了貝葉斯定理的能力。

貝葉斯網絡的拓展,則可以看到更強大的人工智慧未來。

藉助經典統計學,人類已經解決了一些相對簡單的問題。

然而經典統計學方法卻無法解釋複雜參數所導致的現象,例如:

龍捲風的成因,2的50次方種可能的最小參數值比對;

星系起源,2的350次方種可能的星雲數據處理;

大腦運作機制,2的1000次方種可能的意識量子流;

癌症致病基因,2的20000次方種可能的基因圖譜;

……

面對這樣數量級的運算,經典統計學顯得力不從心。

科學家別無選擇,最終尋找貝葉斯定理給予幫助。

把某種現象的相關參數連接起來,再把數據代入貝葉斯公式得到概率值,公式結網形成一個成因網,即貝葉斯網絡,如下圖所示:

這也是貝葉斯網絡被稱為概率網絡、因果網絡的原因。

利用先驗知識和樣本數據,確立隨機變量之間的關聯,然後得出結論。

一個又一個的節點,一個又一個的概率,都來源於人類的先驗知識,有效知識越多,貝葉斯網絡展示的力量越讓人震撼。

今天一場轟轟烈烈的「貝葉斯革命」正在AI界發生:

貝葉斯公式已經滲入到工程師的骨子裡,貝葉斯分類算法也成為主流算法。

在很多工程師眼中,貝葉斯定理就是AI發展的基石。

A.I.的思考方式:無文理之分

讀懂了貝葉斯定理,也就基本理解了A.I.的思考方式。

這也是為什麼「大數據+算法+算力」構成人工智慧三要素。

❶大數據,它是A.I.的老師,它教會A.I.成為一個什麼樣的人。

❷算力,這屬於個人能力,長大後的A.I.處理問題時需要的能量。

❸算法,創世主賦予的方法論(天賦),算法越優秀越事半功倍。

從這些核心要素出發,我們回頭來看開頭的問題:

A. I.真的不懂藝術嗎?

它不能「主觀創造」嗎?

它在藝術上不能助力人類嗎?

答案是否定的,人工智慧思維方式並無文理之別。

它是個理科生,也是個文科生,還是個藝術生。

A.I.的思維基因來源於主觀性「貝葉斯定理」,只要有好的數據,機器經過學習,可以創作出經典藝術作品。

當前,「AI+藝術」已經成為新思潮。

法國藝術團隊Obvious通過繪畫數據創作《愛德蒙德貝拉米》A.I.藝術品,在佳士得拍出432500美元高價,震驚世人。

AI也能作曲!OpenAI神經網絡已經能創作任何流派。2019年,來自澳洲的《絕美世界》獲得AI版「歐洲歌唱大賽」冠軍,這支歌曲以紀念澳洲大火中喪生的動物為背景,以歐洲歌唱大賽歌曲為大數據,交由AI譜曲填詞。

知名音樂人Newton Rex談到:音樂人生充滿創意,用正面眼光看待AI在音樂中扮演的角色,音樂教育,人類與AI也可以攜手。

A.I.會說出「我思故我在」嗎?

從貝葉斯定理出發,工程師認為人工智只能是數學概率,

絕不會產生自由意志;

人們一直相信,AI永遠不懂人的愛恨情仇,就像白天不懂夜的黑。

然而,人工智慧對藝術的模擬,已經超越大部分人的鑑別能力,

不久將來,AI可能會通過「音樂圖靈測試」,

最好的音樂AI與最偉大的音樂教師又有何分別?

也許AI距離在藝術領域大規模的應用尚有差距,

但騰訊在運用AI力量普及藝術教育方面的探索,未嘗不是一種很好的探索。

Google自動駕駛汽車的操縱系統;

挑戰人類最後智慧堡壘的AlphaGo系統;

騰訊OpenAI在音樂生成方面的新創作;

從貝葉斯網絡到神經網絡,AI越來越像人。

這一切,都建立在在貝葉斯定理的基因上。

如果AI能夠創造一首歌,那麼它就能成為偉大的音樂教堂。

笛卡爾說出「我思故我在」時,被認為是「人類的覺醒」。

A.I.有一天也會問「我是誰」嗎?

如果人類想在底層系統中預設答案。

那麼我們會設定:

你是「具有自由意志的A.I.」,

還是「你是人類創造的A.I.」。

還想聽更多關於數學、AI知識?由量子學派打造的《公式之美》來了!

內容簡介:

人類發明數學公式,來描繪浩瀚宇宙和人生百態。世界的繁華秀麗,映襯出符號公式的簡潔之美。愛因斯坦的質能方程和楊振寧的規範場,摸索出宇宙終極遊戲的規則;費馬大定理和歐拉恆等式,揭示出宇宙變化背後的數學世界;從凱利公式到貝葉斯定理,逐漸完全預測人類行為;蝴蝶效應的洛倫茲方程組和三體問題,則告訴我們數學的界限。

量子學派傾心打造《公式之美》,包含23個普遍、深刻、實用的公式,書寫天才們探索自然和社會的輝煌歷史。

作者簡介:

量子學派:是一個專注於自然科學領域(數理哲)的教育平臺,其公眾號 「量子學派」發布的自然科學類文章閱讀量大都是10萬+,全國十大科普教育平臺。平臺推出了一系列深受廣大讀者好評的課程,包括《數學之美》《邏輯之美》《理性之美》《科學之美》等。

程序人生攜手【北京大學出版社】送出

《公式之美》一本

截至9月21日14:00點

相關焦點

  • 貝葉斯定理:AI不只是個理科生
    為什麼貝葉斯定理200多年來一直被雪藏,不受科學家待見?因為它與當時的經典統計學相悖,甚至是「不科學」的。經典統計學中,數字規律來源於隨機取樣再行計算。從主觀猜測出發,這顯然不符合科學精神,所以貝葉斯定理為人詬病。1774年,法國的大數學家拉普拉斯也看到貝葉斯定理的價值。不過他知道人類的普遍毛病,總是用傳統來反對新思想。
  • 貝葉斯定理為何能名滿天下?AI從此不再只是個理科生
    為什麼貝葉斯定理200多年來一直被雪藏,不受科學家待見? 因為它與當時的經典統計學相悖,甚至是「不科學」的。 經典統計學中,數字規律來源於隨機取樣再行計算。
  • 貝葉斯定理
    此前有業內人士將期貨交易比喻為「賭博」,而貝葉斯定理或許是個提高獲勝率的好辦法。【貝葉斯定理】貝葉斯定理也稱貝葉斯公式,是關於隨機事件A和B的條件概率或邊緣概率的一則定理,指當分析樣本大到接近總體數時,樣本中事件發生的概率將接近於總體中事件發生的概率。
  • 30分鐘了解貝葉斯定理――AI產品經理了解的數學知識系列
    貝葉斯定理提供的是一種逆條件概率的方法,本文簡單總結了貝葉斯定理是什麼,貝葉斯定理應用的理解,以及貝葉斯定理在AI場景下的應用,目的是希望產品經理了解到這個定理的能力後,在設計相關推薦或是具有推理功能的應用場景,能通過貝葉斯定理來解決。
  • 形象理解貝葉斯定理
    以圖形方式理解定理和證明是一種可視化信息和數據的有效方式,而且不僅以可視方式呈現數據已被證明長期有效。因此,本文以可視方式透徹展示、講解概率概念。本文安排如下:1. 什麼是條件概率?2. 總概率定律3. 貝葉斯定理4. 貝葉斯定理的應用什麼是條件概率?
  • 懂貝葉斯定理,學會理解生活
    就是這樣的一個數學定理,能讓我們更好地做出決定,更好地理解事物。接下來,就讓我們一起來了解一下這個定理,以及它如何能讓我們的生活變得更好吧!貝葉斯定理要理解貝葉斯定理,我們先來看一個「對方到底喜不喜歡你?」的例子。李雷經常單獨找韓梅梅聊天,而韓梅梅想知道李雷是不是喜歡自己。在這裡,李雷喜歡韓梅梅是事件A,而李雷經常和韓梅梅聊天是事件B。
  • 貝葉斯定理的通俗理解
    樸素貝葉斯是一種基於貝葉斯定理的簡單概率分類器(分類又被稱為監督式學習,所謂監督式學習即從已知樣本數據中的特徵信息去推測可能出現的輸出以完成分類
  • 為什麼樸素貝葉斯定理會被叫做樸素的?
    樸素貝葉斯算法是一種基於著名貝葉斯定理的分類算法。那麼讓我們先了解一下Bayes定理是怎麼說的,並為樸素貝葉斯算法定理建立自己的理解,它是如何工作的,它為什麼被稱作樸素的?貝葉斯定理在深入研究貝葉斯定理之前,我們需要了解一些術語-獨立事件和從屬事件邊際概率聯合概率條件概率獨立事件和從屬事件考慮兩個事件A和B。
  • 基於貝葉斯定理的算法——樸素貝葉斯分類
    不過今天我們介紹的樸素貝葉斯分類器通過獨立假設簡化了概率的計算,節省了內存,可以很好地用於數據量大的情況。下面我們首先來了解這一算法的數理背景——貝葉斯定理。這一算法是由我們在概率論中學到的貝葉斯定理延伸出來的。我們知道貝葉斯公式為:其中,
  • 這個例子讓你精通貝葉斯定理
    全文共2450字,預計學習時長5分鐘貝葉斯定理可能是數理統計與概率論領域最重要的定理。因此,該定理經常應用於數據科學領域。本文將通過實際問題對貝葉斯定理進行直觀推導。簡介以18世紀英國數學家託馬斯貝葉斯命名的貝葉斯定理是確定條件概率的數學公式,其在數據科學領域具有重要意義。
  • 極具震撼力的貝葉斯定理,作為數據科學人的您咋能錯過?
    作者 | KHYATI MAHENDRU編譯 | CDA數據分析師An Introduction to the Powerful Bayes' Theorem for Data Science Professionals概述貝葉斯定理是統計學中最強大的概念之一,而貝葉斯定理也是數據科學專業人員必須知道的定理熟悉貝葉斯定理,其工作原理及其多種多樣的應用本文中有許多直觀的例子來理解貝葉斯定理背後的思想介紹
  • 貝葉斯定理:多一點人生經驗還是有用的
    總覺得哪裡不對可能很多人對貝葉斯定理這個名詞還很陌生,但是大家在生活中都會不自覺地用到它,只是很多時候,我們用反了。這些直覺思維都是遵從了貝葉斯定理。簡單來說,所謂貝葉斯定理,指的就是我們的經驗可以修正我們的理論,相信理論與事實的偏差,相信事出反常必有妖,這就是貝葉斯定理的通俗描述。你有病嗎貝葉斯定理在生活中也有正向的用途。再給大家舉個例子。想像這麼一個場景:我開著車,經過筆直的大道,快速的往下一個路口駛去。我知道,到了下一個路口就要右轉了。
  • 可怕的貝葉斯定理,看完後忍不住感慨數學太重要了
    學多點知識你好我也好今天,超模君來講講貝葉斯定理。眾所周知,貝葉斯定理是一種在已知其他概率的情況下求概率的方法:圖片來源:HackYourself既然開講了,那就不要停下來了。那我們怎麼去理解這個傳說中不黃但很暴力的貝葉斯定理呢,貝葉斯定理是如何暴力狂虐數學界的?
  • 「貝葉斯定理」在生活中很有用,它到底是如何算出來的?
    學生即使學了貝葉斯定理,也只把它當作一個數學公式,不知道它對學習統計學有什麼幫助,更不知道它具備生活實用性。其次,貝式定理的數學表示式難以背誦;即使一時背了,也容易忘記。許多學生因此強記上述公式以準備考試,只求能解題而不求理解;公式反而成為學習貝葉斯定理的主要障礙。本文的主要目的是要破除許多學生對於貝式定理「困難又不實用」的刻板印象。事實上,我們生活之中有許多情況必須要運用貝式定理的邏輯思考,否則便容易產生偏差甚至陷於謬誤。被撞到的都是好人?讓貝葉斯定理算給你看看
  • 貝葉斯定理還能用來把妹......
    原來可以用來把妹今天,小天有點煩躁地拿著個筆到處走來走去,超模君實在看不下去,就問了小天到底在煩些什麼,原來小天在糾結貝葉斯定理到底厲害在哪裡!打個比方,劉同學看上了個漂亮的小姐姐。但是他覺得小姐姐平時比較高冷,長得又好看,肯定難追,追了也沒用。於是超模君拋出了一個問題,即讓劉同學求小姐姐對自己的好感度:P(小改改好感度>80)=?劉同學:「不知道啊,我哪知道人家的想法,感覺不出來,反正就是覺得沒戲。」超模君:「那你有追高冷漂亮小姐姐100000次的重複經歷嗎?
  • 樸素貝葉斯:幫助AI產品經理「小步快跑,快速迭代」
    貝葉斯定理相信不少人都接觸過,這個看似只屬於數學領域的定理,在AI產品經理看來有怎樣的魅力呢?我們常常遇到這樣的場景。與友人聊天時,一開始可能不知道他要說什麼,但是他說了一句話之後,你就能猜到接下來他要講什麼內容。友人給的信息越多,我們越能夠推斷出他想表達的含義,這也是貝葉斯定理所闡述的思考方式。
  • 學不好數學連新聞都看不明白?貝葉斯定理幫你消化新聞
    圖源:unsplash 生活中,我們常常需要在變化了的或者不確定的情況下做出決策,這時,貝葉斯定理就是你的最佳助手。它本應用於日常生活為人們創造價值,但卻局限在了教科書和機器學習應用程式領域。到了該解放它的時候了!
  • 透徹理解貝葉斯推理
    前邊在文章透徹理解最大似然估計,闡述如何理解最大似然進行參數估計,本文將討論使用貝葉斯推理進行參數估計。我還將展示如何將此方法視為最大似然的概括,以及在何種情況下這兩種方法是等價的。貝葉斯定理在介紹貝葉斯推理之前,有必要理解貝葉斯定理。貝葉斯定理真的很酷。
  • 貝葉斯定理是怎麼幫助我們計算出檢驗系統的可靠性和客戶PPM的?
    貝葉斯定理也稱貝葉斯推理,早在18世紀,英國學者貝葉斯(1702~1763)本職是一個牧師,業務愛好數學,他想通過數學概率統計的方式來證明上帝是存在的。在這個過程中,他發明了貝葉斯定理。貝葉斯定理是用來計算,在已知(或已有初步經驗)某件事A發生的概率的情況,當事件B發生時,A實際發生的條件概率。
  • 科普丨樸素貝葉斯了解一下
    要理解樸素貝葉斯,我們首先需要了解貝葉斯推斷。貝葉斯推斷是一種用貝葉斯定理來迭代假設概率的方法。貝葉斯定理是在掌握與相關事件的先決信息下,計算該事件的概率。假設你想計算星期天下午5點得到一個停車位的概率。那麼你如何計算這一事件的概率呢?是的,貝葉斯定理!數學上貝葉斯定理寫為:這裡"B"是一個條件,"A"是一個事件。