數學之美——貝葉斯網絡 (Bayesian Networks)

2021-02-20 算法與數學之美

我們在前面的系列中多次提到馬爾可夫鏈 (Markov
Chain)，它描述了一種狀態序列，其每個狀態值取決於前面有限個狀態。這種模型，對很多實際問題來講是一種很粗略的簡化。在現實生活中，很多事物相互的關係並不能用一條鏈來串起來。它們之間的關係可能是交叉的、錯綜複雜的。比如在下圖中可以看到，心血管疾病和它的成因之間的關係是錯綜複雜的。顯然無法用一個鏈來表示。

我們可以把上述的有向圖看成一個網絡，它就是貝葉斯網絡。其中每個圓圈表示一個狀態。狀態之間的連線表示它們的因果關係。比如從心血管疾病出發到吸菸的弧線表示心血管疾病可能和吸菸有關。當然，這些關係可以有一個量化的可信度 (belief)，用一個概率描述。我們可以通過這樣一張網絡估計出一個人的心血管疾病的可能性。在網絡中每個節點概率的計算，可以用貝葉斯公式來進行，貝葉斯網絡因此而得名。由於網絡的每個弧有一個可信度，貝葉斯網絡也被稱作信念網絡 (belief networks)。
和馬爾可夫鏈類似，貝葉斯網絡中的每個狀態值取決於前面有限個狀態。不同的是，貝葉斯網絡比馬爾可夫鏈靈活，它不受馬爾可夫鏈的鏈狀結構的約束，因此可以更準確地描述事件之間的相關性。可以講，馬爾可夫鏈是貝葉斯網絡的特例，而貝葉斯網絡是馬爾可夫鏈的推廣。
使用貝葉斯網絡必須知道各個狀態之間相關的概率。得到這些參數的過程叫做訓練。和訓練馬爾可夫模型一樣，訓練貝葉斯網絡要用一些已知的數據。比如在訓練上面的網絡，需要知道一些心血管疾病和吸菸、家族病史等有關的情況。相比馬爾可夫鏈，貝葉斯網絡的訓練比較複雜，從理論上講，它是一個 NP-complete 問題，也就是說，對於現在的計算機是不可計算的。但是，對於某些應用，這個訓練過程可以簡化，並在計算上實現。
值得一提的是 IBM Watson 研究所的茨威格博士 (Geoffrey Zweig) 和西雅圖華盛頓大學的比爾默 (Jeff Bilmes) 教授完成了一個通用的貝葉斯網絡的工具包，提供給對貝葉斯網絡有興趣的研究者。
貝葉斯網絡在圖像處理、文字處理、支持決策等方面有很多應用。在文字處理方面，語義相近的詞之間的關係可以用一個貝葉斯網絡來描述。我們利用貝葉斯網絡，可以找出近義詞和相關的詞，在 Google 搜索和 Google 廣告中都有直接的應用。

回復以下關鍵字獲取相關文章：

數據挖掘 | 機器學習 | 數學之美 | 遊戲算法 | 生活數學 | 排名算法 | 大型網站技術演進 | 數學名人 | 學科概述 | 計算機科學 | 搜尋引擎



據說好多人都不知道長按圖片也能關注，你知道嗎？



相關焦點

  • 數學之美:貝葉斯優化
    字幕組雙語原文：數學之美：貝葉斯優化英語原文：The Beauty of Bayesian Optimization, Explained in Simple Terms翻譯：季一帆、Icarus、問題定義：給定函數f(x)，該函數計算成本高、甚至可能不是解析表達式，同時假定函數導數未知。
  • 教程| 概率編程:使用貝葉斯神經網絡預測金融市場價格
    我不會過多深入貝葉斯模型或變分原理的數學、技術細節，而是會給出一些概述，也更多地將討論集中在應用場景當中。文中所用的代碼可以在以下連結中找到：https://github.com/Rachnog/Deep-Trading/tree/master/bayesian與此同時，我也推薦大家查閱我此前發布的基於神經網絡的財務預測教程：1.
  • 純貝葉斯神經網絡沒有意義?OpenAI科學家何出此言?
    選自Buckman's Homepage作者：Carles Gelada、Jacob Buckman機器之心編譯參與：魔王近日，OpenAI 研究科學家 Carles Gelada 發布推文，表示「貝葉斯神經網絡沒有意義」。
  • 【乾貨】為機器學習從業人員提供的貝葉斯學習核心路線
    貝葉斯統計是統計的一個分支，它的特點是把我們感興趣的量（比如統計模型的參數）看作隨機變量。給定觀察數據後, 我們對這些量的後驗分布進行分析從而得出結論。雖然貝葉斯統計的核心思想已歷經很多年了, 但貝葉斯的思想在過去近20年對機器學習產生了重大影響, 因為它在對真實世界現象建立結構化模型時提供了靈活性。
  • 數學之美:貝葉斯公式估算災備切換概率
    數學之美，在於使人一頭霧水詩歌之美，在於煽動男女出軌年少無知，不懂你的美狗日的中年，開始寫詩，編程，發現你的美災備，這麼冷門的詞彙，很多人覺得無趣然，災備也可以很有意思最近剛好在看數學相關的書看到一些有趣的理論，前面結合Python和自然語言處理用了一些今天繼續，
  • 貝葉斯優化之美:精妙算法背後的直覺
    例如，梯度下降可以獲得函數的導數，並利用數學捷徑來更快地計算表達式。另外，在某些優化場景中，函數的計算成本很低。如果可以在幾秒鐘內得到數百個輸入值x的變量結果，簡單的網格搜索效果會更好。另外，還可以使用大量非傳統的非梯度優化方法，如粒子群算法或模擬退火算法（simulated annealing）。但是，當前的任務沒有還沒這麼高級。
  • 貝葉斯定理：AI 不只是個理科生 | 贈書
    貝葉斯網絡，AI智慧的拓展語音識別，見證了貝葉斯定理的能力。貝葉斯網絡的拓展，則可以看到更強大的人工智慧未來。把某種現象的相關參數連接起來，再把數據代入貝葉斯公式得到概率值，公式結網形成一個成因網，即貝葉斯網絡，如下圖所示：這也是貝葉斯網絡被稱為概率網絡、因果網絡的原因。
  • 具有貝葉斯優化的XGBoost和隨機森林
    貝葉斯優化由兩個主要組成部分組成：用於對目標函數建模的貝葉斯統計模型和用於決定下一步採樣的採集函數。由於效用函數，貝葉斯優化在調整機器學習算法的參數方面比網格或隨機搜索技術更有效。它可以有效地平衡「探索」和「利用」，找到全局最優。為了呈現貝葉斯優化，我們使用用Python編寫的BayesianOptimization庫來調整隨機森林和XGBoost分類算法的超參數。
  • 大學生學數學不容錯過的《數學之美》
    統計方法、統計語言模型、中文信息處理、隱含馬爾科夫模型、布爾代數、圖論、網頁排名技術、資訊理論、動態規劃、餘弦定理、矩陣運算、信息指紋、密碼學、搜索技術、數學模型、最大熵模型、拼音輸入法、貝葉斯網絡、句法分析、維特比算法、各個擊破算法等。
  • 擬合目標函數後驗分布的調參利器:貝葉斯優化
    本文由機器之心編輯，「機器之心」專注生產人工智慧專業性內容，適合開發者和從業者閱讀參考。點擊右上角即刻關注。如何優化機器學習的超參數一直是一個難題，我們在模型訓練中經常需要花費大量的精力來調節超參數而獲得更好的性能。因此，貝葉斯優化利用先驗知識逼近未知目標函數的後驗分布從而調節超參數就變得十分重要了。
  • 數學背後的價值——讀《數學之美》
    數學可能是大多數學生最頭疼的科目，因為其要求抽象思維能力較高，也就是從枯燥的表達方式背後思考邏輯所在，並且這種邏輯會隨著情景的變化而不斷變化，這也導致了離開校園之後，多數人忽略了數學這門學科，韓寒說的數學學到初二就夠了，能算帳就行了，當然對於一般日常用是足夠的，但是對於想要與眾不同的人來說
  • 機器之心為你準備了一份中文資源合集
    機器之心也介紹過許多數學基礎與概念：基礎入門：深度學習矩陣運算的概念和代碼實現想了解概率圖模型？你要先理解圖論的基本定義與形式深度神經網絡中的數學，對你來說會不會太難？Reddit 熱門話題：如何閱讀並理解論文中的數學內容？
  • 貝葉斯和貝葉斯公式
    貝葉斯在數學方面主要研究概率論。他首先將歸納推理法用於概率論基礎理論，並創立了貝葉斯統計理論，對於統計決策函數、統計推斷、統計的估算等做出了貢獻。貝葉斯的另一著作《機會的學說概論》發表於1758年。貝葉斯所採用的許多術語被沿用至今。貝葉斯思想和方法對概率統計的發展產生了深遠的影響。今天，貝葉斯思想和方法在許多領域都獲得了廣泛的應用。從二十世紀20~30年代開始，概率統計學出現了「頻率學派」和「貝葉斯學派」的爭論，至今，兩派的恩恩怨怨仍在繼續。貝葉斯決策理論是主觀貝葉斯派歸納理論的重要組成部分。
  • 深度網絡揭秘之深度網絡背後的數學
    翻譯 | 灰灰在學習、Disillusion校對 | 醬番梨        整理 | 菠蘿妹原文連結：lhttps://towardsdatascience.com/https-medium-com-piotr-skalski92-deep-dive-into-deep-networks-math
  • 詳解凸優化、圖神經網絡、強化學習、貝葉斯方法等四大主題
    2020-11-23 20:23:27　來源: 算法與數學之美 舉報
  • 2021考研數學備考指導:概率統計淺析貝葉斯公式及其應用
    2021考研數學備考指導:概率統計淺析貝葉斯公式及其應用 2021考研已經進入緊張的備考強化階段，考生務必要重視，打好基礎，為將來做準備！
  • 貝葉斯牧師和福爾摩斯先生
    該軟體由拉德堡德大學的一個研究小組於2000年開發，採用貝葉斯網絡技術，能夠綜合對比來自遇難者幾個不同的家庭成員的DNA信息。法醫研究所最終能在2014年12月鑑定出298名遇難者中294人的身份，應歸于波拿巴的精確和高效。
  • 巧妙算法背後的直覺:淺談貝葉斯優化之美
    它的名字叫做：貝葉斯優化。它能夠有效克服上述難點，並且試圖用最少的步驟找到全局最小值。1貝葉斯優化之美先構建一個函數C(x)，描述了在給定輸入x的情況下的成本開銷。在行話術語裡，這一函數也叫作 "目標函數"，一般來說C(x)的表達式會隱藏在優化器之中。而貝葉斯優化是通過尋找「替代函數」完成任務，替代函數替代一詞指的是目標函數的近似。
  • 貝葉斯神經網絡毫無意義嗎?Twitter、Reddit雙戰場辯論,火藥味十足!
    為了更加明晰「貝葉斯網絡沒啥用」的立場，近期Carles Gelada 和 Jacob Buckman重新梳理了他們的思路，專門寫了一篇博客，從貝葉斯網絡的原理入手，詳細闡述了「BNNs需要先驗信息豐富的先驗知識才能處理不確定性」的觀點，並指出泛化的代價不容忽視。
  • 基於多源信息融合及貝葉斯網絡的 小子樣可靠性評估
    趙科淵　徐格寧 陸鳳儀 戚其松太原科技大學機械工程學院 太原 030024摘 要：針對故障樹布爾邏輯難以描述事件之間的關係，在實際應用中可靠性數據獲取不足的問題，提出一種新的基於多源信息融合方法和貝葉斯網絡的小子樣多態系統可靠性評估方法。以貝葉斯網絡為基礎，將ML- Ⅱ多源信息融合法應用於節點的可靠度確定中。