【乾貨】為機器學習從業人員提供的貝葉斯學習核心路線

2021-01-10 智能觀

貝葉斯統計是統計的一個分支，它的特點是把我們感興趣的量（比如統計模型的參數）看作隨機變量。給定觀察數據後, 我們對這些量的後驗分布進行分析從而得出結論。雖然貝葉斯統計的核心思想已歷經很多年了, 但貝葉斯的思想在過去近20年對機器學習產生了重大影響, 因為它在對真實世界現象建立結構化模型時提供了靈活性。算法的進步和日益增長的計算資源使得我們可以擬合豐富的、高度結構化的模型, 而這些模型在過去是很棘手的。

這個路線圖旨在給出貝葉斯機器學習中許多關鍵思想的指引。如果您正考慮在某些問題中使用貝葉斯方法, 您需要學習"核心主題"中的所有內容。即使您只是希望使用諸如 BUGS、Infer.NET，或 Stan等軟體包, 這些背景知識也對您很有幫助。如果這些軟體包不能馬上解決您的問題, 但知道模型的大致思想可幫助您找出問題所在。

如果您正考慮研究貝葉斯機器學習, 那麼許多論文會假設您已經掌握了核心主題的內容以及部分進階主題的內容, 而不再給出參考文獻。閱讀本路線圖時, 我們不需要按順序學習, 希望本文可以在您需要時為您提供幫助。

項目參考：

https://metacademy.org/roadmaps/rgrosse/bayesian_machine_learning

 

本文目錄結構如下:

1. 核心主題

1.1 中心問題

參數估計

模型比較

1.2 非貝葉斯方法

最大似然

正則化

EM算法

1.3 基本推斷算法

MAP估計

Gibbs採樣

馬爾科夫鏈蒙特卡洛(MCMC)

變分推斷(Variational inference)

1.4 模型

混合高斯

因子分析

隱馬爾科夫模型(HMM)

1.5 貝葉斯模型比較

貝葉斯信息準則(Bayesian information criterion)

拉普拉斯近似(Laplace approximation)

2. 進階主題

2.1 模型

邏輯回歸(Logistic regression)

貝葉斯網絡(Bayesian networks)

Latent Dirichlet allocation(LDA)

線性動態系統(Linear dynamical systems)

稀疏編碼(Sparse coding)

2.2 貝葉斯非參數

高斯過程(Gaussian processes)

Chinese restaurant process(CRP)

Hierarchical Dirichlet process

Indian buffet process(IBP)

Dirichlet diffusion trees

Pitman-Yor process

2.3 採樣算法

摺疊Gibbs採樣(Collapsed Gibbs sampling)

哈密爾頓蒙特卡洛(Hamiltonian Monte Carlo)(HMC)

切片採樣(Slice sampling)

可逆跳躍MCMC(reversible jump MCMC)

Sequential Monte Carlo(SMC)

粒子濾波器(Particle filter)

退火重要性採樣(Annealed importance sampling)

2.4 變分推斷

變分貝葉斯(Variational Bayes)

平均場近似(Mean field approximation)

期望傳播(expectation propagation)

2.5 信念傳播(Belief propagation)

    2.5.1 樹結構圖模型

Sum-product algorithm

Max-product algorithm

    2.5.2 非樹結構圖模型

循環信念傳播(Loopy belief propagation)

連接樹算法(Junction tree algorithm)

2.6 理論

無信息先驗(uninformative priors)

最大似然的漸進(asymptotics of maximum likelihood)

來源：cnblogs

相關焦點

  • 【乾貨】數據挖掘中算法學習的2條進擊路線
    第1條路線(基於普通最小二乘法的)簡單線性回歸→線性回歸中的新進展(嶺回歸和LASSO回歸) → (此處可以插入Bagging和AdaBoost的內容) → Logistic回歸 →支持向量機(SVM) →感知機學習→神經網絡(初學者可先主要關注BP算法) →深度學習
  • 清華大學朱軍:貝葉斯學習回顧與最新進展|YEF 2020
    其中，朱軍教授做了題為《貝葉斯學習回顧與展望》報告，總時長為1個小時左右，內容主要分為五個部分：貝葉斯理論應對不確定性、貝葉斯理論和經典算法、可擴展的貝葉斯方法、珠算編程庫以及應用貝葉斯理論的一些例子。下文是本場報告的文字版，由 AI 科技評論編輯。1貝葉斯應對不確定性為什麼要用貝葉斯做機器學習或者人工智慧？
  • 清華大學計算機科學與技術系朱軍教授:機器學習裡的貝葉斯基本理論...
    周志華教授擔任學術主任，前來授課的嘉賓均為中國機器學習界一流專家、資深科研人員和企業精英，包括：耿新、郭天佑、劉鐵巖、王立威、葉傑平、於劍、餘揚、張長水、鄭宇、朱軍。來自清華大學計算機科學與技術系的朱軍副教授做了題為《貝葉斯學習前沿進展》的開場分享課。總共2個小時時長的課程，內容主要分為三大部分：貝葉斯基本理論、模型和算法；可擴展的貝葉斯方法；深度生成模型。
  • 流行的機器學習算法總結,幫助你開啟機器學習算法學習之旅
    AI的ML領域是為實現非常精確的目標而創建的，它引入了多種算法，從而可以更順暢地進行數據處理和決策。什麼是機器學習算法？機器學習算法是任何模型背後的大腦，可讓機器學習並使其更智能。這些算法的工作方式是，為它們提供第一批數據，並且隨著時間的流逝和算法的準確性的提高，額外的數據也被引入到算法中。
  • 機器學習算法集錦:從貝葉斯到深度學習及各自優缺點
    選自static.coggle.it機器之心編譯在我們日常生活中所用到的推薦系統、智能圖片美化應用和聊天機器人等應用中，各種各樣的機器學習和數據處理算法正盡職盡責地發揮著自己的功效。本文篩選並簡單介紹了一些最常見算法類別，還為每一個類別列出了一些實際的算法並簡單介紹了它們的優缺點。
  • 清華大學朱軍:貝葉斯學習回顧與最新進展| YEF 2020
    其中，朱軍教授做了題為《貝葉斯學習回顧與展望》報告，總時長為1個小時左右，內容主要分為五個部分：貝葉斯理論應對不確定性、貝葉斯理論和經典算法、可擴展的貝葉斯方法、珠算編程庫以及應用貝葉斯理論的一些例子。　　下文是本場報告的文字版，由 AI 科技評論編輯。
  • 10本機器學習和數據科學的必讀書籍推薦
    雷鋒網按：Matthew Mayo 是知名數據科學網站 KDnuggets 的副主編，同時也是一位資深的數據科學家、深度學習技術愛好者，在機器學習和數據科學領域具有豐富的科研和從業經驗。近日，他在 KDnuggets 上推薦了一份機器學習和數據科學相關的免費必讀書單，雷鋒網特來與大家分享。
  • 深度學習貝葉斯,這是一份密集的6天速成課程(視頻與PPT)
    選自GitHubBayesian Methods Research Group機器之心整理在 Deep|Bayes 夏季課程中，授課人將討論貝葉斯方法如何結合深度學習，並在機器學習應用中實現更好的結果。近期研究表明貝葉斯方法的利用可以帶來許多好處。學生將學到對理解當前機器學習研究非常重要的方法和技術。
  • 機器學習算法之樸素貝葉斯
    一、貝葉斯定理貝葉斯定理由英國數學家貝葉斯(Thomas Bayes 1702-1761)發展用來描述兩個條件概率之間的關係在B條件下A發生的概率： P(A∣B)=P(AB)/P(B)在A條件下B發生的概率： P(B∣A)=P(AB)/P
  • 專欄| 貝葉斯學習與未來人工智慧
    果然，在第四季第 2 集中我們看到了下圖中的公式（用紅框標出）——貝葉斯定理！該定理素以其簡單而優雅的形式、深刻而雋永的意義而聞名，在今天的機器學習大潮中，貝葉斯定理仍會扮演重要的角色，而且其作用將日益凸顯。1. 貝葉斯定理貝葉斯定理是英國數學家貝葉斯提出的，當時的目標是要解決所謂「逆概率」問題。
  • 模式識別與機器學習(教學大綱)|向量|貝葉斯|算法|神經網絡_網易訂閱
    以貝葉斯學習思想貫穿始終，並適時與其他重要知識點（如支持向量機、深度學習）等進行交叉和關聯，便於讀者在形成良好知識體系的同時保持對整個領域知識的把握。　　全書共14章和4個附錄，循序漸進地剖析模式識別與機器學習領域。
  • 貝葉斯機器學習到底是什麼?看完這篇你就懂了
    編者按：不少人都在機器學習的過程中聽說過貝葉斯分類器，但它是如何與機器學習建立聯繫的？作者Zygmunt Zając提供了一些基礎概念，編者也嘗試對其中的一些概念進行簡化說明，讓小白們也能容易地理解貝葉斯在機器學習中所起的作用。貝葉斯學派與頻率主義學派簡單說來，貝葉斯學派認為，概率是一個人對於一件事的信念強度，概率是主觀的。但頻率主義學派所持的是不同的觀念：他們認為參數是客觀存在的， 即使是未知的，但都是固定值，不會改變。
  • 詳解凸優化、圖神經網絡、強化學習、貝葉斯方法等四大主題
    在本期訓練營（第四期）中我們對內容做了大幅度的更新，一方面新增了對前沿主題的講解如圖神經網絡（GCN,GAT等），另外一方面對核心部分（如凸優化、強化學習）加大了對理論層面上的深度。：Deep RL　　　　項目作業：強化學習在遊戲中的應用案例　　　　第十三周: 自然語言處理中的RL　　　　第四部分 貝葉斯方法　　第十四周：貝葉斯方法論簡介
  • Python帶你實踐機器學習聖經PRML
    【新智元導讀】PRML是模式識別和機器學習領域的經典著作，出版於2007年。該書作者 Christpher M. Bishop 是模式識別和機器學習領域的專家，其1995年所著的「Nerual Networks for Pattern Recognition」也是模式識別、人工神經網絡領域的經典著作。
  • 技術乾貨 | 如何選擇上班路線最省時間?從A/B測試數學原理說起
    比如，怎麼選擇最優的上班的路線才能使途中花費的時間最少？假設每天上下班路線是確定的，我們便可以在帳本中記下往返路線的長度。A/B測試便是基於數據來進行優選的常用方法，在記錄多次上班路線長度後，我們便會從數據中發現到一些模式（例如路線A比路線B花的時間更少），然後最終一致選擇某條路線。
  • 機器學習的統計方法 貝葉斯決策理論入門
    引言無論你是在建立機器學習模型還是在日常生活中做決定，我們總是選擇風險最小的方案。作為人類，我們天生就採取任何有助於我們生存的行動；然而，機器學習模型最初並不是基於這種理解而建立的。這些算法需要經過訓練和優化，以選擇風險最小的最優方案。此外，很重要的一點在於，我們必須明白，如果某些高風險的決定做的不正確，將會導致嚴重的後果。我們以癌症診斷為例。
  • 人工智慧視域下機器學習的教育應用與創新探索
    美國2017國家教育技術計劃《重塑技術的教育角色》，在學習部分指出：在移動數據收集工具和在線協作平臺的支持下，能夠為所有學生獲得個性化學習服務提供機遇；在領導力部分指出：個性化學生學習將作為有效領導力的核心關注領域之一，技術能夠為學生提供個性化學習路徑；在測評部分指出：形成性和總結性評價數據的收集和整合，能支持學習者生成個性化數字學習體驗，以及教師制定教學幹預和決策。
  • 想入門機器學習?機器之心為你準備了一份中文資源合集
    它是幾乎所有機器學習實現的基礎，因此了解它的工作原理、關注向量化和廣播（broadcasting）是非常必要的。這些技術可以幫助加速大多數算法的學習過程，利用多線程和 SIMD、MIMD 架構的力量。官方文檔已經很完整了，不過，我還建議大家看一下以下資源：《Python 數據科學手冊：數據使用的核心工具》，VanderPlas J.
  • 概率機器學習綻放光彩,Uber首席科學家獲英國皇家學會獎項
    他還是半監督學習方法、主動學習算法和稀疏高斯過程的提倡者之一。他提出的新型無窮維非參數模型（如無窮潛在特徵模型）對機器學習領域產生了極大影響。他是劍橋大學信息工程學教授、倫敦 Gatsby 計算神經科學中心的創始人員、阿蘭 · 圖靈研究所劍橋主任、Uber 首席科學家。2015 年，Zoubin Ghahramani 當選為英國皇家學會會士。
  • 概率機器學習綻放光彩,Uber首席科學家Zoubin獲英國皇家學會獎項
    個人主頁：http://mlg.eng.cam.ac.uk/zoubin/Zoubin Ghahramani 是機器學習領域中的領軍學者，尤其對概率機器學習和貝葉斯非參數方法，以及用於可擴展學習的近似變分推斷算法的發展做出了基礎性貢獻