如何通俗地解釋貝葉斯線性回歸的基本原理?

2021-02-20 愛數據原統計網


任何的一個基礎模型都可以演變成貝葉斯模型。在一個基礎模型之下我們需要去estimate一些未知的參數（比如在linear regression, 需要去計算W這個向量）， 但在貝葉斯模型下我們需要去計算的是W的分布（而不是W的point estimation)，用其分布直接計算對y的預測值p(y|x,D)，所以我們需要去需要integrate W，也就是說我們把所有可能的W向量都會去考慮， 這也為什麼貝葉斯模型通常intractable, 所以我們需要用MCMC或者variational方法，而不是直接用優化的方法。在貝葉斯模型之下， 隨著我們observe more and more data , 我們會對W向量的分布會有更清晰的推斷，這其實就是posterior inference. 

下面簡單說一下一些預測模型之間的聯繫：

我們一般考慮3種預測模式，Maximum likelihood estimation (ML), Maximum a posteriori estimation（MAP)， 貝葉斯模型.  前兩者屬於point estimation. 

Maximum likelihood estimation (ML): 這是最簡單的point estimation,  也就是我們需要去計算P(D|W), 從而找到最優化的W. 它的缺點就是數據比較少的時候往往overfit。

Maximum a posteriori estimation (MAP). 他是在ML的基礎上加了prior, 也就是假定了一些P(W)的分布。在MAP情況下我們需要計算P(W|D) (從貝葉斯定理，我們可以得到 P(W|D) \prop P(W) \times P(D|W)).  在linear regression上加上prior其實相當於加了regularization. 如果我們假定P(W)服從高斯分布，那我們加的實際上是L2_norm, 如果我們假定P(W)是拉普拉斯分布，那我們加的是L1_norm(linear regression情況下就是相當於LASSO，會有sparse的特點）。 但是即使regularization會防止overfitting, 但我們還是需要設置regularization coefficient \lamda （比如 minimize \sum_i (y_i-f(_ix,w))^2 + \lamda ||w||_2^2).  lamda的設置一般需要用cross validation,或者用一些統計學的方法（儘管實際上沒有多少人用這個）， 所以在MAP的情況下設置這些regularization coefficient成了難題。 

貝葉斯模型：

好了，MAP的一些limitation 貝葉斯可以幫我們解決. 貝葉斯的特點就是考慮整個W的分布，所以自然而然也就是防止overfitting. 在貝葉斯模型下，我們需要計算P(W|D), 但不要忘記，在這裡我們是計算W的分布，而不是W的一個最優化的值！（不同於MAP)。 當然，貝葉斯的優點也帶來了一些麻煩，就是它的計算比前兩個方法複雜的多。如果想深入了解的話可以去翻翻MCMC或者variational inference文章讀一讀。

Ideally, 如果我們的數據非常多， ML的效果已經很好了。 數據越多，我們的prior P(W)的作用會越小。



作者：李文哲

來源：知乎

連結：https://www.zhihu.com/question/22007264/answer/20014371



相關焦點

  • 入門| 貝葉斯線性回歸方法的解釋和優點
    本文對比了頻率線性回歸和貝葉斯線性回歸兩種方法，並對後者進行了詳細的介紹，分析了貝葉斯線性回歸的優點和直觀特徵。我認為貝葉斯學派和頻率學派之間的紛爭是「可遠觀而不可褻玩」的學術爭論之一。與其熱衷於站隊，我認為同時學習這兩種統計推斷方法並且將它們應用到恰當的場景之下會更加富有成效。
  • 貝葉斯線性回歸在期貨交易中的應用
    貝葉斯線性回歸模型與經典的線性回歸模型有很大區別，後者把回歸係數看作是固定的未知參數，而前者則把回歸係數看作是一個未知的概率分布，然後根據可獲得的樣本對這些未知分布進行推斷。在計算待預測變量的分布時需要根據回歸係數的分布在給定自變量的情況下進行採樣，從而得到待預測變量的分布。因此通常訓練貝葉斯模型和利用該類模型做預測的計算量都會比常規線性回歸要大。
  • 你了解機器學習中的線性回歸嗎
    偏置項允許模型將其計算的線性超平面移開原點，從而允許模型對非零中心數據中的關係進行建模。簡化後的模型可以表示為。 這是大多數線性回歸實現的基礎模型。然而，在此基本結構上可以存在許多變體，每種變體都有其自身的缺點和益處。例如，有一個線性回歸版本稱為貝葉斯線性回歸，它通過在模型的權重上放置先驗分布來引入一個貝葉斯觀點。這樣可以更容易地推斷模型正在做什麼，隨後使其結果更具有解釋性。
  • ...詳解線性回歸、樸素貝葉斯、隨機森林在R和Python中的實現應用...
    、邏輯回歸、樸素貝葉斯（Naive Bayes）、kNN、隨即森林，等等。線性回歸（Linear Regression）2. 邏輯回歸（Logistic Regression）3. 決策樹（Decision Tree）4. SVM5. 樸素貝葉斯（Naive Bayes）6. K最近鄰（kNN）7. K均值算法（K-Means）8.
  • 線性回歸採用最小二乘作為loss的解釋
    1 　　線性回歸問題的通俗解釋 　　小編對於線性回歸的通俗解釋就是，根據已知的一元或多元特徵和特徵對應的結果，挖掘出一組參數分別和特徵值相乘，通過構造的多項式來對未知結果的數據集進行預測的方程叫做線性回歸。
  • 詳解線性回歸、樸素貝葉斯、隨機森林在R和Python中的...
    、邏輯回歸、樸素貝葉斯（Naive Bayes）、kNN、隨即森林，等等。線性回歸（Linear Regression）線性回歸常用於根據連續變量估計實際數值（房屋成本、電話呼叫次數、總銷售額等）。在此，我們通過擬合一條最佳直線來建立自變量和因變量之間的關係。這條最佳擬合直線被稱為回歸線，用線性方程Y= a *X + b 來表示。回顧童年經歷能幫你更好地理解線性回歸。
  • 原理+代碼|Python實戰多元線性回歸模型
    其中多元共線性這個問題將貫穿所有的機器學習模型，所以本文會「將原理知識穿插於代碼段中」，爭取以不一樣的視角來敘述和講解「如何更好的構建和優化多元線性回歸模型」。主要將分為兩個部分：詳細原理Python 實戰Python 實戰Python 多元線性回歸的模型的實戰案例有非常多，這裡雖然選用的經典的房價預測
  • 多元線性回歸的模型解釋、假設檢驗、特徵選擇
    多元線性回歸:這是一種線性回歸的形式，當有兩個或多個預測因子時使用。我們將看到多個輸入變量如何共同影響輸出變量，同時還將了解計算與簡單LR模型的不同之處。我們還將使用Python構建一個回歸模型。最後，我們將深入學習線性回歸，學習共線性、假設檢驗、特徵選擇等內容。
  • 簡單線性回歸模型
    高爾頓解釋說，自然界存在某種約束力將人的身高向某個平均數靠攏——或者說是回歸——也即是統計學上回歸的涵義。本期我們的主題便是通過R來解決線性回歸分析中的若干問題。通常在線性回歸中估計未知參數方法是最小二乘法（OLS），而為了保證估計值能夠很好的解釋模型，我們又有如下前提條件：這些條件又被稱為高斯—馬爾可夫條件，它們保證了在經典線性回歸中最小二乘估計的優越性。
  • 涵蓋邏輯回歸、貝葉斯等算法,一本關於ML在線免費書籍,值得一讀
    近日，本科畢業於哈佛大學統計學與經濟學專業、現任哈佛助教的 Daniel Friedman 開放了他撰寫的一本免費在線書籍《Machine Learning from Scratch》，該書從理論和數學上介紹了 ML 最常見算法（OLS、邏輯回歸、樸素貝葉斯、決策樹、boosts 和神經網絡等）的完整推論。
  • SPSS-線性相關與多重線性回歸
    對服從正態分布的定量資料，我們探討線性相關，對計數和等級資料，我們探討秩相關，今天的內容，便是定量資料的相關與回歸。1 簡單線性相關與回歸：例：探討身高與前臂長的相關性① 繪製散點圖（直觀的反應兩者關係）：② 求相關係數（兩變量相關關係的方向及密切程度）：
  • 簡單線性回歸(一)
    回歸分析（regression analysis ）是研究一個變量如何隨另一些變量變化的方法。例如，學習成績會受努力的時間，方法，個人的智慧，教育資源等因素影響；疾病的發生與生活環境，方式，遺傳因素，自身體質等影響。常見的回歸分析有 線性回歸、非線性回歸、多重線性回歸、Logistic回歸等等。
  • 清華大學計算機科學與技術系朱軍教授:機器學習裡的貝葉斯基本理論...
    來自清華大學計算機科學與技術系的朱軍副教授做了題為《貝葉斯學習前沿進展》的開場分享課。總共2個小時時長的課程，內容主要分為三大部分：貝葉斯基本理論、模型和算法；可擴展的貝葉斯方法；深度生成模型。本文乃三大內容中的第一部分：貝葉斯基本理論、模型和算法。
  • 模式識別與機器學習(教學大綱)|向量|貝葉斯|算法|神經網絡_網易訂閱
    以貝葉斯學習思想貫穿始終，並適時與其他重要知識點（如支持向量機、深度學習）等進行交叉和關聯，便於讀者在形成良好知識體系的同時保持對整個領域知識的把握。　　全書共14章和4個附錄，循序漸進地剖析模式識別與機器學習領域。
  • 基於貝葉斯推斷的回歸模型(理論篇)| 機器學習你會遇到的「坑」
    Example：簡單線性模型的正則化在《過擬合問題》中，同樣提到了簡單線性模型的正則化，比如說我們的嶺回歸（Ridge Regression），它的優化函數為：我們在前面說，簡單線性模型假設我們的目標值服從高斯分布，事實上，正則化則對應著參數的高斯先驗分布
  • 了解線性回歸的數學原理:線性回歸背後的微積分
    線性回歸通常是任何機器學習課程的起點。目的是預測輸入變量與目標變量之間的線性關係。天真的情況是穿過空間原點的直線。在這裡，我們僅限於二維空間，即笛卡爾平面。讓我們從y = mx格式開始逐步發展，然後從y = mx + c回歸開始。y = mx的簡化方案在這種情況下，我們知道我們要對通過原點的數據擬合一條線。
  • SPSS加權線性回歸案例實踐,解決異方差問題
    線性回歸時要求殘差方差齊次，通俗理解為所有的觀測數據在計算過程中具有相同的貢獻。但是實踐中有時候會出現殘差方差不齊的情況，此時普通最小二乘法不再適用。 通常來說，此類情況可以使用加權的最二乘法（WLS）擬合線性回歸模型。WLS會降低具有較大方差的觀測數據對分析過程的影響。
  • 【線性回歸】多變量分析:多元回歸分析
    實際上大部分學習統計分析和市場研究的人的都會用回歸分析，操作也是比較簡單的，但能夠知道多元回歸分析的適用條件或是如何將回歸應用於實踐，可能還要真正領會回歸分析的基本思想和一些實際應用手法！強調線性是因為大部分人用回歸都是線性回歸，線性的就是直線的，直線的就是簡單的，簡單的就是因果成比例的；理論上講，非線性的關係我們都可以通過函數變化線性化，就比如：Y=a+bLnX，我們可以令 t=LnX，方程就變成了 Y=a+bt，也就線性化了。
  • 線性回歸:簡單線性回歸詳解
    【導讀】本文是一篇專門介紹線性回歸的技術文章，討論了機器學習中線性回歸的技術細節。線性回歸核心思想是獲得最能夠擬合數據的直線。
  • 介紹利用貝葉斯統計的一個實踐案例
    然而，問題的重點並不在於我的體重與樣本相比如何。假設越南男性人口的健康狀況良好，並且整個越南人口可以由這383個人代表，但考慮到1米68的身高因素，我們可以推斷出我的體重與整個越南人口相比是什麼情況。 為此，我們需要深入研究回歸分析。 第一步繪製關於身高和體重的二維散點圖。