機器學習 | 三:似然函數例子解析

2021-02-08 機器學習之家



似然函數是一種關於統計模型中的參數的函數，表示模型參數中的似然性。


給定輸出 x 時，關於參數 θ 的似然函數 L(θ|x)，在數值上它等於給定參數 θ 後變量 X 的概率：


這個是非常重要的！


舉個例子，我們拋擲一枚硬幣，這枚硬幣不是理論上的一半一半的出現概率，而是動了手腳的，出現正面的概率是0.2，現在我們預測一下拋擲10次，出現正面的次數是多少，如果用 X 表示出現正面的次數，那麼

P(X) = 0.2

E(X) = 0.2 * 10 = 2 次


現在我們拋擲10枚這個硬幣，結果顯示，有2次出現正面，現在預測下這枚硬幣出現正面的概率到底有多大呢？這就是一個似然問題，求解模型本身的一些屬性。求解它需要假定誤差分布滿足高斯分布，然後求出似然函數，因為既然已經發生了，就直接求概率發生的最大值吧，既然求最值，自然就能求出出現正面的概率參數來了。



概率與似然的不同

概率用於在已知一些參數的情況下，預測接下來的觀測所得到的結果。


而似然性則是用於在已知某些觀測所得到的結果時，對有關事物的性質的參數進行估計：似然是在知道輸出結果（比如，對應1萬個樣本結果），求事物的性質的參數，如線性回歸的中的權重參數。


轉自：算法channel

閱讀夥伴公眾號更多精彩內容，點擊 「 閱讀原文 」

相關焦點

  • 機器學習儲備(3):似然函數例子解析
    似然函數是個什麼函數，它的意義是什麼？它與概率相比，有什麼不同嗎？似然函數是一種關於統計模型中的參數的函數，表示模型參數中的似然性。給定輸出 x 時，關於參數 θ 的似然函數 L(θ|x)，在數值上它等於給定參數 θ 後變量 X 的概率：這個是非常重要的！
  • [257]先驗概率、似然函數與後驗概率(1)
    海量數據處理系列的前兩篇：[213]籤名：集合的歸納描述[207]海量數據相似性檢測：文檔的抽塊處理(Shingling)其他系列：[152]清高與小我：談技術人員的優越感(4)[150]清高與小我：談技術人員的優越感(3)[149]清高與小我：談技術人員的優越感(2)[148]清高與小我
  • 一文通俗解釋極大似然估計
    我們都知道機器學習的大致流程是通過建立一個合理的模型學習現有數據集，然後通過該模型去完成特定的任務。其中每個模型都包含自身的一組特定參數，而這組參數決定著模型的本身。但這裡存在一個很關鍵的一個問題，就是我們如何去找到一組參數使得模型能夠最好的去擬合現有數據集呢？ 針對上述問題， 極大似然估計為我們提供了一種很好的解決思路，本文將給大家解釋極大似然估計的原理和分析步驟。
  • 零基礎概率論入門:最大似然估計
    在這篇文章中，我將解釋用於參數估計的最大似然方法是什麼，然後通過一個簡單的例子來展示這一方法。其中一些內容需要概率論的一些基礎概念，例如聯合概率和獨立事件。所以如果你覺得需要溫習一下這些概念的話，可以參考我的上一篇文章。在機器學習中，我們經常使用模型描述從數據中觀測結果的過程。
  • 最小二乘法原理(中):似然函數求權重參數
    作者：alg-flody編輯：Emily首先構建似然函數 L( | x) ，假設一共有 m 個房屋相關樣本，那麼進一步得到似然函數（它是參數為自變量的函數，這個一定要注意了，似然函數將概率轉化為似然，這個還是似然的強大之處了）：
  • 何為似然函數?
    何為似然？     很多時候基礎的概念沒搞懂，或者知道了只知道照著例子套用，知其然而不知其所以然。
  • 你還認為似然函數跟交叉熵是一個意思呀?
    似然函數不就是交叉熵嗎？」「機器學習中的似然函數怎麼看起來跟概率統計課本裡的不一樣呢？」「學長學長，我把這個model的輸出接上交叉熵後怎麼報錯了？」 「似然函數」名字的意義已經在以前的多篇文章中提過了，更通用的定義來說，似然函數就是衡量當前模型參數對於已知樣本集X的解釋情況，通用的表現形式如下：
  • 極大似然估計法的理解指南
    今天講一個在機器學習中重要的方法——極大似然估計。這是一個，能夠讓你擁有擬合最大盈利函數模型的估計方法。
  • 從最大似然估計開始,你需要打下的機器學習基石
    在廣告預測收入的例子中，x 可以表示廣告支出，y 是產生的收入。m 和 c 則是這個模型的參數。這些參數的不同值將在坐標平面上給出不同的直線（見下圖）。參數值不同的三個線性模型。我們找到的參數值被稱為最大似然估計（maximum likelihood estimates，MLE）。我們同樣將用一個例子來演示這個過程。假設這次有三個數據點，我們假設它們是從一個被高斯分布充分描述的過程生成的。這些點是 9、9.5 和 11。
  • 機器學習中的目標函數總結
    關注「SIGAI公眾號」，選擇「星標」或「置頂」原創技術文章，第一時間獲取機器學習中的目標函數總結SIGAI幾乎所有的機器學習算法都歸結為求解最優化問題。有監督學習算法在訓練時通過優化一個目標函數而得到模型，然後用模型進行預測。無監督學習算法通常通過優化一個目標函數完成數據降維或聚類。
  • 什麼是極大似然估計?
    ，或者最大似然估計，它是一種參數估計方法。在機器學習中，邏輯回歸就是基於極大似然估計來計算的損失函數。那麼，如何直觀理解極大似然估計？極大似然估計（maximum likelihood estimation，MLE），顧名思義，「極大」意為「最有可能的」，「似然」意為「看起來像的」，「估計」的意思則可以理解為「就是這樣的」。
  • 機器學習常用損失函數小結
    本文將介紹機器學習、深度學習中分類與回歸常用的幾種損失函數，包括均方差損失 Mean Squared Loss、平均絕對誤差損失 Mean Absolute Error Loss、Huber Loss、分位數損失 Quantile Loss、交叉熵損失函數 Cross Entropy Loss、Hinge 損失 Hinge Loss。
  • R語言:Newton法、似然函數
    hello，大家好，上一篇分享了如何用R語言實現蒙特卡洛模擬，並用蒙特卡洛模擬計算了分布的均值和方差，今天給大家分享如何用R語言來進行矩估計和似然函數的求解。因為在求解矩估計和似然函數時，可能會遇到非線性方程組，所以先給大家介紹一下如何用Newton法來求解非線性方程組。
  • 【康普森GS專欄】混合線性模型系列之三:似然函數
    如何寫出似然函數，如何使用R語言編程實現：◆正態分布數據似然函數◆線性回歸似然函數◆用R語言自帶的函數計算極值1.1 正態分布函數2.2 聯合密度的似然函數當n個觀測值相互獨立，他們的似然函數（等價於聯合密度函數）為：
  • 一文讀懂矩估計、極大似然估計和貝葉斯估計
    機器學習中常常使用的是極大似然估計法和貝葉斯估計法。公眾號後臺回復關鍵字：源碼， 獲取本文含有公式latex源碼的原始markdown文件。極大似然估計法先代入參數值計算觀測樣本發生的概率，得到似然函數，然後對似然函數求極大值，得到對應的參數，即為極大似然估計參數。
  • 機器學習常用損失函數總覽:基本形式、原理、特點
    本文將介紹機器學習、深度學習中分類與回歸常用的幾種損失函數，包括均方差損失 Mean Squared Loss、平均絕對誤差損失 Mean Absolute Error Loss、Huber Loss、分位數損失 Quantile Loss、交叉熵損失函數 Cross Entropy Loss、Hinge 損失 Hinge Loss。
  • 極大似然估計詳解
    未知參數只有一個（θ為標量）        在似然函數滿足連續、可微的正則條件下，極大似然估計量是下面微分方程的解：         若似然函數滿足連續可導的條件，則最大似然估計量就是如下方程的解。，則似然函數為：
  • 提前一年的押題——最大似然估計
    今天要給大家講的，是統計學中的一個核心理念，也是考研數學中的一個核心考點，核心到，我起了個驚悚的標題「提前一年的押題——最大似然估計」，因為自09年起，09、11、12、13、14、15、17、18、19、20年考試中，均出現了本考點，就在試卷第23題，想必倒過來說大家更容易印象深刻，除了10年和16年，年年都考了。
  • 以色列理工暑期學習-機器學習中Loss函數的小結
    機器學習作為一種優化方法，最重要的一點是找到優化的目標函數——損失函數和正則項的組合；有了目標函數的「正確的打開方式」，才能通過合適的機器學習算法求解優化
  • 從最大似然到EM算法淺解
    這個函數放映的是在不同的參數θ取值下，取得當前這個樣本集的可能性，因此稱為參數θ相對於樣本集X的似然函數（likehood function）。記為L(θ)。這裡出現了一個概念，似然函數。還記得我們的目標嗎？我們需要在已經抽到這一組樣本X的條件下，估計參數θ的值。怎麼估計呢？似然函數有啥用呢？那咱們先來了解下似然的概念。