何為似然函數?

2021-03-02 金融科技與大數據

何為似然?

     很多時候基礎的概念沒搞懂,或者知道了只知道照著例子套用,知其然而不知其所以然。對於知識的理解只能到達會運用的層面。而對於知識的創新運用是遠遠不足的。

     似然和概率在統計學中是經常見到的兩個術語,有時候這兩個概念是一個意思,有時候卻有很大區別。這裡梳理下這兩個術語所代表的具體含義。

      wiki中關於「似然」和「概率」的解釋

     在頻率推論中,似然函數(常常簡稱為似然)是一個在給定了數據以及模型中關於參數的函數。在非正式情況下,「似然」通常被用作「概率」的同義詞。

    在數理統計中,兩個術語則有不同的意思。「概率」描述了給定模型參數後,描述結果的合理性,而不涉及任何觀察到的數據。而「似然」則描述了給定了特定觀測值後,描述模型參數是否合理。

離散隨機變量角度看待「似然」與「概率」

     當我們在處理離散型隨機變量時候,(例如,擲10硬幣的結果這樣的數據時候)。這時候我們就可以根據觀測到的結果計算這種結果出現的概率,當然這有一個前提是硬幣是均勻的,和擲硬幣的事件都是獨立的。 這時我們想要計算的就是「概率」用P(O|θ)來表示。換個角度可以理解為,當給定了特定的參數θ時候,P(O|θ)就是我們觀測到O觀測值時候的概率。 但是,當我們想來刻畫一個實際的隨機過程時候,我們常常並不知道θ參數是什麼。我們只有觀測值O,基於這個觀測值我們往往想得到一個關於θ的估計值θ̂ 。當給定θ 時候我們可以得到觀測值O是P(O|θ)。當然反過來,對於估計過程是在選擇一個θ̂ 最大值,這個值就等價於真實觀測值O的概率。換而言之,是在尋找一個值θ̂ 的最大化使得

                L(θ|O)=P(O|θ)

這個L(θ|O)就叫做似然函數。 很明顯這是一個在已知觀測值O為條件關於未知參數θ的似然函數。

從連續型隨機變量角度看待「似然」與「概率」

    對於連續型隨機變量與離散隨機變量有一個非常重要的區別,就是人們不會去關注給定θ後觀測值O得概率。 因為,連續型隨機變量存在無限多的結果(無限可分),這些結果是無法被窮盡的。 我們給出某一個結果對應的概率是沒有意義的(連續型隨機變量產生的結果是無限的, 落在任何一個「可能的結果」上的概率幾乎都為0,也就是P(O|θ)=0)。 當然,可以變換一種方式既給出落在結果區間範圍上的概率,而非給出單個結果的概率,來解決這個問題。 對於觀測值O,可以用概率密度函數(PDF:probability density function)來表示為:f(O|θ)。 因此,在連續的情況下,我們通過最大化以下函數來估計觀察到的結果O:

                 L(θ|O)=f(O|θ)

在這種情況下,我們不能在技術上斷言我們找到最大化觀察O的概率的參數值,因為我們最大化的是與觀察結果O相關的PDF。

「似然」和「概率」是站在兩個角度看待問題

對於這個函數:

                   P(O|θ)

輸入有兩個:O表示某一個具體的數據;θ表示模型的參數。

如果θ是已知確定的,O是變量,這個函數叫做概率函數(probability function),它描述對於不同的樣本O,其出現概率是多少。

如果O是已知確定的,θ是變量,這個函數叫做似然函數(likelihood function), 它描述對於不同的模型參數,出現x這個樣本點的概率是多少。

相關焦點

  • R語言:Newton法、似然函數
    hello,大家好,上一篇分享了如何用R語言實現蒙特卡洛模擬,並用蒙特卡洛模擬計算了分布的均值和方差,今天給大家分享如何用R語言來進行矩估計和似然函數的求解。因為在求解矩估計和似然函數時,可能會遇到非線性方程組,所以先給大家介紹一下如何用Newton法來求解非線性方程組。
  • 機器學習 | 三:似然函數例子解析
    似然函數是一種關於統計模型中的參數的函數,表示模型參數中的似然性。
  • 機器學習儲備(3):似然函數例子解析
    似然函數是個什麼函數,它的意義是什麼?它與概率相比,有什麼不同嗎?似然函數是一種關於統計模型中的參數的函數,表示模型參數中的似然性。給定輸出 x 時,關於參數 θ 的似然函數 L(θ|x),在數值上它等於給定參數 θ 後變量 X 的概率:這個是非常重要的!
  • [257]先驗概率、似然函數與後驗概率(1)
    這是對不確定性(而不是隨機性)賦予一個量化的數值的表徵,這個量化數值可以是一個參數,或者是一個潛在的變量。 先驗概率僅僅依賴於主觀上的經驗估計,也就是事先根據已有的知識的推斷, 在應用貝葉斯理論時,通常將先驗概率乘以似然函數(likelihoodfunction)再歸一化後,得到後驗概率分布,後驗概率分布即在已知給定的數據後,對不確定性的條件分布。
  • 最小二乘法原理(中):似然函數求權重參數
    作者:alg-flody編輯:Emily首先構建似然函數 L(為自變量的函數,這個一定要注意了,似然函數將概率轉化為似然,這個還是似然的強大之處了):上式的意思是 m 個樣本的誤差分布的概率乘積,這就是概率似然函數。提到似然函數,那不得不提最大似然函數估計吧,為什麼呢?
  • 【康普森GS專欄】混合線性模型系列之三:似然函數
    如何寫出似然函數,如何使用R語言編程實現:◆正態分布數據似然函數◆線性回歸似然函數◆用R語言自帶的函數計算極值1.1 正態分布函數2.2 聯合密度的似然函數當n個觀測值相互獨立,他們的似然函數(等價於聯合密度函數)為:
  • 你還認為似然函數跟交叉熵是一個意思呀?
    似然函數不就是交叉熵嗎?」「機器學習中的似然函數怎麼看起來跟概率統計課本裡的不一樣呢?」「學長學長,我把這個model的輸出接上交叉熵後怎麼報錯了?」 「似然函數」名字的意義已經在以前的多篇文章中提過了,更通用的定義來說,似然函數就是衡量當前模型參數對於已知樣本集X的解釋情況,通用的表現形式如下:
  • 霸王柘科普 極大似然估計法(MLE)和似然值(Likelihood)
    過去在當我為別人講解某一個數學知識點時,往往需要先為聽眾補充大量的「天書」一般的預備知識,這就使得許多同學懷有「數學之難,難於上青天」的感慨。所以在本節,我努力用最樸實的語言,最簡單的案例,來給讀者初步地講解極大似然估計法和似然值這兩個概念。
  • 似然比檢驗 - CSDN
    是否為真實約束)。似然比檢驗的思想是:「如果參數約束是有效的,那麼加上這樣的約束不應該引起似然函數最大值的大幅度降低。 檢驗、 為每個假設似然函數的最大值。考慮似然比(LR):      關於似然函數,可以參考: 似然與極大似然估計似然函數及最大似然估計及似然比檢驗 似然比檢驗LRT的應用廣泛,包括:均值(包括均值向量)的比較、重複度量
  • 極大似然估計詳解
    轉化為估計參數。這裡就將概率密度估計問題轉化為參數估計問題,極大似然估計就是一種參數估計方法。當然了,概率密度函數的選取很重要,模型正確,在樣本區域無窮時,我們會得到較準確的估計值,如果模型都錯了,那估計半天的參數,肯定也沒啥意義了。
  • 極大似然估計法的理解指南
    ,並求解 x,所得到的 x 即為駐點,駐點回代原函數可得極值。為 θ 的似然函數,上式是其樣本取對應觀察值的概率。同時,如果有  的一般步驟:寫出似然函數  ;對似然函數取對數(視情況而定);求對數似然函數對未知參數的導函數
  • 一文通俗解釋極大似然估計
    針對上述問題, 極大似然估計為我們提供了一種很好的解決思路,本文將給大家解釋極大似然估計的原理和分析步驟。在這裡我們有三枚硬幣A、B、 C, 其中其拋到正面的概率p分別為1/3,1/2,2/3.我們選擇其中一枚去做100次拋硬幣實驗,最後得到正面朝上的次數為40,反面朝上的次數為60。我們該如何去判斷是我們選擇的是A、B、C中的那一枚呢?在這裡使用極大似然估計,我們分別計算其似然函數結果如下:
  • 提前一年的押題——最大似然估計
    今天要給大家講的,是統計學中的一個核心理念,也是考研數學中的一個核心考點,核心到,我起了個驚悚的標題「提前一年的押題——最大似然估計」,因為自09年起,09、11、12、13、14、15、17、18、19、20年考試中,均出現了本考點,就在試卷第23題,想必倒過來說大家更容易印象深刻,除了10年和16年,年年都考了。
  • 從最大似然到EM算法淺解
    這個函數放映的是在不同的參數θ取值下,取得當前這個樣本集的可能性,因此稱為參數θ相對於樣本集X的似然函數(likehood function)。記為L(θ)。這裡出現了一個概念,似然函數。還記得我們的目標嗎?我們需要在已經抽到這一組樣本X的條件下,估計參數θ的值。怎麼估計呢?似然函數有啥用呢?那咱們先來了解下似然的概念。
  • 零基礎概率論入門:最大似然估計
    f1是均值為10、方差為2.25(方差等於標準差的平方)的正態分布,記為f1 ~ N(10, 2.25)。其他幾條曲線相應地記為f2 ~ N(10, 9)、f3 ~ N(10, 0.25)、f4 ~ N(8, 2.25)。最大似然的目標是找到一些參數值,這些參數值對應的分布可以最大化觀測到數據的概率。生成數據的真正分布是f1 ~ N(10, 2.25),也就是上圖中藍色的曲線。
  • 什麼是極大似然估計?
    在機器學習中,邏輯回歸就是基於極大似然估計來計算的損失函數。那麼,如何直觀理解極大似然估計?極大似然估計(maximum likelihood estimation,MLE),顧名思義,「極大」意為「最有可能的」,「似然」意為「看起來像的」,「估計」的意思則可以理解為「就是這樣的」。
  • 一文讀懂矩估計、極大似然估計和貝葉斯估計
    極大似然估計法先代入參數值計算觀測樣本發生的概率,得到似然函數,然後對似然函數求極大值,得到對應的參數,即為極大似然估計參數。為了便於計算方便,可以構造對數似然函數為對數似然函數取極大值時,有求解該方程可以得到
  • 生成式模型入門:訓練似然模型的技巧
    在我們的模型分布下查詢新數據點 x' 的似然,從而檢測異常由於我們可以將分類和回歸問題解釋為學習生成模型的過程,對條件分布進行建模具有更廣泛的直接應用:機器翻譯 p(句子的英語翻譯 | 法語句子)字幕 p(字幕 | 圖像)像最小化均方誤差 min{1/2(xμ)^2} 這樣的回歸目標函數在數學上等價於具有對角協方差的高斯分布的最大對數似然估計:max{1/2(xμ)^2}
  • 從最大似然估計開始,你需要打下的機器學習基石
    如果你在數學課上學過微積分,那麼你可能會意識到有一種技巧可以幫助我們找到函數的最大值(和最小值)。我們所要做的就是求出函數的導數,把導函數設為零然後重新變換方程,使其參數成為方程的未知數。然後就這樣,我們將得到參數的 MLE 值。我將串講一下這些步驟,但我假設讀者知道如何對常用函數進行微分。
  • 獨家 | 一文讀懂最大似然估計(附R代碼)
    為解決這一逆向問題,我們通過逆轉f(x=θ)中數據向量x和(分布)參數向量θ來定義似然函數,即:L(θ;x) = f(x| θ)在MLE中,可以假定我們有一個似然函數L(θ;x),其中θ是分布參數向量,x是觀測集。我們感興趣的是尋找具有給定觀測值(x值)的最大可能性的θ值。