何為似然函數?

2021-01-12 金融科技與大數據

何為似然?

     很多時候基礎的概念沒搞懂,或者知道了只知道照著例子套用,知其然而不知其所以然。對於知識的理解只能到達會運用的層面。而對於知識的創新運用是遠遠不足的。

     似然和概率在統計學中是經常見到的兩個術語,有時候這兩個概念是一個意思,有時候卻有很大區別。這裡梳理下這兩個術語所代表的具體含義。

      wiki中關於「似然」和「概率」的解釋

     在頻率推論中,似然函數(常常簡稱為似然)是一個在給定了數據以及模型中關於參數的函數。在非正式情況下,「似然」通常被用作「概率」的同義詞。

    在數理統計中,兩個術語則有不同的意思。「概率」描述了給定模型參數後,描述結果的合理性,而不涉及任何觀察到的數據。而「似然」則描述了給定了特定觀測值後,描述模型參數是否合理。

離散隨機變量角度看待「似然」與「概率」

     當我們在處理離散型隨機變量時候,(例如,擲10硬幣的結果這樣的數據時候)。這時候我們就可以根據觀測到的結果計算這種結果出現的概率,當然這有一個前提是硬幣是均勻的,和擲硬幣的事件都是獨立的。 這時我們想要計算的就是「概率」用P(O|θ)來表示。換個角度可以理解為,當給定了特定的參數θ時候,P(O|θ)就是我們觀測到O觀測值時候的概率。 但是,當我們想來刻畫一個實際的隨機過程時候,我們常常並不知道θ參數是什麼。我們只有觀測值O,基於這個觀測值我們往往想得到一個關於θ的估計值θ̂ 。當給定θ 時候我們可以得到觀測值O是P(O|θ)。當然反過來,對於估計過程是在選擇一個θ̂ 最大值,這個值就等價於真實觀測值O的概率。換而言之,是在尋找一個值θ̂ 的最大化使得

                L(θ|O)=P(O|θ)

這個L(θ|O)就叫做似然函數。 很明顯這是一個在已知觀測值O為條件關於未知參數θ的似然函數。

從連續型隨機變量角度看待「似然」與「概率」

    對於連續型隨機變量與離散隨機變量有一個非常重要的區別,就是人們不會去關注給定θ後觀測值O得概率。 因為,連續型隨機變量存在無限多的結果(無限可分),這些結果是無法被窮盡的。 我們給出某一個結果對應的概率是沒有意義的(連續型隨機變量產生的結果是無限的, 落在任何一個「可能的結果」上的概率幾乎都為0,也就是P(O|θ)=0)。 當然,可以變換一種方式既給出落在結果區間範圍上的概率,而非給出單個結果的概率,來解決這個問題。 對於觀測值O,可以用概率密度函數(PDF:probability density function)來表示為:f(O|θ)。 因此,在連續的情況下,我們通過最大化以下函數來估計觀察到的結果O:

                 L(θ|O)=f(O|θ)

在這種情況下,我們不能在技術上斷言我們找到最大化觀察O的概率的參數值,因為我們最大化的是與觀察結果O相關的PDF。

「似然」和「概率」是站在兩個角度看待問題

對於這個函數:

                   P(O|θ)

輸入有兩個:O表示某一個具體的數據;θ表示模型的參數。

如果θ是已知確定的,O是變量,這個函數叫做概率函數(probability function),它描述對於不同的樣本O,其出現概率是多少。

如果O是已知確定的,θ是變量,這個函數叫做似然函數(likelihood function), 它描述對於不同的模型參數,出現x這個樣本點的概率是多少。

相關焦點

  • R語言:Newton法、似然函數
    hello,大家好,上一篇分享了如何用R語言實現蒙特卡洛模擬,並用蒙特卡洛模擬計算了分布的均值和方差,今天給大家分享如何用R語言來進行矩估計和似然函數的求解。因為在求解矩估計和似然函數時,可能會遇到非線性方程組,所以先給大家介紹一下如何用Newton法來求解非線性方程組。
  • [257]先驗概率、似然函數與後驗概率(1)
    這是對不確定性(而不是隨機性)賦予一個量化的數值的表徵,這個量化數值可以是一個參數,或者是一個潛在的變量。 先驗概率僅僅依賴於主觀上的經驗估計,也就是事先根據已有的知識的推斷, 在應用貝葉斯理論時,通常將先驗概率乘以似然函數(likelihoodfunction)再歸一化後,得到後驗概率分布,後驗概率分布即在已知給定的數據後,對不確定性的條件分布。
  • 【康普森GS專欄】混合線性模型系列之三:似然函數
    如何寫出似然函數,如何使用R語言編程實現:◆正態分布數據似然函數◆線性回歸似然函數◆用R語言自帶的函數計算極值1.1 正態分布函數2.2 聯合密度的似然函數當n個觀測值相互獨立,他們的似然函數(等價於聯合密度函數)為:
  • 你還認為似然函數跟交叉熵是一個意思呀?
    似然函數不就是交叉熵嗎?」「機器學習中的似然函數怎麼看起來跟概率統計課本裡的不一樣呢?」「學長學長,我把這個model的輸出接上交叉熵後怎麼報錯了?」 「似然函數」名字的意義已經在以前的多篇文章中提過了,更通用的定義來說,似然函數就是衡量當前模型參數對於已知樣本集X的解釋情況,通用的表現形式如下:
  • 統計學筆記|最大似然估計以及似然比檢驗
    最大似然估計想必大家都學過,而似然比檢驗(likelihood ratio test,LR test)在文獻中也是常客,但一直沒有對其深入理解,因此本文希望對其有一個相對完整的闡述。一、似然函數    說到似然函數,就不得不說一下似然性,似然性和概率是一組相對的概念。
  • 最大似然估計
    ,並且在  的所有取值上,使得這個函數的取值最大化。換言之,也就是函數  的最大似然估計。Remark. 最大似然函數不一定是唯一的,甚至不一定是存在的。(二)基本算法求解最大似然函數估計值的一般步驟:(1)定義似然函數;(2)對似然函數求導數,或者說對似然函數的對數求導數,目的都是為了更加方便地計算一階導數;(3)令一階導數等於零,得到關於參數
  • 似然比檢驗 - CSDN
    是否為真實約束)。似然比檢驗的思想是:「如果參數約束是有效的,那麼加上這樣的約束不應該引起似然函數最大值的大幅度降低。 檢驗、 為每個假設似然函數的最大值。考慮似然比(LR):      關於似然函數,可以參考: 似然與極大似然估計似然函數及最大似然估計及似然比檢驗 似然比檢驗LRT的應用廣泛,包括:均值(包括均值向量)的比較、重複度量、
  • 提前一年的押題——最大似然估計
    今天要給大家講的,是統計學中的一個核心理念,也是考研數學中的一個核心考點,核心到,我起了個驚悚的標題「提前一年的押題——最大似然估計」,因為自09年起,09、11、12、13、14、15、17、18、19、20年考試中,均出現了本考點,就在試卷第23題,想必倒過來說大家更容易印象深刻,除了10年和16年,年年都考了。有同行玩笑,不會押題怎麼辦,就押最大似然估計吧,反正十年八中。
  • 從最大似然估計開始,你需要打下的機器學習基石
    如果你在數學課上學過微積分,那麼你可能會意識到有一種技巧可以幫助我們找到函數的最大值(和最小值)。我們所要做的就是求出函數的導數,把導函數設為零然後重新變換方程,使其參數成為方程的未知數。然後就這樣,我們將得到參數的 MLE 值。我將串講一下這些步驟,但我假設讀者知道如何對常用函數進行微分。
  • 最大似然法估計二項式分布參數
    今天我們再來看看最大似然法如何求解二項式分布參數。1.二項式分布與似然值估計公式如在人們對兩種口味飲料無偏好時,即人們喜歡香橙口味的概率p=0.5,喜歡葡萄口味的概率p=0.5,那麼7個人中4個人喜歡香橙口味的概率為0.273。計算公式如下:
  • 生成式模型入門:訓練似然模型的技巧 - 機器之心Pro
    在我們的模型分布下查詢新數據點 x' 的似然,從而檢測異常由於我們可以將分類和回歸問題解釋為學習生成模型的過程,對條件分布進行建模具有更廣泛的直接應用:機器翻譯 p(句子的英語翻譯 | 法語句子)字幕 p(字幕 | 圖像)像最小化均方誤差 min{1/2(xμ)^2} 這樣的回歸目標函數在數學上等價於具有對角協方差的高斯分布的最大對數似然估計:max{1/2(xμ)^2}
  • [PRML]線性回歸模型--線性基函數模型
    這些基函數的各種選擇如圖1所示。另一個基函數的可能選擇是傅立葉基函數,其是正弦函數的擴展。每個基函數表示一個特定的頻率並且有無限的空間延伸。對比發現,基函數是在由不同空間頻率光譜組成的輸入空間的有限區域內局部化。在許多信號處理中,感興趣的是在空間和頻率上局部化的基函數,即小波(wavelets)。
  • r語言 似然比檢驗_對數似然比檢驗的r語言實現 - CSDN
    學習目標使用LRT提取結果,並與Wald檢驗進行比較從LRT顯著基因列表中識別共享表達譜似然比檢驗(LRT)結果探索DESeq2還提供了似然比檢驗作為跨兩個以上組別評估表達變化
  • 沈俠團隊開發出用於估計遺傳相關的「高精度似然函數」新方法
    該研究開發了一種用於估計遺傳相關的」高精度似然函數」 新方法(High-Definition Likelihood; HDL),大大提高了我們對遺傳相關進行估計的能力。遺傳相關的本質是全基因組DNA變異的聯合作用機制。人類的基因組中有大量的變異,正是這些變異讓人類的外貌多種多樣。
  • 深度學習中常見的損失函數
    而邏輯回歸的推導中,它假設樣本服從於伯努利分布(0-1分布),然後求得滿足該分布的似然函數,接著求取對數等(Log損失函數中採用log就是因為求解過中使用了似然函數,為了求解方便而添加log,因為添加log並不改變其單調性)。但邏輯回歸併沒有極大化似然函數,而是轉變為最小化負的似然函數,因此有了上式。已知邏輯函數(sigmoid函數)為:
  • 夢裡也能見到她,你大概是喜歡這個姑娘:從貝葉斯到極大似然估計
    因為這個姑娘還有些漂亮,不妨假定「Jackie喜歡這個姑娘」的概率為0.6,略高於「Jackie不喜歡這個姑娘」的概率0.4。又因為Jackie在武漢某所「男女三比七」的財經類院校就讀,而作為本文作者,Jackie顯然是一個專情的人,如果喜歡一個姑娘,只要夢見女生,夢見的就一定是這位姑娘,所以「Jackie喜歡這個姑娘的前提下夢見這個姑娘」的概率大致為0.7;如果不喜歡這個姑娘呢,夢見她的概率和夢見男生的概率差不多,為0.3。我們可以畫出以下樹狀圖:
  • r語言卡方檢驗和似然比檢驗_r語言似然比檢驗代碼 - CSDN
    需要注意的是,car包中的Anova()函數提供了類型2和類型3方法的選項,而aov()函數使用的是類型1方法。若想使結果與其他軟體提供的結果保持一致,可以使用Anova()函數。混合模型設計概述:由於傳統的重複測量方差分析假設任意組內因子的協方差矩陣為球形,並且任意組內因子兩水平間的方差之差都相等。
  • 忒修斯之船與最大值函數——何為整體 原創精選
    >>>問題2:這段代碼為什麼叫做「最大值函數」?為什麼程式設計師會把2到5行代碼視作一個代碼塊,並且叫做「返回最大值的函數」?問題在於:「最大值」這個概念是從哪裡蹦出來的?當我們把A和B兩個數字進行大小的對比。我們就知道他們誰比誰大。這就是兩個數之間的大小關係。而「最大值」就是具有「比另一個數大」的關係值的那個數值。當我們把A和B獨立開來,「最大值」的概念就消失了。
  • 似然比檢驗、Wald檢驗和拉格朗日檢驗的Stata實現 討論
    似然比檢驗(LR)、Wald檢驗、拉格朗日檢驗(LM)都基於最大似然估計(MLE),本文以logit模型為例討論三類檢驗的