何為似然?
很多時候基礎的概念沒搞懂,或者知道了只知道照著例子套用,知其然而不知其所以然。對於知識的理解只能到達會運用的層面。而對於知識的創新運用是遠遠不足的。
似然和概率在統計學中是經常見到的兩個術語,有時候這兩個概念是一個意思,有時候卻有很大區別。這裡梳理下這兩個術語所代表的具體含義。
wiki中關於「似然」和「概率」的解釋
在頻率推論中,似然函數(常常簡稱為似然)是一個在給定了數據以及模型中關於參數的函數。在非正式情況下,「似然」通常被用作「概率」的同義詞。
在數理統計中,兩個術語則有不同的意思。「概率」描述了給定模型參數後,描述結果的合理性,而不涉及任何觀察到的數據。而「似然」則描述了給定了特定觀測值後,描述模型參數是否合理。
離散隨機變量角度看待「似然」與「概率」
當我們在處理離散型隨機變量時候,(例如,擲10硬幣的結果這樣的數據時候)。這時候我們就可以根據觀測到的結果計算這種結果出現的概率,當然這有一個前提是硬幣是均勻的,和擲硬幣的事件都是獨立的。 這時我們想要計算的就是「概率」用P(O|θ)來表示。換個角度可以理解為,當給定了特定的參數θ時候,P(O|θ)就是我們觀測到O觀測值時候的概率。 但是,當我們想來刻畫一個實際的隨機過程時候,我們常常並不知道θ參數是什麼。我們只有觀測值O,基於這個觀測值我們往往想得到一個關於θ的估計值θ̂ 。當給定θ 時候我們可以得到觀測值O是P(O|θ)。當然反過來,對於估計過程是在選擇一個θ̂ 最大值,這個值就等價於真實觀測值O的概率。換而言之,是在尋找一個值θ̂ 的最大化使得
L(θ|O)=P(O|θ)
這個L(θ|O)就叫做似然函數。 很明顯這是一個在已知觀測值O為條件關於未知參數θ的似然函數。
從連續型隨機變量角度看待「似然」與「概率」
對於連續型隨機變量與離散隨機變量有一個非常重要的區別,就是人們不會去關注給定θ後觀測值O得概率。 因為,連續型隨機變量存在無限多的結果(無限可分),這些結果是無法被窮盡的。 我們給出某一個結果對應的概率是沒有意義的(連續型隨機變量產生的結果是無限的, 落在任何一個「可能的結果」上的概率幾乎都為0,也就是P(O|θ)=0)。 當然,可以變換一種方式既給出落在結果區間範圍上的概率,而非給出單個結果的概率,來解決這個問題。 對於觀測值O,可以用概率密度函數(PDF:probability density function)來表示為:f(O|θ)。 因此,在連續的情況下,我們通過最大化以下函數來估計觀察到的結果O:
L(θ|O)=f(O|θ)
在這種情況下,我們不能在技術上斷言我們找到最大化觀察O的概率的參數值,因為我們最大化的是與觀察結果O相關的PDF。
「似然」和「概率」是站在兩個角度看待問題
對於這個函數:
P(O|θ)
輸入有兩個:O表示某一個具體的數據;θ表示模型的參數。
如果θ是已知確定的,O是變量,這個函數叫做概率函數(probability function),它描述對於不同的樣本O,其出現概率是多少。
如果O是已知確定的,θ是變量,這個函數叫做似然函數(likelihood function), 它描述對於不同的模型參數,出現x這個樣本點的概率是多少。