隨機過程筆記(一)概率論複習(1)特殊分布
一些重要的概念
1.概率的公理化定義 1933年蘇聯數學家Kolmogorov首次提出了概率的公理化定義
定義1. 稱 為概率空間 上 的概率,如果:(1) 為某一隨機試驗 的樣本空間;(2) 為 上的一個事件域 (3) 建立映射 , 滿足 (i). 非負性 若 ,則 ;(ii). 正則性 ;(iii) 可列可加性 若 互不相容,則 .
2.隨機變量及其分布
定義2. 定義在樣本空間的實值函數
稱為隨機變量. 稱
為隨機變量 的累積分布函數,簡稱分布函數.其實隨機變量起到了「數化」概率空間的作用. 概率空間 轉化為了 ,這是一維歐式測度空間,我們對他非常熟悉
特殊分布1.均勻分布 這應該是最簡單的連續型隨機變量的分布了. 但他卻有著一些很重要的性質,例如
(a) 產生beta分布. 考慮上拋一枚未知的硬幣,我們想計算其出現正面的概率. 由於硬幣是未知的,所以我們假設其出現正面的概率 服從均勻分布 ,即
次拋硬幣中出現 次正面向上的似然概率為
於是
這也就得到了beta分布.
(b) 產生某一分布的隨機數. 其實這個性質就是如下定理的推論
定理1. 連續型隨機變量 的分布函數 嚴格單調, 的反函數具有連續的一階導數,則
(c) 產生正態分布的隨機數. 這個原理很簡單,就是中心極限定理. 在 上產生 個均勻分布的隨機數 ,令
以及 . 重複上面的步驟,即可得到 個服從 的隨機數.
2.指數分布 回憶指數分布的定義,其概率密度函數為
指數分布具有如下重要的性質:
(a) 無記憶性 無記憶性有如下幾個等價的刻畫
最後一個等號的含義應該被理解為「同分布」. 即指數分布的「剩餘壽命」和「完整壽命」是同分布的. 同時在這裡要指出,具有無記憶性的分布,連續型則一定為指數分布,離散型一定為幾何分布.
(b) 其他的一些基本性質. 設 且互相獨立,則
前兩個性質很容易驗證. 第三個性質可由前兩個性質推出. 證明留作讀者練習.(c) 在無記憶性的第三個等價刻畫中,如果 變為隨機變量,結論依然成立. 即
當然,這裡等號也應被理解為同分布. 同時我們指出,如果 獨立同分布,都服從 ,那麼在同分布意義下
3.正態分布 正態分布主要注意以下幾個性質:
(a) 獨立可加性. 即 且相互獨立,則
(b) 多維正態分布的一維邊際分布獨立等價於相關
(c) 多維正態分布的邊際分布仍為正態分布
(d) 多維正態分布的條件分布仍為正態分布.
(e) 多維正態分布的一維邊際分布的線性和仍為正態分布.
在這裡我們著重強調(d). 設 ,則 ,其中
4.Poisson分布 Poisson分布是很重要的離散型分布,在隨機過程這門課的後續部分也會有所體現. 它具有如下的一些重要性質
(a) 獨立可加性. 若 ,且 相互獨立,則
(b) 隨機分解 設進入某商場的顧客數 ,每個顧客都以概率 購買化妝品,則購買化妝品的顧客數
(c) 若 ,且 相互獨立,則
(d) 二項分布的Poisson近似. 若 且 ,則
即 依分布收斂於 . 可以用最原始的定義去證明,也可以利用特徵函數去證明.(e) Poisson的正態逼近. 設 ,則
(f) Poisson's Paradigm 一段時間(空間)內小概率時間的發生次數(或大量Bernoulli試驗中小概率事件的發生次數)近似服從Poisson分布. 即若 , ,則
證明可以利用特徵函數法,留作讀者練習.
5.Gamma分布 在Gamma分布這裡,我們只需要知道其具有獨立可加性,以及兩個特殊的分布與Gamma分布之間的關係即可,即
練習題已知 且相互獨立. 證明: