一文搞懂「正態分布」所有重要知識點

2020-12-11 CDA數據分析師

作者:丁點helper

來源:丁點幫你

正態分布,這個我們從中學就學過的內容,真有這麼重要嗎?我想,真正學懂統計的人對這一點是不會質疑的,且不談特別高深的統計理論,徹底弄懂正態分布是靈活運用統計學中各種假設檢驗方法、看懂p值,理解均數置信區間的前提。今天,我嘗試帶著大家搞懂對於正態分布你需要知道的所有知識點。

作為統計學的基礎,我們會主要注重思維理解,複雜的數學計算在此略去。這並非意味著數學不重要,對數學的仔細專研恰恰會特別輔助理解和掌握,只是對於大部分數學基礎不好的同學這個難度不小,所以我們在這裡會儘可能少用難懂的數學理論,用簡單的語言講清最基礎、最重要的邏輯。本篇文章主要來自於我們微信公眾號「丁點幫你」的SPSS與統計思維的系列課程的第七講 二項分布和正態分布,在這裡形成文字是為了不方便看視頻的同學學習和回顧。

1. 從名字說起

為什麼叫「正態分布」,也有地方叫「常態分布」,這兩個名字都不太直觀,但如果我們各取一字變為「正常分布」,就很白話了,而這正是「正態分布」的本質含義,Normal Distribution。它太常見了,基本上能描述所有常見的事物和現象:正常人群的身高、體重、考試成績、家庭收入等等。這裡的描述是什麼意思呢?就是說這些指標背後的數據都會呈現一種中間密集、兩邊稀疏的特徵。以身高為例,服從正態分布意味著大部分人的身高都會在人群的平均身高上下波動,特別矮和特別高的都比較少見。

你可能不禁要問,這是為什麼?我們認為,這其實與我們前面所講的同質與變異的概念相關(參見課程第三講 統計學核心思維與統計描述)。因為我們研究的對象具有同質性(比如都是成年的中國男子),所以其特徵往往是趨同的,即存在一個基準;但由於個體變異的存在(當然變異不會太大),這些特徵又不是完全一致,所以會以一定的幅度在基準的上下波動,從而形成了中間密集,兩側稀疏的特徵。

2. 連續型隨機變量研究區間概率

了解了正態分布的基本思想,我們來看看實際應用中我們需要掌握的要點。首先,正態分布屬於「連續型隨機變量分布」的一類。我們知道,對於連續型隨機變量,我們不關注「點概率」,只關注「區間概率」,這是什麼意思?

我們看這個例子,假定隨機變量X指是「北京市成年男子的身高」,理論上它可以取任意正數,所以我們把它當做一個連續型隨機變量(連續型變量,就是指可以取某一區間或整個實數軸上的任意一個值的變量)來看待。這裡,我們先想一想如何計算P(X =1.87)? 即身高恰好完全exactly等於1.87的概率是多少,這就是所謂的「點概率」。更極端一點,讓隨機變量Y是[0,1]這個區間上的任意一點,那麼Y的取值有多少個呢?無數多個,我們數不清楚,所以Y 取某一個具體的值的概率是1除以無數,即可以看做是0。於是,這裡透露一個很重要的結論:連續型隨機變量取任意某個確定的值的概率均為0。因此,對於連續型隨機變量,我們通常不研究它取某個特定值的概率,而研究它在某一段區間上的取值,比如身高在1.70~1.80的概率。

3. 概率密度函數

對於初學者來講,「概率密度」可能是最不友好的一個概念,直接談概率不行嗎,好好的為什麼要生出一個「密度」?

的確,沒有太多數理基礎,這個概念著實不太好理解。雖然文字和數學公式上你可能感覺很陌生,但我們特別熟知的那條中間高、兩邊低的「鐘形曲線」恰恰就是正態分布的概率密度曲線。前面我們講了區間概率,這裡你就可以通過區間的角度來理解概率密度曲線:曲線越高,也就代表著這個區間的數據越密集,簡單理解成在同樣大小的房子裡,這個房間的人數更多、更擠。除此之外,另一個關於概率密度函數的重要知識點是,積分(這裡簡單理解為「密度曲線下面積「即可)等於概率。

隨機變量X在某個區間比如(a,b)即a<X<b的概率,就是概率密度曲線在這個區間下的面積,數學上的表達就是密度函數在區間(a, b)上的積分。所以,概率的大小就是「概率密度函數曲線下的面積」的大小,這個不太起眼的概念實際上就決定了你日後是否能理解假設假設中所謂的「拒絕域」。

下圖中的三條曲線f(x),就是概率密度函數,各種形式的概率就是相對應的曲線下面積。這裡,數學基礎不太好的同學不用特別深挖積分的計算過程,但對這三張圖與對應的概率表達形式,同學們要熟知。

4. 均數和標準差

前面說對於正態分布的概率密度函數以及積分不用特別關注,那真正需要關注的是什麼呢?就是均數和標準差。這裡需要明確的是,一旦談及正態分布,我們首先要想到它的兩個參數:均數和標準差。每次一遇到正態分布就迅速找這兩個概念,最好形成條件反射,因為這兩個數才是我們日後運用正態分布解決實際問題的「利器」。

關於正態分布均數和標準差的性質,我們這裡簡單總結一下:

1)概率密度曲線在均值處達到最大,並且對稱;

2)一旦均值和標準差確定,正態分布曲線也就確定;

3)當X的取值向橫軸左右兩個方向無限延伸時,曲線的兩個尾端也無限漸近橫軸,理論上永遠不會與之相交;

4)正態隨機變量在特定區間上的取值概率由正態曲線下的面積給出,而且其曲線下的總面積等於1 ;

5)均值可取實數軸上的任意數值,決定正態曲線的具體位置;標準差決定曲線的「陡峭」或「扁平」程度:標準差越大,正態曲線越扁平;標準差越小,正態曲線越陡峭。這是因為,標準差越小,意味著大多數變量值離均數的距離越短,因此大多數值都緊密地聚集在均數周圍,圖形所能覆蓋的變量值就少些(比如1±0.1涵蓋[0.9,1.1]),於是都擠在一塊,圖形上呈現瘦高型。相反,標準差越大,數據跨度就比較大,分散程度大,所覆蓋的變量值就越多(比如1±0.5涵蓋[0.5,1.5]),圖形呈現「矮胖型」。

我們可以對照下圖直觀地看一下,圖中黃色曲線為A,藍色曲線為B,紫紅色曲線為C。如圖,我們可以看到均數的大小決定了曲線的位置,標準差的大小決定了曲線的胖瘦。A和B的均值一樣,但標準差不同,所以形狀不同,根據我們的描述,圖形越瘦高,標準差越小,圖形越扁平,標準差越大。確實如此,圖中B的標準差是1/2,小於A的標準差1。

5. 標準化與查表求概率

接下來,我們通過一個例子來看如何通過查表法計算正態分布變量在某個區間的概率。首先,我們看這個問題,說小明每天上學的通勤時間是一個隨機變量X,這個變量服從正態分布。統計他過去20天的通勤時間(單位:分鐘):26、33、65、28、34、55、25、44、50、36、26、37、43、62、35、38、45、32、28、34。現在我們想知道他上學花30~45分鐘的概率。

首先,我們將問題轉化為數學表達式,要算他上學花30~45分鐘的概率,就是求P(30 < X < 45)。之前我們一直強調,一個變量服從正態分布,就要立馬考慮到它的均數和標準差是多少。這裡我們簡化一下用他過去20天的樣本數據來代替。所以,我們首先計算這20天通勤時間的樣本均數及標準差,分別為38.8(分鐘)和11.4(分鐘)。

然後,我們進行標準化,這一步很重要,也稱z變換。通過標準化,所有服從一般正態分布的隨機變量都變成了服從均數為0,標準差為1的標準正態分布。對於服從標準正態分布的隨機變量,專門用z表示。因此,求P(30 < X < 45),就轉換成了求P(-0.77 < Z < 0.54),標準化的具體計算為:

30 →(30-38.8)/ 11.4 = - 0.7745 →(45-38.8)/ 11.4 = 0.54X → ZP(30 ≤ X ≤ 45)= P(-0.77 ≤ Z ≤ 0.54)這裡簡單提醒一下,經過標準化後,原來的曲線的形狀不會變化,即不會改變胖瘦,只是位置發生平移,比如下圖中的例子,經過標準化實際上只是均數從1010移到了0。

完成z變換,我們就通過可以利用z值表找到對應的概率值。下圖就是z值表,一般的統計教科書後面都有,同學們也可以在網上查到。找不到的同學,可以關注我們的微信公眾號後臺留言索取。

再三強調,圖中陰影部分的面積代表的是Z ≤ z的概率(注意是「≤」)。另外,還有兩個根據定義成立的兩個公式:一是P(Z ≥ z)= 1- P(Z ≤ z);二是P(Z≤-z)= 1-P(Z ≤ z)大家也需要了解。下面我們正式看看怎麼查表,前面我們已經把問題轉化成求P (-0.77 ≤ Z ≤0.54) = P (Z ≤ 0.54)–P (Z ≤ -0.77),於是,我們需要找當Z≤0.54和Z≤-0.77的概率值然後相減即可。

先看Z≤0.54的P值,對照下圖,首先看表格最左邊那一列,找到0.5,然後,因為0.54的第二位小數是4,所以定位到頂行找到「4」那一列,得到0.7054;同樣的方法,我們找到Z≤-0.77對應的P值0.2206。最後我們就能算出,P (-0.77 ≤ Z ≤0.54) = 0.4848,約等於0.5。因此,我們可以說,小明上學通勤時間花費30~45分鐘的概率是50%,這個概率還挺大的,佔了一半。我們通過這個具體的例子詳細講解了隨機變量在某個區間的概率求解,不是因為這個計算有多重要,而是想提前給你打好基礎,方便理解假設檢驗及p值等相關概念。

P (Z ≤ 0.54) = 0.7054

P (Z ≤ -0.77) = 0.2206

6. 三個百分數:68%,95%,99.7%

熟悉了Z變換、查表求概率,我們來看看正態分布運用十分廣泛的三個百分數:68%,95%,99.7%。先看標準正態分布,我們知道一個變量服從標準正態分布,它的均數是0,標準差是1,那除了這兩個數字之外,我們還能獲得更多的信息嗎?可以,這三個百分數告訴了我們答案。看下面這3個圖:

雖然理論上正態隨機變量可以取無數個值,定義域是整個實數軸,但實際上在[-1,1]這個區間就包含了它可以取的68%的值,[-2,2]區間包含了95%的值,[-3,3]包含了它可能取的99.7%的值。這裡的1,2,3分別代表一個、兩個和三個標準差(標準正態分布的均數為0,標準差為1)。所以,根據這些,我們就可以推斷,一個服從標準正態分布的變量,它的取值很不可能超過2,極不可能超過3。這個用處非常大,一下子把我們要研究的重心從整個實數軸縮小到[-3,3]這個區間。另外,這裡雖然是以標準正態分布為例進行說明,但這個性質是完全可以推到普通的正態分布的變量的。百分數不變,不過均數和標準差不再是0和1,而是代入具體分布的均數和標準差即可。下面我們來看一個實際應用的例子。

某小學學生身高的平均值和標準差分別為1.4(米)和0.15(米),我們知道身高一般是服從正態分布的,由此我們可以知道這個學校有68%的學生的身高在1.25到1.55,這裡的1.25和1.55就是1.4加減0.15得到的(均數加減一個標準差),有95%的學生身高在1.1到1.7之間(均數加減兩個標準差),由此便極大地提升了我們對數據的掌握程度。講完這些你會發現一種巧妙的求解均數和標準差的方法:如果我們知道了某個變量的95%區間的取值(關於均值對稱),我們就可以算出對應的均數和標準差,進而幾乎知道了一切。

以上即為梳理的有關正態分布的關鍵知識點,希望大家在遇到假設檢驗和p值等概念的理解障礙時能回頭看看這些最基礎的要點,相信對你會有所幫助。

相關焦點

  • 正態分布
  • 「正態分布」碎思
    1.正態分布原本是一個概率統計的概念,用以描述連續隨機變量的分布情況。最簡單的描述就是「中間大,兩頭小」。正態分布大致長這樣:標準正態分布的平均數為0,標準差為1。自然界以及人類社會中許多現象在分布上都體現了正態分布的形態,但不同現象的具體分布形態會因隨機變量的平均數、標準差的大小與單位不同而有所不同。
  • 終於搞清楚正態分布、指數分布到底是啥了!
    標準正態分布正態分布是一個鐘形曲線,曲線對稱,中央部分的概率密度最大,越往兩邊,概率密度越小。如何求正態分布的概率?正態分布的概率密度函數滿足:連續型隨機變量的理想模型就是正態分布,求正態分布的概率同樣是求概率密度曲線下的面積,曲線的面積如何求?
  • 正態分布及其應用
    這些都是非常重要的問題。為此,很多人開始從事這些問題的研究工作,他們被稱為數據挖掘工程師。現在,讓我們一起來探索數據挖掘中的奧妙。舉一個身邊的例子。我們先觀察某中學男生的身高數據,從中指出身高最高和最矮的同學,或者算出他們身高的平均值。之後,如果我們想要知道男生身高數據的分布情況,比如1.7米至1.75米之間,有多少人,佔所有男生的比例是多少,我們應該怎麼做?
  • 概率|無處不在的高斯分布(1)——標準正態分布
    萬事開頭難,今天的第一講,我們來談一談無處不在的「高斯分布」(又叫「正態分布」,Normal Distribution)。在我看來,所有的統計分布裡最容易理解的是「均勻分布」(Uniform Distribution),但是最常用的分布,一定是高斯分布。
  • 正態分布的常用數據 - CSDN
    #尋找真知派#如上一篇文章所述,樣本所屬總體服從正態分布是數據分析和數據挖掘等數據處理的重要前提。如果我們採集的樣本並不能確認其總體是否服從正態分布,那麼數據處理的結果就是不可靠的。因此,對樣本數據進行正態分布檢驗十分必要。
  • 徹底理解正態分布——強大的數學分析工具
    正態分布也被稱為高斯分布或鐘形曲線(因為它看起來像一個鍾),這是統計學中最重要的概率分布,就像我們在大自然中經常看到的那樣,它有點神奇。例如,身高、體重、血壓、測量誤差、智商得分等都服從正態分布。還有一個跟它相關的,並且非常重要的概念,叫中心極限定理,這將在以後的文章中討論。
  • 正態分布密度函數 - 描繪自然的常態
    ——比如智力、考試成績、工資收入、股價變動等等都服從正態分布,微小粒子的無規則運動也不例外。正態分布在統計學的許多方面有著重大的影響力,因而在數據分析界佔據著非常重要的地位。正態分布又被稱為高斯分布。在那個年代,正態分布還不是叫「正態分布」。
  • 思維模型17 - Normal distribution | 正態分布
    在不確定的世界裡尋找確定性除了大數定律之外,另一個重要的思維模型就是正態分布。生活中影響事物的因素可能太多太多,儘管這些事物的根本原因可能是未知的,但很多事物都近似的服從正態分布。正態分布正態分布又稱高斯分布,是一個常見的連續概率分布,它的樣子類似於寺廟裡的大鐘,因此人們又經常稱之為鐘形曲線。正態分布曲線的樣子就像下圖,說名字可能不清楚,但很多同學一看到圖就恍然大悟,原來這就是正態分布啊。
  • 正態分布圖形的編輯
    大家或許很多時候在算符合正態分布概率類型的時候,都在查表,其實,不需要,EXCEL中的一個函數就可以解決這個問題,在這個函數中間,我們需要4個參數,例如下面這個例子:一組成績排布那麼,在上述的NORM.DIST函數中,你只需要給出一個X值就可以滿足所有的條件然後查出概率.最後一個參數,給到1,就行.如果需要製作圖表則會用到0.好,現在我們做一張圖表.
  • 為什么正態分布如此常見?
    正態分布的英文名為:Normal Distribution,臺灣翻譯為常態分布,可見一斑。可是為什麼這麼常見呢?每個人都相信它(正態分布):實驗工作者認為它是一個數學定理,數學研究者認為他是一個經驗公式。
  • 關於正態分布和貝塔分布的案例介紹
    打開APP 關於正態分布和貝塔分布的案例介紹 賈恩東 發表於 2020-10-12 11:25:57 正態分布 正態分布,是一種非常常見的連續概率分布,其也叫做常態分布(normal distribution),或者根據其前期的研究貢獻者之一高斯的名字來稱呼,高斯分布(Gaussian distribution)。正態分布是自然科學與行為科學中的定量現象的一個方便模型。
  • 【教育統計答疑】如何理解正態分布、均值分布、χ^2分布、t分布和F分布
    1.正態分布(Normal Distribution)第一個我們要討論的概念就是正態分布,正態分布是所有概率分布中最重要的形式,如果沒有它,也就沒有接下來的那幾個分布。正態分布的重要性還體現在用樣本數據來推斷總體時,當樣本的數量足夠大的時,可以利用樣本的某些特徵數據服從正態分布,進行推斷,獲得準確的結果。正態分布一般記作  x~N(μ, σ^2),它的分布函數表達式為 其中,π是圓周率;e是自然對數的底;x為隨機變量的取值;μ為正態分布的均值(期望),σ^2是正態分布的方差。
  • 偏度與峰度的正態性分布判斷
  • 相關知識考點:標準正態分布
    1概率密度函數  當μ=0,σ=1時,稱X服從標準正態分布,記作X~N(0,1)。  服從標準正態分布的隨機變量記為U,它的概率密度函數記為。  若X~N(μ,σ2),則~N(0,1)。  實際中很少有一個質量特性(隨機變量)的均值恰好為0,方差與標準差恰好為1.一些質量特性的不合格品率均要通過標準正態分布才能算得,這一點將在後面敘述。  2標準正態分布表  標準正態分布函數表,它可用來計算形如「」的隨機事件發生的概率,記為。  正態分布N(0,1)的分位數。
  • 正態分布的應用——基於描述性統計與分布的推論
    分布的類型:上期主要給大家介紹了正態分布,其實除了正態分布,還有很多的分布類型,今天就給大家科普一下。標準的二分布、均勻分布這樣的古典概型產生的分布,在這裡就不給大家介紹了。本次介紹的分布,也是統計中較為常用的類型。
  • 如何使用標準正態分布表?
    正態分布這個概念在統計學中很常見,在做與正態分布有關計算的時候經常會用到標準正態分布表。
  • 娛樂論文:基於正態分布的期末考試試卷設計——以滿足教務要求為例
    」一詞。原來是各地高校的教務普遍發文,要求考試科目的成績分布需要符合正態分布。成績基於正態分布並不是什麼新鮮事,一般來說在考生數量夠大的情況下,多數考試科目的成績都會呈現正態分布。但是,是否所有課程的考試成績都需要正態分布?以及符合正態分布的考試成績就一定沒有問題嗎?
  • 測量值不服從正態分布該怎麼辦?
    在統計過程控制中,為什麼數值不服從正態分布,如果不服從正態分析,我們又該怎麼處理?問:在統計過程控制的活動中,計量型特徵值不服從正態分布是怎麼回事?答:正態分布是我們基於樣本信息,對其背後虛構的總體中數值的分布情況進行描述用的,當樣本數據證明背後的總體不服從正態分布時,我們應該先考慮數據的來源。1、在統計過程控制中,為什麼特徵值不服從正態分布?
  • 數學|正態分布(1):正態分布發展史
    正態分布(Normal distribution),也稱「常態分布」,又名高斯分布(Gaussian distribution)。若隨機變量X服從一個數學期望為μ、方差為σ^2的正態分布,記為正態分布的期望值μ決定了其中心位置,其標準差σ決定了分布的幅度。當μ = 0,σ = 1時的正態分布是標準正態分布: