為了更準確地估計總體的參數，人們提出了很多方法，如勒讓德的最小二乘法、貝葉斯的貝葉斯估計法、卡爾·皮爾遜的矩估計法、費歇爾的極大似然估計等等。本文不試圖介紹這些方法，而是給出直接給出結論，對推導過程感興趣可以參考相關教材。
點估計
總體分布的參數在很多情況下是未知的，如均值μ、方差σ2、泊松分布的λ、二項分布的比例π，其它分布還會有更多的未知參數，需要通過樣本進行相應的估計，這種估計值就是點估計。
點估計通常用參數上方畫一個「^」表示該參數的估計量。運用上面提到的幾種估計方法，常見的幾種參數的點估計量是：
對於總體均值μ，；
對於總體方差σ2，；
對於總體比率π，，x是樣本量為n的隨機樣本中特定事件發生的次數；
對於泊松總體的λ，，其中n為總樣本量，xi為隨機變量X的取值，ni為每個取值出現的次數，。
點估計的評價
無偏性：如果參數估計值的數學期望等於被估計的參數值，則稱此估計量為無偏估計。與此相反則稱為有偏估計。
需要注意的是，雖然S2是σ2的無偏估計，但S不是σ的無偏估計，其值要略小一些，尤其是小樣本時，差距會非常明顯。為解決這個問題，需要加以修正，要將S除以c4得到σ的無偏估計，這個值在樣本量增大時逐漸趨向1。
類似的，另一種估計σ的方法是用樣本的極差R，如果樣本被分成若干子組，對於每組都可以先求組內極差R，對於多組R可以求出其平均值，然後將除以d2。例如，如果每子組只含2個樣品時，d2=1.128，這樣也是σ的無偏估計，但是也只考慮了組內的波動。用極差來估計標準差的方法在控制圖、測量系統分析、過程能力分析等工具中廣泛運用。(這兩段內容來自馬逢時《六西格瑪管理統計指南》p.96)
有效性：當一個參數有多個無偏估計時，估計方差越小則越有效。
相合性(一致性)：如果隨著樣本量增大，參數的估計量趨於被估計的參數值。
這三性統計學家們已經幫我們證明好了，不必去糾結如何證明了。
區間估計
對於未知參數，點估計值只是一個近似值，會存在或大或小誤差，這時給一個範圍可能是更合適，也是更可信的。比如從北京到張家界旅遊5天，你恐怕不能準確說出要花多少錢，但你可以給出一個範圍，比如10000—13000，你會覺得比較可信。如果給的範圍太大，比如10000—30000，雖然可信度更高一些，但這麼大的範圍參考意義不大；如果給的範圍很小，如10000——10500，則準確性提高了，但可信度就似乎不會很高。找到一個合適的估值範圍，這是置信區間要解決的問題。
置信區間概念是由原籍波蘭的美國統計學家耶日·奈曼提出的。在《女士品茶》中，作者介紹了這個概念提出時的情景。
1934 年，耶日·奈曼在皇家統計學會做了一個演講，題目是《論代表性方法的兩個不同方面》(On the Two DifferentAspects of the Representative Method)。他的論文是關於抽樣調查分析的。但全文最重要的部分卻在附錄裡，奈曼在這個附錄中提出了一個很直接的方法，用來創建區間估計，並確定所得的區間估計值有多準確。奈曼稱這個新的方法為「置信區間」(confidence intervals)，而把置信區間的兩端稱為「置信界限」(confidence bounds)。
G·M·鮑利(G. M. Bowley)教授是大會的主席，對此表示出疑惑。費歇爾也在批判者之中，自始至終都難以接受。可見當時這個概念的提出給人帶來了什麼樣的震撼。(感興趣者可以參閱《女士品茶》中的描述)
置信區間涉及兩個問題，一個是置信水平，另一個是如何建立置信區間。
所謂置信水平就是本節開頭提到的給出一個區間的信心，這個信心以概率來表示，絕大多數情況下取0.95，表示你對所估計的總體參數有95%的信心落在你所給的區間內。通常置信水平以1-α表示，α稱為顯著性水平，在後面假設檢驗中會重點介紹。
置信區間的建立就與中心極限定理和抽樣分布有關了，在給定置信度的條件下，置信區間的寬度決定於抽樣分布。下面介紹分別介紹單總體均值、方差和單總體比例的置信區間。更複雜的如雙總體均值差、雙總體比率差等置信區間的建立請參與相關教科書。
建立置信區間的意思是在設定的置信水平(如取0.95)下，總體參數落在這個區間的概率為0.95，大致的理解是如果抽100次樣，建立100個置信區間，大約95個區間包含總體參數，約5個區間不包含總體參數(注意不是一定有5個，可能會多，也可能會少)。
單總體均值的置信區間
1.總體方差已知時，正態總體均值服從正態分布，前面《抽樣分布總結》已經介紹過
取概率，即在置信度為(1-α)時，求出z1和z2兩個值，通常選擇置信區間左右對稱，將α分成相等的兩部分。這樣z1和z2就分別等於zα/2和z1-α/2。如果α取0.05，則兩個值分別為-1.96和1.96。將Z帶入，則可以算出
由此得出：
所以總體方差已知時，正態總體均值的置信區間為
2.總體方差未知，用樣本標準差S來代替α，這時正態總體的置信區間要用t-分布來計算，結論直接給出
通常來說，總體方差已知是很罕見的，因此大部分情況下我們都是用t-分布來計算置信區間。
3.在大樣本情況下，依據中心極限定理，即使不是正態分布，其均值近似服從正態分布，通常樣本量超過30就可以很好地近似。在這種情況下，可以得出大樣本情況下均值的置信區間為
單總體方差和標準差的置信區間
我們已經知道，樣本方差與總體方差之比服從χ2-分布。因為χ2-分布是偏態分布，所以樣本方差構成的總體方差置信區間是不對稱的。這裡直接給出結論
由此可得出，正態總體標準差的置信區間為
單總體比例的置信區間
1.小樣本情況下，不能用正態分布來近似，這時需要採用二項分布查表法來建立比率的置信區間。
記總體的比率為π，樣本的比率為p，樣本量為n，我們知道總體服從二項分布B(x, n, π)，我們用p來估計π。下面我們用一個例子來說明。
例：某醫院用某藥治療腦動脈硬化症25例，其中顯效者20例。問該藥總顯效率的95%置信區間為多少？
解：先計算p，p=20/25=0.8
在置信水平為95%的條件下，我們需要查表找出n=25，p=0.8時概率為0.025和0.975的X值，查表分別為15、16之間和23、24之間，取15和24，則總體比率π的置信區間為(15/25，24/25)=(0.6，0.96)。
2.大樣本條件下的正態近似。當np和n(1-p)都大於5，且p取值適中(在0.1與0.9之間)，則可以用正態分布來近似，即有
由此構建的總體比率π的置信區間為：
置信區間的一些特點
1.在樣本量相同的情況下，置信水平越高，置信區間越寬，同樣的樣本取置信水平0.9、0.95、0.99，則置信區間的寬度有這樣的關係，CI(0.9)＜CI(0.95)＜CI(0.99)，CI為Confidence Interval簡寫。這很好理解，你希望估計的信心越大，你就要把區間取得越寬。
2.在置信水平相同的條件下，樣本量越大，置信區間越窄。這也很好理解，以均值的置信區間為例，決定置信區間寬度的是方差，而決定樣本均值的方差與樣本量成反比，即樣本量越大，樣本均值的方差越小。
文章來源：知乎專欄（如涉及版權問題，請及時轉告）
作者：張老師漫談六西格瑪