大部分數學理論的發現其實都是源自於生活，或者人們遇到的一個難題，有人根據這個難題並提煉出一個模型來，人們得以在純數學的領域進行研究，並最終誕生了許多偉大的成果。比如概率論，就是來自於賭徒們提出的尖酸問題。
一個賭徒獲勝的概率是p,另外一個賭徒獲勝概率是1-p，A,B 兩人在賭場裡賭博，A、B 各自的獲勝概率是p,q=1-p,兩人約定：若 A 贏的局數 X>np , 則A付給賭場 X-np 元；若X < np ,則B付給賭場np-X元。 問賭場掙錢的期望值是多少。
這裡的數學期望這個概念很重要，也不是那麼難理解。舉個例子，我們都知道擲硬幣正面朝上的概率是1/2，那麼如果每次擲硬幣的都仿佛有個約定的規則在「制約」著出現的結果，假如我們擲10次之後呢？可能5次正面5次反面最符合我們的預期，當然實際上不可能會這麼巧合，剛好是5正5反。但是這個結果表達了我們對於這個概率事件的期待值，於是這裡的出現正面的數學期望就是5次了。
賭徒把問了數學家棣莫弗，這個數學家雖然不是很有名，名字也有點刁鑽古怪.但是你應該用到過他的數學成果，複數和三角函數之間的橋梁——棣莫弗公式正是這位仁兄的代表作，同時他也是一位概率論方面的大師。我們現在很容易看出來，賭徒的問題是一個簡單的二項分布，這裡就不再做二項分布的科普了。簡單說下，就是一個概率事件中，只有兩種結果，並且結果互斥，我們分析的就是這兩種情況的期望值。棣莫弗很快求出來這個二項概率是：
實際問題上，如果我們真的要去求期望，那麼n只能是個有限整數，儘管這個n可以變得很大。於是一個自然而然的問題就出現了，假如我們實驗無數次，這裡的概率又會是什麼樣子呢？棣莫弗再接再厲，並且結合了同時期數學家斯特林的成果，成功地求出來這個密度函數：
這個式子就是大家熟悉的標準正態分布公式，雖然中學時期的所有數學教材裡都會提到正太公式，考試上也是熱門，但是對於這個公式的來源以及重大意義卻從來不提。可能有的老師上課的時候會跟學生們強調這個概率分布很重要，但是沒有形象的案例來做支撐，總是讓人覺得莫名其妙。棣莫弗得出的這個分布函數也是正態分布第一次出現在人類的數學成果裡。雖然棣莫弗第一個得出了這個密度分布函數，但是他並沒有對這個分布再進行深入研究，棣莫弗本質上並不是一個數理統計學家，他認為這只是一種看起來優美的概率分布曲線。他完全沒有想到這個分布與誤差分析有什麼關係。
說到這裡，高斯的工作在哪裡呢？別急，先聽高斯同志的又一次神作。
18,19世紀以來，天文學伴隨著人們數學工具的支撐，也獲得了空前的發展，特別是牛頓萬有引力定律確定之後，人們第一次可以用數學來精準地描述地球外面的世界。這裡對於行星軌道的確定尤其如此。
1772年，人們根據萬有引力定律結合當時的觀測資料分析認為，在火星和木星軌道之間可能存在著一顆尚未被發現的行星。但是當時的觀測條件有限，並不能直接去觀測到。於是就需要間接計算，然後推測這個未知行星可能出現的位置，在那邊等它按時出現，這個發現行星的思路好像看似自然而然，其實難度很大。
1801年元旦，在西西里巴勒莫學院的天文學家朱塞普·皮亞齊，發現了穀神星，但是這個星體的軌道卻不像之前的那幾個傳統行星一樣確定。人們不知道這顆新星是彗星還是行星，這就需要更加精準的觀測手段了。然而這顆星體相比於火星來說實在太過矮小，以至於稍微靠近大星體立刻就會被湮沒，變得不可觀測。當時的觀測數據很有限，皮亞齊一共觀測了這顆星體24次，都難以確定其軌道。這是個困難的問題，以至於當時許多天文學家束手無策。於是，高斯開始了他的表演。
高斯拿到皮亞齊的觀測數據，根據自己的創立的一種新型的數據分析方法，在一個小時之內就計算出了這個星體的軌道數據。當然為了結果的可靠，他還是等了檢查了幾個星期時間。1801年12月31日，人們在高斯預言的時間和軌道上果然發現了這顆星體。至此人們確定了這顆新星既不是彗星，也不是傳統行星，它是人類發現的第一顆也是最大的一個小行星，直徑大約950公裡。
此項成果一出，青年高斯的能力又一次讓眾人驚嘆。人們迫切地想要知道高斯如何處理數據的方法，但是高斯本人拒絕透露。在他看來這些都還是一些不太成熟的小技巧，雖然在實際上有很大用途，但是發表一個不成熟的結論是不太配得上自己身位的，於是高斯的方法被當做秘技一樣不傳。直到8年之後的1809年，高斯認為此項研究已經成熟，於是公布了他的方法，這個分析工具就是最小二乘法。
最小二乘法的誕生契機是儘量減小測量數據的累積誤差，並且有一套規則。
這個規則是勒讓德提出來的，他在1805年第一個發布了最小二乘法的論文。
假設我們從來都沒有接觸過關於數理統計方面的知識，現在給我們一個測量的任務：讓你測量一間教室的長寬高，並且儘量給出誤差較小的結果。從經驗上看，正統的做法是，我們似乎應該要在房間的不同位置測量多組數據，然後來求平均值。這麼做，更保險，會過濾掉一些由於偶然誤差造成的嚴重失真項。並且我們也會得出一個經驗方法， 那就是測量的數據越多，求出來的算術平均值就越接近真實值。
這個方法幾乎是保險的且顯而易見。歷史上的許多測量學家們也都是這麼做的，好像最後的實踐表明這種方法的確可以有效地減少系統誤差。但是有個非常嚴重的問題，那就是人們從來都沒有在數學理論上證明求算術平均值可以顯著減少測量誤差。
高斯的目的就是為了求解一種方法使得，系統累積誤差最小，既然算術平均值在實踐中已經被證明是有效的，那麼我就從這裡出發來逆推：
這裡的估計值稱作最大似然估計，高斯天才般地認為這裡的最大似然估計就可以取到算術平均值！
根據上面式子的分析結果，就可以求出來這個概率分布函數了。這個形式，我們再熟悉不過了。
正態分布的密度函數N(0,σ2)就是上述的表現形式。那麼前面說的最小二乘法跟正態分布又有啥關係呢？
這裡我們很明顯就看出來，如果使得這個概率最大，那麼要讓所有的誤差項e2 最小，這剛好不就是最小二乘法的定義嘛。因此，正態分布跟最小二乘法的關係實在非比尋常！
由於高斯的傑出工作，正態分布又叫高斯分布。高斯基於正態分布給出的最小二乘法，大大拓寬了正態分布的應用，這個密度函數在整個數理統計領域遠遠要超過其他任何分布。實際上正態分布也是存在最廣泛的分布，甚至可以沒有之一！
人群中的身高分布，總是處在中間高度的人數最多，或高或矮都是極小的一部分人。學生的考試成績分布，醫學上關於質群體的身高、紅細胞數、血紅蛋白量，以及實驗中的隨機誤差，呈現為正態或近似正態分布；
實際上，有很多人從不同的領域出發，都推導出了相同的正態分布密度函數。除了棣莫弗和高斯以外，赫歇爾在1850年，麥克斯韋在1860年基於誤差的旋轉對稱性推導出密度函數，他們的方法完全沒有用到任何概率論的知識，僅僅是根據空間不變性就得出來。1941年，電氣工程師蘭登基於噪聲穩定分布的思想也給出了正態分布密度函數。資訊理論創始人香農基於最大熵原理也推導出正態分布函數。
這些領域基本上毫不相干，甚至有些人用的方法跟概率論都沒有關係，但是最終卻得到了完全一致的結論。這也充分說明了，正態分布是一種廣泛且極其普遍的分布方式。難怪有人讚嘆道：
神說，要有正態分布，就有了正態分布。
神看正態分布是好的，就讓隨機誤差服從了正態分布。
高斯尊為「數學王子」這點毋庸置疑，名下的定理，規律不計其數，但是如果要來排出最有影響力的一項，很多人都認為首選正態分布。這個分布成為許多統計方法的理論基礎，人們在數據檢測，線性回歸，方差判斷，回歸分析中總是繞不去正態分布的影子。它就像是分析學裡的微積分一樣，給予著相關領域內所有成就不盡的源泉。