首先數學的發展使得我們對於確定的現象的描述已經可以相當精確了，但是還有一部分的現象是「說不清楚的」，這種說不清楚的性質就是有一定的隨機性，為了更好地描述這一性質概率由此而生，而研究概率的性質的學科概率論也應運而生。而早期的概率論用於描述的事情很是簡單，比如說擲硬幣的概率，抽彩的概率所以早期的概率稱之為「古典概率」，是基於這樣兩個事實的：1、基本事件是等可能發生的2、組成全體的基本事件是有限的。而後隨著對於隨機現象的進一步的深入的認識我們發現很多的事情的基本事件是無法窮舉的所以產生了，但是為了，描述上的形象形成了基於幾何性質的概率——幾何概率。這樣對於可列無窮以及不可列事件對應於不同的圖形來描述就更淺顯易懂了。比如說射箭的中環的概率。只不過這種的概率依舊是建立在有面積的地方是均勻分布的前提之下的——即基本事件對應的概率是一樣的，或者說面積一樣的區域塊的概率一樣。當然這種均勻性是我們假設的條件，如果這一條件不成立，也就是第三階段的現代概率論雛形。我們引入了概率的公理化定義，在測度論上定義概率是在可測空間上的對應於任何一個子集的實值集函數。於是研究了在這個空間上的對應於集合的幾種性質以及運算法則。
為了更好的研究概率我們在概率空間定義了隨機變量並研究了在這個基礎之上的概率的隨著隨機變量的不同取值的分布情況，所以有了隨機變量（離散）的分布列以及單點取值對應於連續變量是分布函數以及分布密度函數，並對於一些特定的分布的性質做了深入研究，得到了一些結論。
然後我們發現在某些情況下，實際的事件沒有那麼簡單，常常兩個事件之間具有一定的關聯性，所以在單個的變量的基礎之上將其維度進行拓展，並開始研究多維變量的聯合概率對應於連續的變量是聯合分布於聯合分布密度函數，對應於離散型隨機變量是聯合分布列以及二維單點概率，並相對的深入研究了某些分布函數的性質，得到了一些結論。
與此同時，人們還注意到有些事件的關係並不是在同一個水平上的，有可能有這種情況就是一個事件的發生往往導致另一個事件的發生，也就是說在上面所說的多個事件的關聯性中如果這兩個事件的關聯是屬於因果關聯的這種特殊的情形下，也就是說前一個事件的發生是後一個事件發生的條件那麼這樣的關聯可以單獨提出來進行研究，也就是我們後面要說的條件概率的產生。同樣的對於條件概率我們還是研究了和上面兩個一樣的東西。
至此事件的概率就基本上研究的比較清楚了，不過實踐中人們發現，其實在很多情況下我們根本就不知道或者很難知道事件的概率或其服從什麼分布函數，但是我們又發現其實我們也根本沒有必要知道事件的概率分布函數才可以解決實際問題，我們只要知道其中的某些關鍵特徵就好。在這一層面上所謂的隨機變量的數字特徵就產生了。人們發現這種特徵很是好用，並在這一特徵中提出了「矩」的概念，也就是原點矩和中心矩。一般情況下我們用的最多的還是一階原點矩——期望，以及二階中心矩——方差。最多不超過4階矩，4階以上不常用。同樣，定義了矩的概念以後對於之前的服從特殊分布的隨機變量的相應的矩，我們做了進一步研究得到了一些結論，並拓展到多維度的矩，條件矩等。在這期間我們定義了事件之間線性關係的度量——所謂的協方差以及相關係數並發現服從正態分布的隨機變量的線性無關與其相互獨立是分割不開的。
但其實我們對於矩的研究主要是基於對於現實生活中的事件的發生的統計，或者說是我們進行的抽樣來近似這樣一個總體的特性，但是為什麼大量抽樣就可以很好地近似這樣的總體的數字特徵並沒有科學嚴謹的證實，畢竟不像古典概率那樣認為是等概率的。所以就有了大數定律以及中心極限定理的產生。大數定律說明了這樣一個事實，那就是當抽到的樣本很大時，所有的樣本的均值和樣本所屬總體的期望的均值是以很大概率接近的，這個定理之所以強大是因為無論樣本之間是相互獨立的還是有什麼關聯，無論是不是從同一個總體中抽取的都沒有關係，只要n趨於無窮大那麼樣本均值一定以很大的概率接近於其期望的均值。如果只考慮樣本之間相互獨立的這一特殊的情形，那麼當期望以及方差都存在時服從大數定律（切比雪夫大數定律；如果樣本之間不但相互獨立，而且還服從同一分布，那麼當期望和方差都存在時服從都存在時服從大數定律（獨立同分布大數定律）。但是這一條件限制可以放鬆一點，即只有期望存在時也是服從大數定律的（辛欽大數定律）這一個定律應用的最多，因為其解釋了大量測量值的算術平均值作為精確值的估計的理論依據；如果樣本是由「貝努力試驗」中得到的那麼其發生的頻率趨近於概率（貝努力大數定律）而基於這一理論的另一個角度上引出了小概率推斷原理——如果事件發生的頻率過小，那麼對應的概率一定也很小，所以單次發生的可能性基本為零。中心極限定理說明了這樣一個問題，就是任何相互獨立的標準化隨機變量序列的極限分布趨近於正態分布。當這些隨機變量序列服從同分布的時候，就是獨立同分布中心極限定理，當隨機序列是由貝努力試驗中得到的時候，就有了棣莫佛—拉普拉斯中心極限定理。
至此所有的概率的內容基本上就完了，但是在18世紀中葉由於傅立葉的出現，產生了特徵函數。他發現分布函數其實就是一種表示頻度的函數，而與另一種時域函數特徵函數產生了關聯——就是傅立葉變換及其逆變換。特徵函數的發現使得對於隨機變量的矩的求解具有特殊的意義，他使得求解矩就跟求導一樣容易，所以相應的也就研究了多維隨機變量的特徵函數以及條件特徵函數。相應的對於離散的隨機變量的分布函數是母函數，我們也研究了其相應的性質。
在後續的人們逐漸意識到我們可以知道隨機變量的特性，不過我們所謂的隨機變量其實是與基本事件一一對應的，而基本事件的發生與否只是一個時間點上的瞬間，如果要研究特定的事件的在相當一段時間的取值又該如何呢。所以產生了隨機過程的這一概念，將隨機變量加入了時間的這一參數。
*文章部分內容整理於網絡
歡迎關注愛數學之家， 一個致力於傳播數學文化的公眾號