雖然統計學要利用數學方法來進行計算，但從《隨機變量與數據分析---數據分析》一文的數據分析中我們能體會到，統計學與數學在許多方面是不一樣的，是「合而不同」的。下面我們嘗試地分析一下二者之間的區別，這不僅有利於我們了解統計學，也有利於我們更加深層次地理解數學。
（一）立論基礎不同
從數量和數量關係這個角度考慮，數學是建立在概念和符號的基礎上的。為了研究數量，先從數量中抽象出自然數以及自然數的運算法則，根據運算的需要逐漸進行數的擴充：自然數與加法，整數與減法，有理數與除法，實數與極限；為了研究數量關係，定義了方程，函數，導數，微分，積分，微分方程。從對數學的抽象過程的討論我們知道，一個好的概念的形成和一個好的符號表達對於數學的發展是至關重要的。而統計學是建立在數學的基礎上的，雖然概念和符號對於統計學的發展也是重要的，但是統計學在本質上是通過數據進行推斷的。
（二）推理方法不同
與概念合符號相對應，數學的推理依賴的是公理和假設，雖然這些公理和假設可能是來源於人們的經驗和直觀；數學的推理過程在本質上是演繹法，這是一個以三段論為核心的推理方法，是一個從一般到特殊的方法，而統計學的推理依賴的是數據和數據產生的背景，強調根據背景尋找合適的推斷方法；統計學的推理過程在本質上是歸納法，這是一個從部分推斷全體的方法，是一個從特殊到一般的方法。
（三）判斷原則不同
我們已經說過，數學在本質上是確定性的，從同樣的條件出發就應當得到同樣的結果，如果結果不一樣則必然有一個是錯誤的。因此，數學對結果的判斷標準是「對錯」，從這個意義上說，數學是一門科學，而統計學是通過數據來推斷數據產生的背景，即便是同樣的數據，也允許人們根據自己的理解提出不同的推斷方法，給出不同的推斷結果，比如我們用過最大似然估計和貝葉斯估計，我們很難說哪種方法是對的或者哪種方法是錯的。因此，統計學對結果的判斷標準是「好壞」，從這個意義上說，統計學不僅是一門科學，也是一門藝術，因為藝術是允許「仁者見仁智者見智」的。