多元統計分析——歐式距離和馬氏距離

今天介紹一下歐式距離和馬氏距離。歐式距離大家都比較熟悉，但是歐式距離在某些情境下不太適用，於是印度統計學家馬哈拉諾比斯(P. C. Mahalanobis)提出了馬氏距離，來解決不能直接使用歐式距離的問題。

文章分為四個部分，第一部分簡單介紹歐式距離，第二部分給出不能直接使用歐式距離的例子，第三部分介紹馬氏距離，第四部分將歐式距離和馬氏距離的優缺點作比較。

歐式距離

歐式距離是指歐幾裡得空間中兩點的直線距離，設p維空間中兩點x和y的為：

那麼x，y之間的歐式距離可以表示為：

平方歐式距離為：

不能直接使用歐式距離的例子

如何判斷兩國各項目成績之間的差距？

當我們用歐式距離來比較各國之間田徑項目成績差異的時候，首先要對數據做標準化變換。即每個項目減去各自的均值再除以標準差，這樣子可以消除單位和方差差異的影響。但是儘管做到這樣，我們發現，有些項目之間有較強的相關性，比如100米和200米成績的相關性就比較強，在歐式距離的計算中我們不管各個項目之間的相關性，而是給各個分量想相同的權重。這就是歐式距離所忽視的地方，即不能消除各個項目之間相關性的影響。

因此，我們引入了馬氏距離。

馬氏距離

同樣地，設p維空間中兩點x，y為：

則x，y之間的馬氏距離可表示為：

x到總體的馬氏距離可表示為：

其中表示的是x和y的協方差矩陣，由於協方差矩陣的元素表示了各個分量之間的相關性，通過在歐式距離的基礎上乘一個協方差矩陣的逆，馬氏距離就消除了數據之間相關性的影響。

馬氏距離不受量綱的影響，兩點之間的馬氏距離與原始數據的測量單位無關，同時還可以排除變量之間的相關性的幹擾。所以在多用統計分析中一般採用馬氏距離。但是，另一方面，馬氏距離誇大了微小變量的作用。同時由於馬氏距離與協方差矩陣有關，因此協方差矩陣的不確定性往往容易導致無法計算出馬氏距離。