Python數據清洗(三):異常值識別與處理

作者 | 劉順祥 來源 | 數據分析1480

在《Python數據清洗(一)：類型轉換和冗餘數據刪除》和《Python數據清洗(二)：缺失值識別與處理》文中已經講解了有關數據中重複觀測和缺失值的識別與處理，在本節中將分享異常值的判斷和處理方法。

異常值也稱為離群點，就是那些遠離絕大多數樣本點的特殊群體，通常這樣的數據點在數據集中都表現出不合理的特性。如果忽視這些異常值，在某些建模場景下就會導致結論的錯誤（如線性回歸模型、K均值聚類等），所以在數據的探索過程中，有必要識別出這些異常值並處理好它們。

異常值的識別

通常，異常值的識別可以藉助於圖形法（如箱線圖、正態分布圖）和建模法（如線性回歸、聚類算法、K近鄰算法），在本期內容中，將分享兩種圖形法，在下一期將分享基於模型識別異常值的方法。

箱線圖法

箱線圖技術實際上就是利用數據的分位數識別其中的異常點，該圖形屬於典型的統計圖形，在學術界和工業界都得到廣泛的應用。箱線圖的形狀特徵如下圖所示：

圖中的下四分位數指的是數據的25%分位點所對應的值（Q1）；中位數即為數據的50%分位點所對應的值（Q2）；上四分位數則為數據的75%分位點所對應的值（Q3）；上須的計算公式為Q3+1.5(Q3-Q1)；下須的計算公式為Q1-1.5(Q3-Q1)。其中，Q3-Q1表示四分位差。如果採用箱線圖識別異常值，其判斷標準是，當變量的數據值大於箱線圖的上須或者小於箱線圖的下須時，就可以認為這樣的數據點為異常點。

所以，基於上方的箱線圖，可以定義某個數值型變量中的異常點和極端異常點，它們的判斷表達式如下表所示：

在Python中可以使用matplotlib模塊實現數據的可視化，其中boxplot函數就是用於繪製箱線圖的。下面以1700年至1988年太陽黑子數量的數據為例，利用箱線圖法識別數據中的異常點和極端異常點。具體的代碼如下：

# 導入第三方模塊import pandas as pdimport matplotlib.pyplot as plt# 導入數據sunspots = pd.read_csv(r'C:\Users\Administrator\Desktop\sunspots.csv')# 繪製箱線圖（1.5倍的四分位差，如需繪製3倍的四分位差，只需調整whis參數）plt.boxplot(x = sunspots.counts, # 指定繪製箱線圖的數據 whis = 1.5, # 指定1.5倍的四分位差 widths = 0.7, # 指定箱線圖的寬度為0.8 patch_artist = True, # 指定需要填充箱體顏色 showmeans = True, # 指定需要顯示均值 boxprops = {'facecolor':'steelblue'}, # 指定箱體的填充色為鐵藍色 # 指定異常點的填充色、邊框色和大小 flierprops = {'markerfacecolor':'red', 'markeredgecolor':'red', 'markersize':4}, # 指定均值點的標記符號（菱形）、填充色和大小 meanprops = {'marker':'D','markerfacecolor':'black', 'markersize':4}, medianprops = {'linestyle':'--','color':'orange'}, # 指定中位數的標記符號（虛線）和顏色 labels = [''] # 去除箱線圖的x軸刻度值 )# 顯示圖形plt.show()

如上圖所示，利用matplotlib子模塊pyplot中的boxplot函數可以非常方便地繪製箱線圖，其中左圖的上下須設定為1.5倍的四分位差，右圖的上下須設定為3倍的四分位差。從左圖可知，發現數據集中至少存在5個異常點，它們均在上須之上；而在右圖中並沒有顯示極端異常點。

通過上圖可以直觀地發現數據中是否存在異常點或極端異常點，但無法得知哪些觀測為異常點，以及這些異常點的具體數值。為解決該問題，讀者可以通過下方的代碼實現查詢：

# 計算下四分位數和上四分位Q1 = sunspots.counts.quantile(q = 0.25)Q3 = sunspots.counts.quantile(q = 0.75)# 基於1.5倍的四分位差計算上下須對應的值low_whisker = Q1 - 1.5*(Q3 - Q1)up_whisker = Q3 + 1.5*(Q3 - Q1)# 尋找異常點sunspots.counts[(sunspots.counts > up_whisker) | (sunspots.counts < low_whisker)]

正態分布圖法

根據正態分布的定義可知，數據點落在偏離均值正負1倍標準差（即sigma值）內的概率為68.2%；數據點落在偏離均值正負2倍標準差內的概率為95.4%；數據點落在偏離均值正負3倍標準差內的概率為99.6%。

所以，換個角度思考上文提到的概率值，如果數據點落在偏離均值正負2倍標準差之外的概率就不足5%，它屬於小概率事件，即認為這樣的數據點為異常點。同理，如果數據點落在偏離均值正負3倍標準差之外的概率將會更小，可以認為這些數據點為極端異常點。為使讀者直觀地理解文中提到的概率值，可以查看標準正態分布的概率密度圖，如下圖所示：

進一步，基於上圖的結論，可以按照下表中的判斷條件，識別出數值型變量的異常點和極端異常點，如下表所示：

利用正態分布的知識點，結合pyplot子模塊中的plot函數繪製折線圖和散點圖，並藉助於兩條水平參考線識別異常值或極端異常值。

接下來以某公司的支付轉化率數據為例，使用正態分布的特性識別數據集中的異常點和極端異常點，該數據呈現的是2017年第三季度每天的支付轉化率。我們利用如上介紹的plot函數，識別數據中可能存在的異常點或極端異常點。具體代碼如下：

# 讀入外部數據pay_ratio = pd.read_excel(r'C:\Users\Administrator\Desktop\pay_ratio.xlsx')# 繪製單條折線圖，並在折線圖的基礎上添加點圖plt.plot(pay_ratio.date, # x軸數據 pay_ratio.ratio, # y軸數據 linestyle = '-', # 設置折線類型 linewidth = 2, # 設置線條寬度 color = 'steelblue', # 設置折線顏色 marker = 'o', # 往折線圖中添加圓點 markersize = 4, # 設置點的大小 markeredgecolor='black', # 設置點的邊框色 markerfacecolor='black') # 設置點的填充色# 顯示圖形plt.show()# 添加上下界的水平參考線（便於判斷異常點，如下判斷極端異常點，只需將2改為3）plt.axhline(y = pay_ratio.ratio.mean() - 2* pay_ratio.ratio.std(), linestyle = '--', color = 'gray')plt.axhline(y = pay_ratio.ratio.mean() + 2* pay_ratio.ratio.std(), linestyle = '--', color = 'gray')# 導入模塊，用於日期刻度的修改（因為默認格式下的日期刻度標籤並不是很友好）import matplotlib as mpl# 獲取圖的坐標信息ax = plt.gca()# 設置日期的顯示格式 date_format = mpl.dates.DateFormatter("%m-%d") ax.xaxis.set_major_formatter(date_format) # 設置x軸每個刻度的間隔天數xlocator = mpl.ticker.MultipleLocator(7)ax.xaxis.set_major_locator(xlocator)# 為了避免x軸刻度標籤的緊湊，將刻度標籤旋轉45度plt.xticks(rotation=45)

如上圖所示，左圖中的兩條水平線是偏離均值正負2倍標準差的參考線，目測有6個樣本點落在參考線之外，可以判定它們屬於異常點；而對於右圖中偏離均值正負3倍標準差的參考線來說，僅有1個樣本點落在參考線之外，即說明該樣本點就是2017年第三季度的唯一極端異常點。

同理，也可以藉助於下面的代碼，查詢出異常點所對應的水流量：

# 計算判斷異常點和極端異常點的臨界值outlier_ll = pay_ratio.ratio.mean() - 2* pay_ratio.ratio.std()outlier_ul = pay_ratio.ratio.mean() + 2* pay_ratio.ratio.std()extreme_outlier_ll = pay_ratio.ratio.mean() - 3* pay_ratio.ratio.std()extreme_outlier_ul = pay_ratio.ratio.mean() + 3* pay_ratio.ratio.std()# 尋找異常點pay_ratio.loc[(pay_ratio.ratio > outlier_ul) | (pay_ratio.ratio < outlier_ll), ['date','ratio']]# 尋找極端異常點pay_ratio.loc[(pay_ratio.ratio > extreme_outlier_ul) | (pay_ratio.ratio < extreme_outlier_ll), ['date','ratio']]

異常點

極端異常點

儘管基於箱線圖的分位數法和基於正態分布的參考線法都可以實現異常值和極端異常值的識別，但是在實際應用中，需要有針對性的選擇。如果待判斷的變量近似服從正態分布，建議選擇正態分布的參考線法識別異常點，否則使用分位數法識別異常點。

搜索進入CDA小程序，解鎖更多優質內容，還有很多免費的試聽視頻喲，不容錯過