作者 | 劉順祥 來源 | 數據分析1480
這一期將分享我認為比較常規的100個實用函數，這些函數大致可以分為六類，分別是統計匯總函數、數據清洗函數、數據篩選、繪圖與元素級運算函數、時間序列函數和其他函數。
統計匯總函數
數據分析過程中，必然要做一些數據的統計匯總工作，那麼對於這一塊的數據運算有哪些可用的函數可以幫助到我們呢？具體看如下幾張表。
import pandas as pdimport numpy as npx = pd.Series(np.random.normal(2,3,1000))y = 3*x + 10 + pd.Series(np.random.normal(1,2,1000))# 計算x與y的相關係數print(x.corr(y))# 計算y的偏度print(y.skew())# 計算y的統計描述值print(x.describe())z = pd.Series(['A','B','C']).sample(n = 1000, replace = True)# 重新修改z的行索引z.index = range(1000)# 按照z分組，統計y的組內平均值y.groupby(by = z).aggregate(np.mean)
# 統計z中個元素的頻次print(z.value_counts())a = pd.Series([1,5,10,15,25,30])# 計算a中各元素的累計百分比print(a.cumsum() / a.cumsum()[a.size - 1])
數據清洗函數
同樣，數據清洗工作也是必不可少的工作，在如下表格中羅列了常有的數據清洗的函數。
x = pd.Series([10,13,np.nan,17,28,19,33,np.nan,27])#檢驗序列中是否存在缺失值print(x.hasnans)# 將缺失值填充為平均值print(x.fillna(value = x.mean()))# 前向填充缺失值print(x.ffill())
income = pd.Series(['12500元','8000元','8500元','15000元','9000元'])# 將收入轉換為整型print(income.str[:-1].astype(int))gender = pd.Series(['男','女','女','女','男','女'])# 性別因子化處理print(gender.factorize())house = pd.Series(['大寧金茂府 | 3室2廳 | 158.32平米 | 南 | 精裝', '昌裡花園 | 2室2廳 | 104.73平米 | 南 | 精裝', '紡大小區 | 3室1廳 | 68.38平米 | 南 | 簡裝'])# 取出二手房的面積，並轉換為浮點型house.str.split('|').str[2].str.strip().str[:-2].astype(float)
數據篩選
數據分析中如需對變量中的數值做子集篩選時，可以巧妙的使用下表中的幾個函數，其中部分函數既可以使用在序列身上，也基本可以使用在數據框對象中。
np.random.seed(1234)x = pd.Series(np.random.randint(10,20,10))# 篩選出16以上的元素print(x.loc[x > 16])print(x.compress(x > 16))# 篩選出13~16之間的元素print(x[x.between(13,16)])# 取出最大的三個元素print(x.nlargest(3))y = pd.Series(['ID:1 name:張三 age:24 income:13500', 'ID:2 name:李四 age:27 income:25000', 'ID:3 name:王二 age:21 income:8000'])# 取出年齡，並轉換為整數print(y.str.findall('age:(d+)').str[0].astype(int))
繪圖與元素級函數
時間序列函數
其他函數
import numpy as npimport pandas as pdnp.random.seed(112)x = pd.Series(np.random.randint(8,18,6))print(x)# 對x中的元素做一階差分print(x.diff())# 對x中的元素做降序處理print(x.sort_values(ascending = False))y = pd.Series(np.random.randint(8,16,100))# 將y中的元素做排重處理，並轉換為列表對象y.unique().tolist()