pandas100個騷操作:強大的 accessor 方法

2021-02-18 Python數據科學
>>> pd.Series._accessors
{'cat', 'str', 'dt'}

對於Series數據結構使用_accessors方法,我們得到了3個對象:cat,str,dt。

.cat:用於分類數據(Categorical data).str:用於字符數據(String Object data).dt:用於時間數據(datetime-like data)

下面我們依次看一下這三個對象是如何使用的。

str對象的使用

Series數據類型:str字符串

# 定義一個Series序列
>>> addr = pd.Series([
...     'Washington, D.C. 20003',
...     'Brooklyn, NY 11211-1755',
...     'Omaha, NE 68154',
...     'Pittsburgh, PA 15211'
... ]) 

>>> addr.str.upper()
0     WASHINGTON, D.C. 20003
1    BROOKLYN, NY 11211-1755
2            OMAHA, NE 68154
3       PITTSBURGH, PA 15211
dtype: object

>>> addr.str.count(r'\d') 
0    5
1    9
2    5
3    5
dtype: int64

關於以上str對象的2個方法說明:

Series.str.upper:將Series中所有字符串變為大寫;Series.str.count:對Series中所有字符串的個數進行計數;

其實不難發現,該用法的使用與Python中字符串的操作很相似。沒錯,在pandas中你一樣可以這樣簡單的操作,而不同的是你操作的是一整列的字符串數據。仍然基於以上數據集,再看它的另一個操作:

>>> regex = (r'(?P<city>[A-Za-z ]+), '      # 一個或更多字母
...          r'(?P<state>[A-Z]{2}) '        # 兩個大寫字母
...          r'(?P<zip>\d{5}(?:-\d{4})?)')  # 可選的4個延伸數字
...
>>> addr.str.replace('.', '').str.extract(regex)
         city state         zip
0  Washington    DC       20003
1    Brooklyn    NY  11211-1755
2       Omaha    NE       68154
3  Pittsburgh    PA       15211

關於以上str對象的2個方法說明:

Series.str.replace:將Series中指定字符串替換;Series.str.extract:通過正則表達式提取字符串中的數據信息;

這個用法就有點複雜了,因為很明顯看到,這是一個鏈式的用法。通過replace將 " . " 替換為"",即為空,緊接著又使用了3個正則表達式(分別對應city,state,zip)通過extract對數據進行了提取,並由原來的Series數據結構變為了DataFrame數據結構。

當然,除了以上用法外,常用的屬性和方法還有.rstrip,.contains,split等,我們通過下面代碼查看一下str屬性的完整列表:

>>> [i for i in dir(pd.Series.str) if not i.startswith('_')]
['capitalize',
 'cat',
 'center',
 'contains',
 'count',
 'decode',
 'encode',
 'endswith',
 'extract',
 'extractall',
 'find',
 'findall',
 'get',
 'get_dummies',
 'index',
 'isalnum',
 'isalpha',
 'isdecimal',
 'isdigit',
 'islower',
 'isnumeric',
 'isspace',
 'istitle',
 'isupper',
 'join',
 'len',
 'ljust',
 'lower',
 'lstrip',
 'match',
 'normalize',
 'pad',
 'partition',
 'repeat',
 'replace',
 'rfind',
 'rindex',
 'rjust',
 'rpartition',
 'rsplit',
 'rstrip',
 'slice',
 'slice_replace',
 'split',
 'startswith',
 'strip',
 'swapcase',
 'title',
 'translate',
 'upper',
 'wrap',
 'zfill']

屬性有很多,對於具體的用法,如果感興趣可以自己進行摸索練習。

dt對象的使用

Series數據類型:datetime

因為數據需要datetime類型,所以下面使用pandas的date_range()生成了一組日期datetime演示如何進行dt對象操作。

>>> daterng = pd.Series(pd.date_range('2017', periods=9, freq='Q'))
>>> daterng
0   2017-03-31
1   2017-06-30
2   2017-09-30
3   2017-12-31
4   2018-03-31
5   2018-06-30
6   2018-09-30
7   2018-12-31
8   2019-03-31
dtype: datetime64[ns]

>>>  daterng.dt.day_name()
0      Friday
1      Friday
2    Saturday
3      Sunday
4    Saturday
5    Saturday
6      Sunday
7      Monday
8      Sunday
dtype: object

>>> # 查看下半年
>>> daterng[daterng.dt.quarter > 2]
2   2017-09-30
3   2017-12-31
6   2018-09-30
7   2018-12-31
dtype: datetime64[ns]

>>> daterng[daterng.dt.is_year_end]
3   2017-12-31
7   2018-12-31
dtype: datetime64[ns]

以上關於dt的3種方法說明:

Series.dt.day_name():從日期判斷出所處星期數;Series.dt.quarter:從日期判斷所處季節;Series.dt.is_year_end:從日期判斷是否處在年底;

其它方法也都是基於datetime的一些變換,並通過變換來查看具體微觀或者宏觀日期。

cat對象的使用

Series數據類型:Category

在說cat對象的使用前,先說一下Category這個數據類型,它的作用很強大。雖然我們沒有經常性的在內存中運行上g的數據,但是我們也總會遇到執行幾行代碼會等待很久的情況。使用Category數據的一個好處就是:可以很好的節省在時間和空間的消耗。下面我們通過幾個實例來學習一下。

>>> colors = pd.Series([
...     'periwinkle',
...     'mint green',
...     'burnt orange',
...     'periwinkle',
...     'burnt orange',
...     'rose',
...     'rose',
...     'mint green',
...     'rose',
...     'navy'
... ])
...
>>> import sys
>>> colors.apply(sys.getsizeof)
0    59
1    59
2    61
3    59
4    61
5    53
6    53
7    59
8    53
9    53
dtype: int64

上面我們通過使用sys.getsizeof來顯示內存佔用的情況,數字代表字節數。還有另一種計算內容佔用的方法:memory_usage(),後面會使用。

現在我們將上面colors的不重複值映射為一組整數,然後再看一下佔用的內存。

>>> mapper = {v: k for k, v in enumerate(colors.unique())}
>>> mapper
{'periwinkle': 0, 'mint green': 1, 'burnt orange': 2, 'rose': 3, 'navy': 4}

>>> as_int = colors.map(mapper)
>>> as_int
0    0
1    1
2    2
3    0
4    2
5    3
6    3
7    1
8    3
9    4
dtype: int64

>>> as_int.apply(sys.getsizeof)
0    24
1    28
2    28
3    24
4    28
5    28
6    28
7    28
8    28
9    28
dtype: int64

註:對於以上的整數值映射也可以使用更簡單的pd.factorize()方法代替。

我們發現上面所佔用的內存是使用object類型時的一半。其實,這種情況就類似於Category data類型內部的原理。

內存佔用區別:Categorical所佔用的內存與Categorical分類的數量和數據的長度成正比,相反,object所佔用的內存則是一個常數乘以數據的長度。

下面是object內存使用和category內存使用的情況對比。

>>> colors.memory_usage(index=False, deep=True)
650
>>> colors.astype('category').memory_usage(index=False, deep=True)
495

上面結果是使用object和Category兩種情況下內存的佔用情況。

我們發現效果並沒有我們想像中的那麼好。但是注意Category內存是成比例的,如果數據集的數據量很大,但不重複分類(unique)值很少的情況下,那麼Category的內存佔用可以節省達到10倍以上,比如下面數據量增大的情況:

>>> manycolors = colors.repeat(10)
>>> len(manycolors) / manycolors.nunique() 
20.0

>>> manycolors.memory_usage(index=False, deep=True)
6500
>>> manycolors.astype('category').memory_usage(index=False, deep=True)
585

可以看到,在數據量增加10倍以後,使用Category所佔內容節省了10倍以上。

除了佔用內存節省外,另一個額外的好處是計算效率有了很大的提升。因為對於Category類型的Series,str字符的操作發生在.cat.categories的非重複值上,而並非原Series上的所有元素上。也就是說對於每個非重複值都只做一次操作,然後再向與非重複值同類的值映射過去。

對於Category的數據類型,可以使用accessor的cat對象,以及相應的屬性和方法來操作Category數據。

>>> ccolors = colors.astype('category')
>>> ccolors.cat.categories
Index(['burnt orange', 'mint green', 'navy', 'periwinkle', 'rose'], dtype='object')

實際上,對於開始的整數類型映射,我們可以先通過reorder_categories進行重新排序,然後再使用cat.codes來實現對整數的映射,來達到同樣的效果。

>>> ccolors.cat.reorder_categories(mapper).cat.codes
0    0
1    1
2    2
3    0
4    2
5    3
6    3
7    1
8    3
9    4
dtype: int8

dtype類型是Numpy的int8(-127~128)。可以看出以上只需要一個單字節就可以在內存中包含所有的值。我們開始的做法默認使用了int64類型,然而通過pandas的使用可以很智能的將Category數據類型變為最小的類型。

讓我們來看一下cat還有什麼其它的屬性和方法可以使用。下面cat的這些屬性基本都是關於查看和操作Category數據類型的。

>>> [i for i in dir(ccolors.cat) if not i.startswith('_')]
['add_categories',
 'as_ordered',
 'as_unordered',
 'categories',
 'codes',
 'ordered',
 'remove_categories',
 'remove_unused_categories',
 'rename_categories',
 'reorder_categories',
 'set_categories']

但是Category數據的使用不是很靈活。例如,插入一個之前沒有的值,首先需要將這個值添加到.categories的容器中,然後再添加值。

>>> ccolors.iloc[5] = 'a new color'
# ...
ValueError: Cannot setitem on a Categorical with a new category,
set the categories first

>>> ccolors = ccolors.cat.add_categories(['a new color'])
>>> ccolors.iloc[5] = 'a new color'  

如果你想設置值或重塑數據,而非進行新的運算操作,那麼Category類型不是那麼有用。

相關焦點

  • pandas100個騷操作:再見 for 循環!速度提升315倍!
    本篇是pandas100個騷操作系列的第 11 篇:再見 for 循環!速度提升315倍!系列內容,請看👉「pandas100個騷操作」話題,訂閱後文章更新可第一時間推送至訂閱號。for是所有程式語言的基礎語法,初學者為了快速實現功能,依懶性較強。
  • pandas100個騷操作:使用 Datetime 提速 50 倍運行速度!
    本篇是pandas100個騷操作系列的第 10 篇:使用 Datetime
  • pandas100個騷操作:變量類型自動轉換
    本篇是pandas100個騷操作的第一篇:變量類型自動轉換在用pandas進行數據清洗的過程中,變量的類型轉換是一個必然會遇到的步驟。清洗初期查看dtypes經常出現object類型,但其實變量本身可能就是個字符串,或者是數字(但因存在空值,導致出現了object類型)。通常大家所熟知的方法是使用astype進行類型轉換,或者自己利用astype造個輪子,寫個函數方法實現自動轉換類型。
  • 那些功能逆天,卻鮮為人知的pandas騷操作
    一、ACCESSORpandas有一種功能非常強大的方法,它就是accessor,可以將它理解為一種屬性接口,通過它可以獲得額外的方法。其實這樣說還是很籠統,下面我們通過代碼和實例來理解一下。>>> pd.Series.
  • pandas100個騷操作:transform 數據轉換的 4 個常用技巧!
    transform有4個比較常用的功能,總結如下:一.字符串函數也可以傳遞任何有效的pandas內置的字符串函數,例如sqrt:df.transform('sqrt')3. 函數列表func還可以是一個函數的列表。
  • 數據分析之Pandas變形操作總結
    Pandas做分析數據,可以分為索引、分組、變形及合併四種操作。前邊已經介紹過索引操作、分組操作,現在接著對Pandas中的變形操作進行介紹,涉及知識點提綱如下圖:     本文目錄              1.
  • pandas使用的100個trick
    pandas是處理數據的必備工具,可以方便地篩選,統計,分組集計,轉換等操作,而且pandas(熊貓)這麼可愛,誰能不愛呢kaggle上一位pandas大神總結了100個tricks,覺得有些很有意思,整理了一些,點擊文末閱讀原文查看完整的100個trick•Trick 1: 一行查看數據總體情況•Trick 2: pd.read_csv
  • 十分鐘學習pandas! pandas常用操作總結!
    學習Python, 當然少不了pandas,pandas是python數據科學中的必備工具
  • 十分鐘學習pandas!pandas常用操作總結!
    學習Python, 當然少不了pandas,pandas是python數據科學中的必備工具,熟練使用pandas是從sql boy/girl 跨越到一名優秀的數據分析師傅的必備技能。這篇pandas常用操作總結幫大家回顧下pandas的常用語法,尤其是我們分析數據時常用的方法。
  • 數據分析之Pandas合併操作總結
    Pandas做分析數據,可以分為索引、分組、變形及合併四種操作。前邊已經介紹過索引操作、分組操作及變形操作,最後對Pandas中的合併操作進行介紹,涉及知識點提綱如下圖:     本文目錄              1. append與assign                  1.1. append方法                  1.2.
  • pandas操作excel全總結
    pandas是基於Numpy創建的Python包,內置了大量標準函數,能夠高效地解決數據分析數據處理和分析任務,pandas支持多種文件的操作,比如Excel,csv,json,txt 文件等,讀取文件之後,就可以對數據進行各種清洗、分析操作了。
  • 用這幾個方法提高pandas運行速度
    Python之所以適合數據分析,是因為它有很多第三方強大的庫來協助,pandas就是其中之一。pandas的文檔中是這樣描述的:「快速,靈活,富有表現力的數據結構,旨在使」關係「或」標記「數據的使用既簡單又直觀。」
  • Pandas向量化字符串操作
    一、向量化操作概述Python內置一系列強大的字符串處理方法
  • 【Python基礎】Pandas向量化字符串操作
    Python內置一系列強大的字符串處理方法,但這些方法只能處理單個字符串,處理一個序列的字符串時,需要用到循環。那麼,有沒有辦法,不用循環就能同時處理多個字符串呢,pandas的向量化操作就提供了這樣的方法。向量化的操作使我們不必擔心數組的長度和維度,只需要關係操作功能,尤為強大的是,除了支持常用的字符串操作方法,還集成了正則表達式的大部分功能,這使得pandas在處理字符串列時,具有非常大的魔力。
  • Pandas切片操作:一個很容易忽視的錯誤
    來源丨機器學習算法與Python實戰(tjxj666)Pandas是一個強大的分析結構化數據的工具集
  • Python3操作excel的集大成者pandas
    有個Python開發包的大管家,名叫Anaconda,這傢伙安裝好後,就有了操作excel的開發包pandas,既然用Anaconda的挺多,想必處理excel時,他們會更多選擇用pandas,而它是基於NumPy 的一種工具,該工具是為了解決數據分析任務而創建的。
  • 還在抱怨Pandas運行速度慢?這幾個方法會顛覆你的看法
    Python之所以適合數據分析,是因為它有很多第三方強大的庫來協助,pandas就是其中之一。pandas的文檔中是這樣描述的:「快速,靈活,富有表現力的數據結構,旨在使」關係「或」標記「數據的使用既簡單又直觀。」
  • 還在抱怨pandas運行速度慢?這幾個方法會顛覆你的看法
    Python之所以適合數據分析,是因為它有很多第三方強大的庫來協助,pandas就是其中之一。pandas的文檔中是這樣描述的:「快速,靈活,富有表現力的數據結構,旨在使」關係「或」標記「數據的使用既簡單又直觀。」
  • pandas讀取表格後的常用數據處理操作
    pandas讀取表格後的一些常用數據處理操作。這篇文章其實來源於自己的數據挖掘課程作業,通過完成老師布置的作業,感覺對於使用python中的pandas模塊讀取表格數據進行操作有了更深層的認識,這裡做一個整理總結。
  • Pandas的函數應用及映射方法
    CDA數據分析師 出品在數據分析師日常的數據清洗工作中,經常需要對數據進行各種映射變換,通過Pandas可以非常方便地解決此問題,其提供了map()、apply()、mapapply()等方法,下面將一一詳細介紹這三個映射函數的用法及三者的區別。