pandas100個騷操作:再見 for 循環!速度提升315倍!

關註上方「Python數據科學」，選擇星標，

關鍵時間，第一時間送達！

來源：Python數據科學

作者：東哥起飛

大家好，我是東哥。

本篇是pandas100個騷操作系列的第 11 篇：再見 for 循環！速度提升315倍！

系列內容，請看👉「pandas100個騷操作」話題，訂閱後文章更新可第一時間推送至訂閱號。

for是所有程式語言的基礎語法，初學者為了快速實現功能，依懶性較強。但如果從運算時間性能上考慮可能不是特別好的選擇。本次東哥介紹幾個常見的提速方法，一個比一個快，了解pandas本質，才能知道如何提速。

>>> import pandas as pd
# 導入數據集
>>> df = pd.read_csv('demand_profile.csv')
>>> df.head()
     date_time  energy_kwh
0  1/1/13 0:00       0.586
1  1/1/13 1:00       0.580
2  1/1/13 2:00       0.572
3  1/1/13 3:00       0.596
4  1/1/13 4:00       0.592

基於上面的數據，我們現在要增加一個新的特徵，但這個新的特徵是基於一些時間條件生成的，根據時長（小時）而變化，如下：

因此，如果你不知道如何提速，那正常第一想法可能就是用apply方法寫一個函數，函數裡面寫好時間條件的邏輯代碼。

def apply_tariff(kwh, hour):
    """計算每個小時的電費"""    
    if 0 <= hour < 7:
        rate = 12
    elif 7 <= hour < 17:
        rate = 20
    elif 17 <= hour < 24:
        rate = 28
    else:
        raise ValueError(f'Invalid hour: {hour}')
    return rate * kwh

然後使用for循環來遍歷df，根據apply函數邏輯添加新的特徵，如下：

>>> # 不贊同這種操作
>>> @timeit(repeat=3, number=100)
... def apply_tariff_loop(df):
...     """用for循環計算enery cost，並添加到列表"""
...     energy_cost_list = []
...     for i in range(len(df)):
...         # 獲取用電量和時間（小時）
...         energy_used = df.iloc[i]['energy_kwh']
...         hour = df.iloc[i]['date_time'].hour
...         energy_cost = apply_tariff(energy_used, hour)
...         energy_cost_list.append(energy_cost)
...     df['cost_cents'] = energy_cost_list
... 
>>> apply_tariff_loop(df)
Best of 3 trials with 100 function calls per trial:
Function `apply_tariff_loop` ran in average of 3.152 seconds.

對於那些寫Pythonic風格的人來說，這個設計看起來很自然。然而，這個循環將會嚴重影響效率。原因有幾個：其次，它使用不透明對象範圍(0，len(df))循環，然後再應用apply_tariff()之後，它必須將結果附加到用於創建新DataFrame列的列表中。另外，還使用df.iloc [i]['date_time']執行所謂的鏈式索引，這通常會導致意外的結果。這種方法的最大問題是計算的時間成本。對於8760行數據，此循環花費了3秒鐘。一、使用 iterrows循環第一種可以通過pandas引入iterrows方法讓效率更高。這些都是一次產生一行的生成器方法，類似scrapy中使用的yield用法。.itertuples為每一行產生一個namedtuple，並且行的索引值作為元組的第一個元素。nametuple是Python的collections模塊中的一種數據結構，其行為類似於Python元組，但具有可通過屬性查找訪問的欄位。.iterrows為DataFrame中的每一行產生（index，series）這樣的元組。在這個例子中使用.iterrows，我們看看這使用iterrows後效果如何。

>>> @timeit(repeat=3, number=100)
... def apply_tariff_iterrows(df):
...     energy_cost_list = []
...     for index, row in df.iterrows():
...         # 獲取用電量和時間（小時）
...         energy_used = row['energy_kwh']
...         hour = row['date_time'].hour
...         # 添加cost列表
...         energy_cost = apply_tariff(energy_used, hour)
...         energy_cost_list.append(energy_cost)
...     df['cost_cents'] = energy_cost_list
...
>>> apply_tariff_iterrows(df)
Best of 3 trials with 100 function calls per trial:
Function `apply_tariff_iterrows` ran in average of 0.713 seconds.

這樣的語法更明確，並且行值引用中的混亂更少，因此它更具可讀性。但是，還有更多的改進空間，理想情況是可以用pandas內置更快的方法完成。二、pandas的apply方法我們可以使用.apply方法而不是.iterrows進一步改進此操作。pandas的.apply方法接受函數callables並沿DataFrame的軸(所有行或所有列)應用。下面代碼中，lambda函數將兩列數據傳遞給apply_tariff()：

>>> @timeit(repeat=3, number=100)
... def apply_tariff_withapply(df):
...     df['cost_cents'] = df.apply(
...         lambda row: apply_tariff(
...             kwh=row['energy_kwh'],
...             hour=row['date_time'].hour),
...         axis=1)
...
>>> apply_tariff_withapply(df)
Best of 3 trials with 100 function calls per trial:
Function `apply_tariff_withapply` ran in average of 0.272 seconds.

apply的語法優點很明顯，行數少，代碼可讀性高。在這種情況下，所花費的時間大約是iterrows方法的一半。但是，這還不是「非常快」。一個原因是apply()將在內部嘗試循環遍歷Cython迭代器。但是在這種情況下，傳遞的lambda不是可以在Cython中處理的東西，因此它在Python中調用並不是那麼快。如果我們使用apply()方法獲取10年的小時數據，那麼將需要大約15分鐘的處理時間。如果這個計算只是大規模計算的一小部分，那麼真的應該提速了。這也就是矢量化操作派上用場的地方。三、矢量化操作：使用.isin選擇數據如果你不基於一些條件，而是可以在一行代碼中將所有電力消耗數據應用於該價格：df ['energy_kwh'] * 28，類似這種。那麼這個特定的操作就是矢量化操作的一個例子，它是在pandas中執行的最快方法。但是如何將條件計算應用為pandas中的矢量化運算？一個技巧是：根據你的條件，選擇和分組DataFrame，然後對每個選定的組應用矢量化操作。在下面代碼中，我們將看到如何使用pandas的.isin()方法選擇行，然後在矢量化操作中實現新特徵的添加。在執行此操作之前，如果將date_time列設置為DataFrame的索引，會更方便：

# 將date_time列設置為DataFrame的索引
df.set_index('date_time', inplace=True)

@timeit(repeat=3, number=100)
def apply_tariff_isin(df):
    # 定義小時範圍Boolean數組
    peak_hours = df.index.hour.isin(range(17, 24))
    shoulder_hours = df.index.hour.isin(range(7, 17))
    off_peak_hours = df.index.hour.isin(range(0, 7))

    # 使用上面apply_traffic函數中的定義
    df.loc[peak_hours, 'cost_cents'] = df.loc[peak_hours, 'energy_kwh'] * 28
    df.loc[shoulder_hours,'cost_cents'] = df.loc[shoulder_hours, 'energy_kwh'] * 20
    df.loc[off_peak_hours,'cost_cents'] = df.loc[off_peak_hours, 'energy_kwh'] * 12

>>> apply_tariff_isin(df)
Best of 3 trials with 100 function calls per trial:
Function `apply_tariff_isin` ran in average of 0.010 seconds.

提示，上面.isin()方法返回的是一個布爾值數組，如下：

[False, False, False, ..., True, True, True]

布爾值標識了DataFrame索引datetimes是否落在了指定的小時範圍內。然後把這些布爾數組傳遞給DataFrame的.loc，將獲得一個與這些小時匹配的DataFrame切片。然後再將切片乘以適當的費率，這就是一種快速的矢量化操作了。上面的方法完全取代了我們最開始自定義的函數apply_tariff()，代碼大大減少，同時速度起飛。運行時間比Pythonic的for循環快315倍，比iterrows快71倍，比apply快27倍！四、還能更快？在上面apply_tariff_isin中，我們通過調用df.loc和df.index.hour.isin三次來進行一些手動調整。如果我們有更精細的時間範圍，你可能會說這個解決方案是不可擴展的。但在這種情況下，我們可以使用pandas的pd.cut()函數來自動完成切割：

@timeit(repeat=3, number=100)
def apply_tariff_cut(df):
    cents_per_kwh = pd.cut(x=df.index.hour,
                           bins=[0, 7, 17, 24],
                           include_lowest=True,
                           labels=[12, 20, 28]).astype(int)
    df['cost_cents'] = cents_per_kwh * df['energy_kwh']

上面代碼pd.cut()會根據bin列表應用分組。其中include_lowest參數表示第一個間隔是否應該是包含左邊的。

>>> apply_tariff_cut(df)
Best of 3 trials with 100 function calls per trial:
Function `apply_tariff_cut` ran in average of 0.003 seconds.

到目前為止，使用pandas處理的時間上基本快達到極限了！只需要花費不到一秒的時間即可處理完整的10年的小時數據集。但是，最後一個其它選擇，就是使用 NumPy，還可以更快！五、使用Numpy繼續加速使用pandas時不應忘記的一點是Pandas的Series和DataFrames是在NumPy庫之上設計的。並且，pandas可以與NumPy陣列和操作無縫銜接。下面我們使用NumPy的 digitize()函數更進一步。它類似於上面pandas的cut()，因為數據將被分箱，但這次它將由一個索引數組表示，這些索引表示每小時所屬的bin。然後將這些索引應用於價格數組：

@timeit(repeat=3, number=100)
def apply_tariff_digitize(df):
    prices = np.array([12, 20, 28])
    bins = np.digitize(df.index.hour.values, bins=[7, 17, 24])
    df['cost_cents'] = prices[bins] * df['energy_kwh'].values

>>> apply_tariff_digitize(df)
Best of 3 trials with 100 function calls per trial:
Function `apply_tariff_digitize` ran in average of 0.002 seconds.

0.002秒！ 雖然仍有性能提升，但已經很邊緣化了。以上就是本次加速的技巧分享。樣本數據可在公眾號回覆：加速 獲取。如果喜歡東哥的騷操作，請給我點個讚和在看

我是東哥，最後給大家分享《100本Python電子書》，包括Python編程技巧、數據分析、爬蟲、Web開發、機器學習、深度學習。

現在免費分享出來，有需要的讀者可以下載學習，在下面的公眾號「GitHuboy」裡回復關鍵字：Python，就行。

愛點讚的人，運氣都不會太差