來源 | 早起Python（ID：zaoqi-python）
編譯 | 劉早起(有刪改)
在使用 Python 進行數據分析時，Jupyter Notebook 是一個非常強力的工具，在數據集不是很大的情況下，我們可以使用 pandas 輕鬆對 txt 或 csv 等純文本格式數據進行讀寫。然而當數據集的維度或者體積很大時，將數據保存並加載回內存的過程就會變慢，並且每次啟動 Jupyter Notebook 時都需要等待一段時間直到數據重新加載， 這樣 csv 格式或任何其他純文本格式數據都失去了吸引力。本文將對 pandas 支持的多種格式數據在處理數據的不同方面進行比較，包含 I/O速度、內存消耗、磁碟佔用空間等指標，試圖找出如何為我們的數據找到一個合適的格式的辦法！Pickle：用於序列化和反序列化Python對象結構MessagePack：類似於json，但是更小更塊Parquet：Apache Hadoop的列式存儲格式為了找到格式來存儲數據，本文選擇以下指標進行對比。load_time：將先前轉儲的數據幀加載到內存所需的時間save_ram_delta_mb：在數據幀保存過程中最大的內存消耗增長load_ram_delta_mb：數據幀加載過程中最大的內存消耗增長注意，當我們使用有效壓縮的二進位數據格式(例如Parquet)時，最後兩個指標變得非常重要。它們可以幫助我們估算加載串行化數據所需的RAM數量，以及數據大小本身。我們將在下一部分中更詳細地討論這個問題。現在開始對前文介紹的5種數據格式進行比較，為了更好地控制序列化的數據結構和屬性我們將使用自己生成的數據集。下面是生成測試數據的代碼，我們隨機生成具有數字和分類特徵的數據集。數值特徵取自標準正態分布。分類特徵以基數為C的uuid4隨機字符串生成，其中2 <= C <= max_cat_size。def generate_dataset(n_rows, num_count, cat_count, max_nan=0.1, max_cat_size=100):
dataset, types = {}, {}
def generate_categories(): from uuid import uuid4 category_size = np.random.randint(2, max_cat_size) return [str(uuid4()) for _ in range(category_size)]
for col in range(num_count): name = f'n{col}' values = np.random.normal(0, 1, n_rows) nan_cnt = np.random.randint(1, int(max_nan*n_rows)) index = np.random.choice(n_rows, nan_cnt, replace=False) values[index] = np.nan dataset[name] = values types[name] = 'float32'
for col in range(cat_count): name = f'c{col}' cats = generate_categories() values = np.array(np.random.choice(cats, n_rows, replace=True), dtype=object) nan_cnt = np.random.randint(1, int(max_nan*n_rows)) index = np.random.choice(n_rows, nan_cnt, replace=False) values[index] = np.nan dataset[name] = values types[name] = 'object'
return pd.DataFrame(dataset), types現在我們以 CSV 文件保存和加載的性能作為基準。將五個隨機生成的具有百萬個觀測值的數據集轉儲到 CSV 中，然後讀回內存以獲取平均指標。並且針對具有相同行數的20個隨機生成的數據集測試了每種二進位格式。2.在執行任何 I/O 之前將其轉換為 pandas.Categorical 數據類型1、以字符串作為分類特徵下圖顯示了每種數據格式的平均 I/O 時間。這裡有趣的發現是 hdf 的加載速度比 csv 更低，而其他二進位格式的性能明顯更好，而 feather 和 parquet 則表現的非常好。保存數據並從磁碟讀取數據時的內存消耗如何？下一張圖片向我們展示了 hdf 的性能再次不那麼好。但可以肯定的是，csv 不需要太多額外的內存來保存/加載純文本字符串，而 feather 和 parquet 則非常接近。最後，讓我們看一下文件大小的對比。這次 parquet 顯示出非常好的結果，考慮到這種格式是為有效存儲大量數據而開發的，也是理所當然。2、對特徵進行轉換在上一節中，我們沒有嘗試有效地存儲分類特徵，而是使用純字符串，接下來我們使用專用的 pandas.Categorical 類型再次進行比較。從上圖可以看到，與純文本 csv 相比，所有二進位格式都可以顯示其真強大功能，效率遠超過 csv，因此我們將其刪除以更清楚地看到各種二進位格式之間的差異。可以看到 feather 和 pickle 擁有最快的 I/O 速度，接下來該比較數據加載過程中的內存消耗了。下面的條形圖顯示了我們之前提到的有關 parquet 格式的情況。為什麼parquet內存消耗這麼高？因為只要在磁碟上佔用一點空間，就需要額外的資源才能將數據解壓縮回數據幀。即使文件在持久性存儲磁碟上需要適度的容量，也可能無法將其加載到內存中。最後我們看下不同格式的文件大小比較。所有格式都顯示出良好的效果，除了hdf仍然需要比其他格式更多的空間。正如我們的上面的測試結果所示，feather 格式似乎是在多個 Jupyter 之間存儲數據的理想選擇。它顯示出很高的 I/O 速度，不佔用磁碟上過多的內存，並且在裝回 RAM 時不需要任何拆包。當然這種比較並不意味著我們應該在每種情況下都使用這種格式。例如，不希望將 feather 格式用作長期文件存儲。此外，當其他格式發揮最佳效果時，它並未考慮所有可能的情況。所以我們也需要根據具體情況進行選擇！