加速數據分析,這12種高效Numpy和Pandas函數為你保駕護航

2020-12-21 機器之心Pro

選自TowardsDataScience

作者：Kunal Dhariwal

機器之心編譯

參與：Jamin、杜偉、張倩

我們都知道，Numpy 是 Python 環境下的擴展程序庫，支持大量的維度數組和矩陣運算；Pandas 也是 Python 環境下的數據操作和分析軟體包，以及強大的數據分析庫。二者在日常的數據分析中都發揮著重要作用，如果沒有 Numpy 和 Pandas 的支持，數據分析將變得異常困難。但有時我們需要加快數據分析的速度，有什麼辦法可以幫助到我們嗎？

在本文中，數據和分析工程師 Kunal Dhariwal 為我們介紹了 12 種 Numpy 和 Pandas 函數，這些高效的函數會令數據分析更為容易、便捷。最後，讀者也可以在 GitHub 項目中找到本文所用代碼的 Jupyter Notebook.

項目地址：https://github.com/kunaldhariwal/12-Amazing-Pandas-NumPy-Functions

Numpy 的 6 種高效函數

首先從 Numpy 開始。Numpy 是用於科學計算的 Python 語言擴展包，通常包含強大的 N 維數組對象、複雜函數、用於整合 C/C++和 Fortran 代碼的工具以及有用的線性代數、傅立葉變換和隨機數生成能力。

除了上面這些明顯的用途，Numpy 還可以用作通用數據的高效多維容器（container），定義任何數據類型。這使得 Numpy 能夠實現自身與各種資料庫的無縫、快速集成。

接下來一一解析 6 種 Numpy 函數。

argpartition()

藉助於 argpartition()，Numpy 可以找出 N 個最大數值的索引，也會將找到的這些索引輸出。然後我們根據需要對數值進行排序。

x = np.array([12, 10, 12, 0, 6, 8, 9, 1, 16, 4, 6, 0])index_val = np.argpartition(x, -4)[-4:]index_valarray([1, 8, 2, 0], dtype=int64)np.sort(x[index_val])array([10, 12, 12, 16])

allclose()

allclose() 用於匹配兩個數組，並得到布爾值表示的輸出。如果在一個公差範圍內（within a tolerance）兩個數組不等同，則 allclose() 返回 False。該函數對於檢查兩個數組是否相似非常有用。

array1 = np.array([0.12,0.17,0.24,0.29])array2 = np.array([0.13,0.19,0.26,0.31])# with a tolerance of 0.1, it should return False:np.allclose(array1,array2,0.1)False# with a tolerance of 0.2, it should return True:np.allclose(array1,array2,0.2)True

clip()

Clip() 使得一個數組中的數值保持在一個區間內。有時，我們需要保證數值在上下限範圍內。為此，我們可以藉助 Numpy 的 clip() 函數實現該目的。給定一個區間，則區間外的數值被剪切至區間上下限（interval edge）。

x = np.array([3, 17, 14, 23, 2, 2, 6, 8, 1, 2, 16, 0])np.clip(x,2,5)array([3, 5, 5, 5, 2, 2, 5, 5, 2, 2, 5, 2])

extract()

顧名思義，extract() 是在特定條件下從一個數組中提取特定元素。藉助於 extract()，我們還可以使用 and 和 or 等條件。

# Random integersarray = np.random.randint(20, size=12)arrayarray([ 0, 1, 8, 19, 16, 18, 10, 11, 2, 13, 14, 3])# Divide by 2 and check if remainder is 1cond = np.mod(array, 2)==1condarray([False, True, False, True, False, False, False, True, False, True, False, True])# Use extract to get the valuesnp.extract(cond, array)array([ 1, 19, 11, 13, 3])# Apply condition on extract directlynp.extract(((array < 3) | (array > 15)), array)array([ 0, 1, 19, 16, 18, 2])

where()

Where() 用於從一個數組中返回滿足特定條件的元素。比如，它會返回滿足特定條件的數值的索引位置。Where() 與 SQL 中使用的 where condition 類似，如以下示例所示：

y = np.array([1,5,6,8,1,7,3,6,9])# Where y is greater than 5, returns index positionnp.where(y>5)array([2, 3, 5, 7, 8], dtype=int64),)# First will replace the values that match the condition, # second will replace the values that does notnp.where(y>5, "Hit", "Miss")array(['Miss', 'Miss', 'Hit', 'Hit', 'Miss', 'Hit', 'Miss', 'Hit', 'Hit'],dtype='<U4')

percentile()

Percentile() 用於計算特定軸方向上數組元素的第 n 個百分位數。

a = np.array([1,5,6,8,1,7,3,6,9])print("50th Percentile of a, axis = 0 : ", np.percentile(a, 50, axis =0))50th Percentile of a, axis = 0 : 6.0b = np.array([[10, 7, 4], [3, 2, 1]])print("30th Percentile of b, axis = 0 : ", np.percentile(b, 30, axis =0))30th Percentile of b, axis = 0 : [5.1 3.5 1.9]

這就是 Numpy 擴展包的 6 種高效函數，相信會為你帶來幫助。接下來看一看 Pandas 數據分析庫的 6 種函數。

Pandas 數據統計包的 6 種高效函數

Pandas 也是一個 Python 包，它提供了快速、靈活以及具有顯著表達能力的數據結構，旨在使處理結構化 (表格化、多維、異構) 和時間序列數據變得既簡單又直觀。

Pandas 適用於以下各類數據:

具有異構類型列的表格數據，如 SQL 表或 Excel 表；有序和無序 (不一定是固定頻率) 的時間序列數據；帶有行/列標籤的任意矩陣數據（同構類型或者是異構類型）；其他任意形式的統計數據集。事實上，數據根本不需要標記就可以放入 Pandas 結構中。Pandas 擅長處理的類型如下所示：

容易處理浮點數據和非浮點數據中的 缺失數據（用 NaN 表示）；大小可調整性: 可以從 DataFrame 或者更高維度的對象中插入或者是刪除列；顯式數據可自動對齊: 對象可以顯式地對齊至一組標籤內，或者用戶可以簡單地選擇忽略標籤，使 Series、 DataFrame 等自動對齊數據；靈活的分組功能，對數據集執行拆分-應用-合併等操作，對數據進行聚合和轉換；簡化將數據轉換為 DataFrame 對象的過程，而這些數據基本是 Python 和 NumPy 數據結構中不規則、不同索引的數據；基於標籤的智能切片、索引以及面向大型數據集的子設定；更加直觀地合併以及連接數據集；更加靈活地重塑、轉置（pivot）數據集；軸的分級標記 (可能包含多個標記)；具有魯棒性的 IO 工具，用於從平面文件 (CSV 和 delimited)、 Excel 文件、資料庫中加在數據，以及從 HDF5 格式中保存 / 加載數據；時間序列的特定功能: 數據範圍的生成以及頻率轉換、移動窗口統計、數據移動和滯後等。read_csv(nrows=n)

大多數人都會犯的一個錯誤是，在不需要.csv 文件的情況下仍會完整地讀取它。如果一個未知的.csv 文件有 10GB，那麼讀取整個.csv 文件將會非常不明智，不僅要佔用大量內存，還會花很多時間。我們需要做的只是從.csv 文件中導入幾行，之後根據需要繼續導入。

import ioimport requests# I am using this online data set just to make things easier for you guysurl = "https://raw.github.com/vincentarelbundock/Rdatasets/master/csv/datasets/AirPassengers.csv"s = requests.get(url).content# read only first 10 rowsdf = pd.read_csv(io.StringIO(s.decode('utf-8')),nrows=10 , index_col=0)

map()

map( ) 函數根據相應的輸入來映射 Series 的值。用於將一個 Series 中的每個值替換為另一個值，該值可能來自一個函數、也可能來自於一個 dict 或 Series。

# create a dataframedframe = pd.DataFrame(np.random.randn(4, 3), columns=list('bde'), index=['India', 'USA', 'China', 'Russia'])#compute a formatted string from each floating point value in framechangefn = lambda x: '%.2f' % x# Make changes element-wisedframe['d'].map(changefn)

apply()

apply() 允許用戶傳遞函數，並將其應用於 Pandas 序列中的每個值。

# max minus mix lambda fnfn = lambda x: x.max() - x.min()# Apply this on dframe that we've just created abovedframe.apply(fn)

isin()

lsin () 用於過濾數據幀。Isin () 有助於選擇特定列中具有特定（或多個）值的行。

# Using the dataframe we created for read_csvfilter1 = df["value"].isin([112]) filter2 = df["time"].isin([1949.000000])df [filter1 & filter2]

copy()

Copy () 函數用於複製 Pandas 對象。當一個數據幀分配給另一個數據幀時，如果對其中一個數據幀進行更改，另一個數據幀的值也將發生更改。為了防止這類問題，可以使用 copy () 函數。

# creating sample series data = pd.Series(['India', 'Pakistan', 'China', 'Mongolia'])# Assigning issue that we facedata1= data# Change a valuedata1[0]='USA'# Also changes value in old dataframedata# To prevent that, we use# creating copy of series new = data.copy()# assigning new values new[1]='Changed value'# printing data print(new) print(data)

select_dtypes()

select_dtypes() 的作用是，基於 dtypes 的列返回數據幀列的一個子集。這個函數的參數可設置為包含所有擁有特定數據類型的列，亦或者設置為排除具有特定數據類型的列。

# We'll use the same dataframe that we used for read_csvframex = df.select_dtypes(include="float64")# Returns only time column

最後，pivot_table( ) 也是 Pandas 中一個非常有用的函數。如果對 pivot_table( ) 在 excel 中的使用有所了解，那麼就非常容易上手了。

# Create a sample dataframeschool = pd.DataFrame({'A': ['Jay', 'Usher', 'Nicky', 'Romero', 'Will'], 'B': ['Masters', 'Graduate', 'Graduate', 'Masters', 'Graduate'], 'C': [26, 22, 20, 23, 24]})# Lets create a pivot table to segregate students based on age and coursetable = pd.pivot_table(school, values ='A', index =['B', 'C'], columns =['B'], aggfunc = np.sum, fill_value="Not Available") table

原文連結：https://towardsdatascience.com/12-amazing-pandas-numpy-functions-22e5671a45b8

相關焦點

  • 數據分析太麻煩?12個Pandas和NumPy函數助你一臂之力!
    全文共5431字，預計學習時長16分鐘大家都知道Pandas和NumPy函數很棒，它們在日常分析中起著重要的作用。沒有這兩個函數，人們將在這個龐大的數據分析和科學世界中迷失方向。今天，小芯將分享12個很棒的Pandas和NumPy函數，這些函數將會讓生活更便捷，讓分析事半功倍。在本文結尾，讀者可以找到文中提到的代碼的JupyterNotebook。
  • 如何通過一頓飯來說明NumPy與pandas的功用
    縱然NumPy與pandas風靡於數據分析任務，人們對其的不足也多有指出，其中最主要的便是由於Python自身的動態語言特性而帶來的運行速度方面的損失，其次便是Python在大數據處理方面（數G甚至幾十上百G）的捉襟見肘。對於前者，NumPy已經做了相當程度的優化，可以對大數組的數據進行高效處理。
  • Pandas還能這麼玩?花式導數據、合併、壓縮,數據分析更高效
    現在，數據科學家 Roman Orac 分享了他在工作中相見恨晚的 Pandas 使用技巧。了解了這些技巧，能讓你在學習、使用 Pandas 的時候更加高效。話不多說，一起學習一下~Pandas實用技巧用 Pandas 做數據分析，最大的亮點當屬 DataFrame。不過，在展示成果的時候，常常需要把 DataFrame 轉成另一種格式。Pandas 在這一點上其實十分友好，只需添加一行代碼。
  • Python數據分析|線性回歸
    壹 數據導入Python下載及環境配置這裡就不贅述了哈，網上教程非常多，我們直接一開始就進入乾貨，打它一個開門見山。①導入Python常用數據分析庫：常用的numpy、pandas、matplotlib先導入。
  • Pandas的介紹與基本使用
    1、什麼是Pandas當大家談論到數據分析時，提及最多的語言就是Python和SQL，而Python之所以適合做數據分析，就是因為他有很多強大的第三方庫來協助，pandas就是其中之一，它是基於Numpy構建的，正因pandas的出現，讓Python語言也成為使用最廣泛而且強大的數據分析環境之一。
  • 數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧
    其中，有些可能是相當有名的，有些可能是新的，但我相信下次您從事數據分析項目時，它們會非常有用。1.Profiling the pandas dataframeProfiling 是一個幫助我們理解數據的程序，而 Pandas Profiling 正是實現這一點的一個 python 包。
  • Python NumPy用法介紹
    NumPy本身並沒有提供多麼高級的數據分析功能，理解NumPy數組以及面向數組的計算，將有助於你更加高效地使用諸如Pandas之類的工具。雖然NumPy提供了通用的數值數據處理的計算基礎，但大多數讀者可能還是想將Pandas作為統計和分析工作的基礎，尤其是處理表格數據時。
  • 精通Pandas,從零基礎到中級運用,看這一篇就夠了
    如果你使用的是法語數據，Excel中的csv分隔符是";"，所以你需要明確它。編碼設置為 "latin-1 "以讀取法語字符。nrows=1000表示讀取前1000行。最常用的函數：read_csv，read_excel。其他一些不錯的函數：read_clipboard（我經常使用的方式，從Excel或從網絡複製數據），read_sql。
  • 快速介紹Python數據分析庫pandas的基礎知識和代碼示例
    為了能夠快速查找和使用功能，使我們在進行機器學習模型時能夠達到一定流程化。我創建了這個pandas函數的備忘單。這不是一個全面的列表，但包含了我在構建機器學習模型中最常用的函數。讓我們開始吧!使用函數pd.read_csv直接將CSV轉換為數據格式。
  • 別再用Pandas處理大數據了!現在你擁有更好的選擇
    數據處理工作結束之後，再將結果保存到一個較小的適用於Pandas的CSV文件中，然後繼續對Pandas進行探索性數據分析。這就方便許多啦，一起來認識認識這個新工具吧！認識DaskDask提供了高級並行性的分析功能，得以擁有大規模處理數據的性能。適用於Dask的算法工具包有numpy, pandas和sklearn。
  • Pandas萬花筒:讓繪圖變得更美觀
    圖源：tehrantimes流行 Python 數據分析庫 Pandas 中的繪圖功能一直是迅速繪製圖表的首選之一。但是，其可用的可視化效果總是十分粗略，實用有餘、美觀不足。來看看如何使用 Plotly 和 Bokeh 後端創建更豐富的可視化效果。
  • 第2天|16天搞定Python數據分析,Numpy有鳥用?
    數據效果，在管理系統中，常常表現為數據表格和圖形，外加點動畫。沒有圖表的管理系統，在這個看顏值的時代，會顯得蒼白無力，會讓人遠離。別的就不多說了，我截兩張後臺管理系統的界面給你看一下，你就知道我在說什麼了有一點，我必須說一下，這個是後臺Web管理系統來的，後面我也會分享的，老鐵，請不要著急。我分享這兩張圖，主要是想告訴你，裡面的數據源，是以數組的形式填充的。
  • Pandas時間序列詳解 | 輕鬆玩轉Pandas(6)
    與時間序列相關的方法    6.1 移動    6.2 頻率轉換    6.3 重採樣import numpy as npimport pandas as pd在做金融領域方面的分析時，經常會對時間進行一系列的處理
  • Pandas數據分析小技巧系列
    點擊關註上方「Python數據分析實例」設為「置頂或星標」，送達乾貨不錯過！小技巧2：使用 replace 和正則清洗數據Pandas 的強項在於數據分析，自然就少不了數據清洗。，那麼如何把這三列合併為一列？
  • Pandas GUI:如何輕鬆獲取Pandas數據幀?
    全文共2071字，預計學習時長6分鐘Pandas庫目前已經成為用Python進行探索性數據分析的絕佳伴侶。它功能豐富，靈活易用，成為了當今許多數據科學家的首選。Pandas庫的社區也很完善，這讓它能夠一直積極發展和改進。
  • python數據分析常用圖大集合
    以下默認所有的操作都先導入了numpy、pandas、matplotlib、seabornimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns一、折線圖
  • 使用NumPy 讓你的 Python 科學計算更高效
    因為數據連續的存儲在內存中，NumPy 直接利用現代 CPU 的矢量化指令計算，加載寄存器中的多個連續浮點數。另外 NumPy 中的矩陣計算可以採用多線程的方式，充分利用多核 CPU 計算資源，大大提升了計算效率。具體的原理我也不大懂，簡單理解就是Numpy的計算效率更高一些。
  • 散點圖、箱線圖、核密度函數……數據分析必備的9種可視化圖表
    這個圖表可以讓你直觀地檢查包含在圖表中的每個度量之間的比率。所有的數值向之後的條目都有一個增長的趨勢。條形圖當顯示條目的平均或計數時，這是一個很好的圖表類型。可以用它來計算數據集中每個類型的每個維度的平均值。為此，需要使用groupby和mean函數。
  • PandaSQL:一個讓你能夠通過SQL語句進行pandas的操作的python包
    Pandas是近年來最好的數據操作庫之一。它允許切片、分組、連接和執行任意數據轉換。如果你熟練的使用SQL,那麼這篇文章將介紹一種更直接、簡單的使用Pandas處理大多數數據操作案例。假設你對SQL非常的熟悉，或者你想有更可讀的代碼。或者您只是想在dataframe上運行一個特殊的SQL查詢。