數據處理利器Pandas在python中的基本數據操作

2021-01-11 網安時訊

對索引進行排序

Series用sort_index()按索引排序，sort_values()按值排序；DataFrame也是用sort_index()和sort_values()。

按行排序

按值排序

Series:

DataFrame:

刪除指定軸上的項

即刪除Series的元素或DataFrame的某一行（列）的意思，我們可以通過對象的drop(labels, axis=0)方法實現此功能。刪除Series的一個元素：

刪除DataFrame的行或列：

需要注意的是drop()返回的是一個新對象，元對象不會被改變。

算術運算（+，-，*，/）

DataFrame中的算術運算是df中對應位置的元素的算術運算，如果沒有共同的元素，則用NaN代替。

此外，如果我們想設置默認的其他填充值，而非NaN的話，可以傳入填充值。

去重

duplicated()

DataFrame的duplicated方法返回一個布爾型Series，表示各行是否是重複行。具體用法如下：

drop_duplicates()

drop_duplicates()用於去除重複的行數，具體用法如下：

層次化索引

層次化索引(hierarchical indexing)是pandas的一項重要功能，它使我們能在一個軸上擁有多個（兩個以上）索引級別。請看以下例子：

索引方式

內層選取

數據重塑

將Series轉化成DataFrame:

相關焦點

  • Python數據分析:pandas讀取和寫入數據
    我的公眾號是關於自己在數據分析/挖掘學習過程中的一些技術和總結分享，文章會持續更新......繼續深入學習pandas相關操作，數據讀取寫入、分組、合併，轉換等等。前面一篇文章裡已經寫了關於描述性統計以及常用的基本操作。接下來的一段時間裡，我將陸續地去掌握並輸出。這篇文章是關於數據讀取與寫入的知識點。
  • Python數據分析利器,Pandas入門介紹,幫你便捷高效處理複雜數據
    關於Python的數據分析，當我們遇到的數據量小、數據結構簡單時，可以通過字典、列表等Python常見的數據結構來處理。但是當我們面對的大量數據以及複雜數據的局面時，就需要用一些專門用於數據分析的擴展庫來處理數據了。今天給大家介紹一個Python裡專門用來做數據分析和處理的擴展庫。
  • Python學習120課 pandas簡介kaggle下載數據及pandas讀取外部數據
    【每天幾分鐘，從零入門python編程的世界！】numpy的基本的東西我們學習差不多了，後面具體應用中遇到問題具體分析，然後去深入了解遇到的新的知識點就行。現在我們開始學習pandas，pandas一般用的更多，pandas是基於numpy去寫的。pandas是一個專門做數據結構和數據分析的庫。
  • 懂Excel也能輕鬆入門Python數據分析包pandas(二):高級篩選(上)
    更多 Python 數據處理的乾貨，敬請關注！！！！系列文章：懂Excel就能輕鬆入門Python數據分析包pandas(一)：篩選功能前言經常聽別人說 Python 在數據領域有多厲害，結果學了很長時間，連數據處理都麻煩得要死。
  • 想成為高效數據科學家?不會Pandas怎麼行
    pandas 相當於 python 中 excel：它使用表（也就是 dataframe)，能在數據上做各種變換，但還有其他很多功能。如果你早已熟知 python 的使用，可以直接跳到第三段。讓我們開始吧：import pandas as pd別問為什麼是「pd」而不是「p」，就是這樣。
  • 懂Excel輕鬆入門Python數據分析包pandas(二十七):IF函數代替者
    此系列文章收錄在：數據大宇宙 > 數據處理 > E-pd轉發本文並私信我"python"，即可獲得Python資料以及更多系列文章(持續更新的)經常聽別人說 Python 在數據領域有多厲害，結果學了很長時間，連數據處理都麻煩得要死。
  • Python視頻教程網課編程零基礎入門數據分析網絡爬蟲全套Python...
    基於liunx系統的python教程,課程裡也有liunx操作的詳細教學,不用擔心學習時不會操作liunx系統。 8-2大數據與學習這門課後還能幹什麼 4辦公自動化 1購後必讀 ,學員福利 2python基礎,從零到1 3s1 excel自動化處理,從此做表不加班 4s2 word自動化處理 又好又快做文檔 5 s3PPt自動化處理 用程序快速排版 6s4 郵件自動化處理 秒速回復全靠
  • 乾貨|如何利用Python處理JSON格式的數據,建議收藏!
    本文轉載自【微信公眾號：數據分析與籃球，ID:dylanxia2019】經微信公眾號授權轉載，如需轉載與原文作者聯繫JSON數據格式在我們的日常工作中經常會接觸到，無論是做爬蟲開發還是一般的數據分析處理，本文小編就來分享一下當數據接口是JSON格式時，如何進行數據處理進行詳細的介紹
  • 數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧
    這是對 pandas 數據幀進行探索性數據分析的一種簡單快速的方法。pandas df.describe（）和 df.info（）函數通常用作 EDA 過程的第一步。但是，它只提供了非常基本的數據概述，對於大型數據集沒有太大幫助。另一方面，pandas 分析函數使用 df.profile_report（）擴展 pandas 數據幀，以便快速進行數據分析。
  • PandaSQL:一個讓你能夠通過SQL語句進行pandas的操作的python包
    Pandas是近年來最好的數據操作庫之一。它允許切片、分組、連接和執行任意數據轉換。如果你熟練的使用SQL,那麼這篇文章將介紹一種更直接、簡單的使用Pandas處理大多數數據操作案例。假設你對SQL非常的熟悉，或者你想有更可讀的代碼。或者您只是想在dataframe上運行一個特殊的SQL查詢。或者，也許你來自R，想要一個sqldf的替代品。
  • pandas指南:做更高效的數據科學家
    今天我要告訴你們的是：在數據科學中，有一個軟體包是你們絕對需要學習的，那就是pandas。而pandas真正有趣的地方是，很多其他的包也在裡面。pandas是一個核心包，因此它具有來自其他各種包的特性。pandas類似於Python中的Excel：它使用表(即DataFrame)並對數據進行轉換，但它還能做更多。
  • Pandas閃回咒!如何在Python中重寫SQL查詢?
    一些程式設計師只熟悉SQL中的數據操作，卻不熟悉Python中的數據操作，因此在完成項目時，我們不得不頻繁地在SQL和Python之間進行切換，導致了工作效率低下和生產能力下降。本文就教你一種方法，使用Pandas在Python中輕鬆重現SQL結果。
  • 快速介紹Python數據分析庫pandas的基礎知識和代碼示例
    我創建了這個pandas函數的備忘單。這不是一個全面的列表，但包含了我在構建機器學習模型中最常用的函數。讓我們開始吧!本附註的結構:導入數據導出數據創建測試對象查看/檢查數據選擇查詢數據清理篩選、排序和分組統計數據首先，我們需要導入pandas開始:import pandas as pd導入數據使用函數pd.read_csv直接將CSV轉換為數據格式。注意:還有另一個類似的函數pd。read_excel用於excel文件。
  • 技能分享|Python數據可視化利器:Seaborn使用方法(一)
    本篇我們的主題是數據可視化的利器——seaborn庫的使用。Seaborn是基於matplotlib，在matplotlib的基礎上進行了更高級的API封裝，便於用戶可以更加簡便地做出各種有吸引力的統計圖表。
  • 數據工程師需要掌握的 18 個 Python 庫
    數據清洗Pandaspandas 是基於NumPy 的一種工具，該工具是為了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標準的數據模型，提供了高效地操作大型數據集所需的工具。pandas提供了大量能使我們快速便捷地處理數據的函數和方法。你很快就會發現，它是使Python成為強大而高效的數據分析環境的重要因素之一。
  • 懂Excel輕鬆入門Python數據分析包pandas(二十一):透視表
    此系列文章收錄在公眾號中：數據大宇宙 > 數據處理 >E-pd經常聽別人說 Python 在數據領域有多厲害，結果學了很長時間，連數據處理都麻煩得要死。後來才發現，原來不是 Python 數據處理厲害，而是他有數據分析神器—— pandas前言本系列上一節文章最後我隨手使用了 pandas 中的透視表操作，之後有些小夥伴詢問我相關的問題。正好 pandas 的 pivot_table 也是與 Excel 透視表對應。本文簡單教你入門使用 pandas 完成透視表功能。
  • PySpark源碼解析,用Python調用高效Scala接口,搞定大規模數據分析
    然而，在數據科學領域，Python 一直佔據比較重要的地位，仍然有大量的數據工程師在使用各類 Python 數據處理和科學計算的庫，例如 numpy、Pandas、scikit-learn 等。同時，Python 語言的入門門檻也顯著低於 Scala。
  • 提高數據處理效率,一行代碼開啟Pandas四倍速!
    快來了解新庫Modin，可以分割pandas的計算量，提高數據處理效率，一行代碼即刻開啟Pandas四倍速。首先了解一些基礎知識：Pandas作為Python中用於處理數據的庫，能簡單且靈活地處理不同種類、大小的數據。除此之外，Pandas還有許多函數有助於輕鬆處理不同數據。
  • 用Python做數據分析:Pandas常用數據查詢語法
    切片-只給我看我關心的行 接下來就是涉及一些條件值的問題，例如我只關心Team為A的數據，在Excel裡是篩選框操作，在SQL裡寫個where就能搞定，在Pandas裡需要做切片。 查看Pandas文檔時，你可能已經見過各種切片的函數了，有loc,iloc,ix,iy，這裡不會像教科書一樣所有都講一通讓讀者搞混。這種根據列值選取行數據的查詢操作，推薦使用loc方法。
  • 懂Excel就能輕鬆入門Python數據分析包pandas(七):分列
    經常聽別人說 Python 在數據領域有多厲害，結果學了很長時間，連數據處理都麻煩得要死。後來才發現，原來不是 Python 數據處理厲害，而是他有數據分析神器—— pandas前言今天從兩個需求來看看數據分列功能，由於 Excel 自帶功能比較弱，在處理稍微複雜的需求時會顯得力不從心，因此，本系列文章將引入 Excel 中一個非常高效的數據處理插件—— Power Query，並且看看 pandas 是怎樣靈活解決。