NumPy庫中數組數據文件的讀寫

2021-01-11 一起學python

數組數據文件的讀寫

我們還沒有講如何讀取文件中的數據。NumPy這方面的內容很重要,用處很大,尤其是在處理數組中包含大量數據的情況時。這在數據分析中很常見,因為要分析的數據集通常都很大,所以由人工來管理這類事務的執行,以及接下來的從一臺計算機或計算過程的一段會話讀取數據到另一臺計算機或另一段會話,是不可取甚至不可能的。

鑑於此,NumPy提供了幾個函數,數據分析師可用其把結果保存到文本或二進位文件中。類似地,NumPy還提供了從文件中讀取數據並將其轉換為數組的方法。

二進位文件的讀寫

NumPy的save( )方法二進位格式保存數據,load( )方法則從二進位文件中讀取數據。

假如你有一個數組要保存,例如數據分析過程中產生的結果,調用save( )函數即可,參數有兩個:要保存到的文件名和要保存的數組,其中文件名中的.npy擴展名系統會自動添加。

這時我們調用save( )方法進行數組的保存:

若要恢復存儲在.npy文件中的數據,可以使用load( )函數,用文件名作為參數,這次記得添加.npy擴展名:

讀取文件中的列表形式數據

很多時候,你要讀取文本格式的數據(如TXT或CSV)。當你使用NumPy或其他應用時,考慮到文本格式的文件不必使用這些應用也能處理,因此一般都會將數據存儲為文本格式而不是二進位格式。拿幾行CSV格式的數據為例。這種格式為列表形式,每兩個值之間用逗號隔開。

NumPy的genfromtxt( )函數可以從文本中讀取數據並將其插入數組中。通常而言,這個函數接收三哥參數:存放數據的文件名、用於分隔值的字符和是否含有列標題。在接下來這個例子中,分隔符為逗號。

從輸出結果可以看到,我們得到了文件中的數據。

小結

我們介紹了NumPy庫所有的主要內容。通過一系列例子,你熟悉了NumPy的多種功能,它們是其他內容的基礎。事實上,後續多個概念來自其他更為專業的科學計算庫,但是這些庫的結構參考了NumPy,並且是以NumPy庫為基礎進行開發的。

我們還學到了ndarray如何擴展了Python的功能,從而使其適用於科學計算,尤其是數據分析。

對任何想從事數據分析的人來說,NumPy都是一項至關重要的技能。

下一章,我們將介紹一個新庫pandas。它以NumPy為基礎,吸收了講到的所有基礎概念,並對它們進行了擴展,使其更適合數據分析。

下面,我們將會講解一個至關重要的庫pandas庫,這個庫是用Python語言分析數據的好工具。我們首先將學習這個庫的基礎知識、安裝方法,最後將熟悉Series和DataFrame這兩種數據結構。在學習的過程中,我們將學著使用pandas庫的幾個基礎函數處理最常見的數據分析任務。熟悉這些操作對後續內容的學習至關重要,我們還會通過實例來進行具體的講解。

相關焦點

  • Python數據分析之numpy數組全解析
    5.2 bool索引6 numpy中賦值、視圖、深複製什麼是numpy numpy是一個在Python中做科學計算的基礎庫,重在數值計算,也是大部分Python科學計算庫的基礎庫,多用於大型、多維數據上執行數值計算。
  • 數據分析-numpy庫快速了解
    1.numpy是什麼庫NumPy是一個開源的Python科學計算基礎庫,包含: 一個強大的N維數組對象 ndarray 廣播功能函數 整合C/C++/Fortran代碼的工具 線性代數、傅立葉變換、隨機數生成等功能
  • Python使用ctypes模塊調用DLL函數之C語言數組與numpy數組傳遞
    一般情況下,DLL函數中傳遞C語言類型的數組,在接收到Python語言中時,通常將其轉換為numpy庫裡面的數組類型,這樣做的好處是可以藉助於numpy強大的分析處理功能對數據直接作後續處理。這次通過例子演示下C語言數組到numpy數組之間是怎樣傳遞的。
  • NumPy ndarray數組的創建
    NumPy 是 Python 的外部庫,不在標準庫中,若要使用它,需要先導入 NumPy:import numpy as
  • 以別墅圖片為例 結合numpy和OpenCV庫 探尋Python中數組組合方式
    前幾篇博文我們介紹了numpy的基礎知識numpy庫學習總結(基礎知識)和numpy中array數組的維度變化Python數據分析必備基本功 numpy數組維度變換的常用方法匯總。今天,我們來梳理一下numpy中數組array的組合操作。
  • 如何獲取numpy數組的真實地址?如何與ctypes數組共享內存?
    在Python編程中,numpy是一個很好用的擴展程序庫,將其與SciPy庫和 Matplotlib繪圖庫一起使用,可構成一個強大的類似於Matlab的科學計算環境,有助於我們通過 Python 學習數據科學或者機器學習。在Python中,當你定義了一個numpy類型的數組後,它內部元素的真實地址如何獲得呢?
  • numpy庫學習總結(基礎知識)
    最近在學習Python中OpenCV庫,學習花了很多時間,發現基礎知識很重要,尤其是numpy這個庫,在進行程序開發時,處理大量類似數組這種數據結構時,它的重要性等同於Python中的列表,像前篇我們寫的《使用Python中OpenCV庫創建一幅圖片的RGB通道圖片》中,對於圖片的處理,大部分時間我們是在跟類似數組這種數據結構在打交道
  • Python數據分析類庫系列-Numpy之多維數組ndarray
    NumPy之於數值計算特別重要的原因之一,是因為它可以高效處理大數組的數據。 這是因為: NumPy是在一個連續的內存塊中存儲數據,獨立於其他Python內置對象。NumPy的C語言編寫的算法庫可以操作內存,而不必進行類型檢查或其它前期工作。
  • Numpy學習打卡task01
    numpy是什麼numpy 讀作「饢派」,是 Python 程式語言的一個庫,它增加了對大型多維數組和矩陣的支持,以及對這些數組進行操作的大量高級數學函數的集合。NumPy 的祖先 Numeric 最初是由 Jim Hugunin 創建的,並得到了其他幾個開發者的貢獻。
  • 大數據分析Python NumPy庫使用教程
    NumPy(Numerical Python) 是 Python 語言的一個擴展程序庫,支持大量的維度數組與矩陣運算,此外也針對數組運算提供大量的數學函數庫。
  • Python編程:如何規範numpy中數組元素的列印輸出格式
    引言對於Python語言開發者,如果你經常處理大量數據運算的話,numpy是一個必不可少的程序擴展庫,它支持大維度數組與矩陣運算,提供了非常豐富的數學運算函數,並且,相對於Python自身提供的列表類型,它在運算速度上有著無與倫比的優勢。
  • NumPy庫中的基本操作
    基本操作如今我們已經知曉如何使用numpy庫進行數組的定義以及新建,下面我們就該來學習數組的各種運算方法了。算術運算符數組的第一類運算是使用算術運算符進行的運算。最顯而易見的是為數組加上或乘以一個標量。這些運算符還可以用於兩個數組的運算。在NumPy中,這些運算符為元素級。
  • NumPy中的廣播:對不同形狀的數組進行操作
    NumPy是用於Python的科學計算庫。 它是數據科學領域中許多其他庫(例如Pandas)的基礎。  在機器學習領域,無論原始數據採用哪種格式,都必須將其轉換為數字數組以進行計算和分析。 因此,需要對陣列進行快速,魯棒和準確的計算,以對數據執行有效的操作。
  • Python使用ctypes模塊調用DLL函數之複數數組的參數傳遞
    引言前段時間在作信號分析處理方面的項目時,需要將時域數據通過快速傅立葉變換(FFT)轉換到頻域以便作進一步的後續處理,由於涉及到實時運算速度方面的要求,需要考慮程序算法的運算性能問題,因此,信號處理算法是在C語言裡面完成的,然後將算法的實現函數封裝到動態連結庫(DLL)文件中,最後在
  • Numpy應用整理
    numpy簡介numpy是python最為常用的庫,沒有之一,它表示Numeric Python,從名字也可以看出來,它被用來做數值計算,常與scipy配合使用。python運行慢還有一個重要原因就是python存放數據時往往不是在連續區域,這樣就導致數據的索引效率不高。而numpy則採用了C的邏輯,將np.array數據放在連續區域,提高批量數據的讀寫速度。
  • Python中NumPy簡介及使用舉例
    支持多維數組與矩陣運算,此外也針對數組運算提供大量的數學函數庫。NumPy提供了與Matlab相似的功能與操作方式,因為兩者皆為直譯語言。NumPy中定義的最重要的對象是稱為ndarray的N維數組類型。它描述相同類型的元素集合,可以使用基於零的索引訪問集合中元素。基本的ndarray是使用NumPy中的數組函數創建的: numpy.array。NumPy支持比Python更多種類的數值類型。NumPy數值是dtype(數據類型)對象的實例,每個對象具有唯一的特徵。
  • 為什麼要學Numpy,一文總結知識點
    ,後來才知道它們都是在依賴Numpy這個庫。本文總結下Numpy的一些重要的知識內容:Numpy的介紹Numpy是什麼Python的一個開源的數值計算擴展庫,用來存儲和處理多維矩陣Numpy的用途高性能的實現二維或多維數組的處理和計算作為pandas、scikit-learn、tensorflow等基礎依賴庫Numpy的基礎結構一維數組、二維數組Numpy
  • numpy中的數據類型對象有哪些
    Numpy數據類型numpy是一個python擴展包,它可以為我們提供更精確的科學技術,更強大的數學能力。為此,numpy定義了比python更豐富的數據類型來達成目的。數據類型以上就是一系列Numpy中提供的數據類型。需要理解的是,Numpy中的數據類型,和python本身的數據類型是不同的。Numpy中的數據類型,實質是數據類型對象dtype的實例。
  • python數據科學系列:numpy入門詳細教程
    數據科學基礎庫主要是三劍客:numpy,pandas以及matplotlib,每個庫都集成了大量的方法接口,配合使用功能強大。numpy:numerical python縮寫,提供了底層基於C語言實現的數值計算庫,與python內置的list和array數據結構相比,其支持更加規範的數據類型和極其豐富的操作接口,速度也更快num
  • NumPy ndarray數組元素的獲取
    生成 ndarray 數組後,如何讀取我們所需要的數據呢?