如何在Excel打開超過1G的CSV文件

2021-02-14 小王子的雜貨店

不知不覺2021年就這麼過了一個月,時間真的過的好快,如白駒過隙。

好久沒有更新文章了,那麼就從一些簡單的疑難雜症開始吧。

剛好今天需要打開一個比較大的CSV文件,超過1G,在網上搜了一些方法,可以用python,可以放進資料庫,可以用別的讀取數據的高效工具,但這些方法都需要做一些前期準備,過於麻煩,於是還是用回Excel,在現有基礎上找方法。

在講解之前,還是老規矩,先聽一首歌,舒緩周一的假期綜合症。

不記得第一次聽這首歌是什麼時候,但最近還挺上頭的。

首先說明一下我要解決的問題,我需要分析一天的交易數據:

按照交易數量匯總

按照交易數據狀態匯總

按照交易數據的用戶類型匯總

這些匯總信息,大家第一時間想到的應該就是利用pivot table這個功能。如果文件不大,這些分析應該輕而易舉就能辦到。

現在遇到的問題是,文件大小有1.27G,普通打開Excel的模式只能載入1,048,567條數據。但總的數據有4,039,171條。

解決辦法: 

第一步:打開Excel

第二步:選擇Data欄目

第三步:選擇從Text/CSV載入 

第四步:選擇要載入的CSV文件

第五步:載入按鈕旁邊的三角形,選擇載入模式

第六步:設置載入模式,按ok

然後數據就會陸陸續續的被載入,你可以觀察到數組在增加

到此,數據加載的任務就完成了。

接下來是如何做分析。

如一開始所說,使用pivot table是常用方法。

還是在Data 欄目,點擊一個綠色小圖標,"go to power pivot window"

然後就會打開一個新的窗口,在菜單欄選擇「Pivot Table」

然後選擇需要的數據,篩選,行列設置,匯總數據。

玩的再高級一點,可以"insert slicer", "insert timeline", "PivotChart"

首先我們添加一個pivot chart,把數據可視化。

例如這個圖表可以直觀顯示每個不同的交易對的交易數據的數量,能發現一個有趣的現象是訂單生成和訂單取消的數量接近,只有少部分成交。 

然後添加一個slicer,其實就是篩選器,比如按照交易對篩選,按照用戶類型,用戶狀態,用戶風險評級,地區,等維度篩選。

在篩選的過程中,可以看到圖表的變化,提供一個動態的數據展示,有助於挖掘出有用的信息。

至於"Insert Timeline", 這也是一個很有用的功能,因為交易數據一般都是按毫秒記錄的,數據太多不易挖掘出特徵信息,所以可以把數據總結成每小時的交易量,每兩小時,每三小時等,進行對比分析,觀察趨勢變化,這個需要對數據做一些小處理,這個放到下一篇文章再介紹。

今晚就分享到這,晚安,好眠。

相關焦點

  • CSV是什麼文件 怎麼打開csv文件
    經常使用資料庫軟體的朋友都清楚csv文件是什麼用的,最早是使用在簡單的資料庫裡,由於其格式簡單,並具備很強的開放性,如果使用到csv文件該怎麼打開呢?下面給大家介紹幾種打開csv文件的常用方法。最早出現csv文件是為了實現簡單的數據存儲,是一個純文本的文件,最廣泛的應用是在程序之間轉移表格數據,能夠兼容各類程序,那面對這樣的文件類型該怎麼打開呢,下面一起來學習下csv文件怎麼打開的方法。以下是csv文件怎麼打開的詳細教程:了解什麼是csv文件?
  • Excel打開csv文件出現亂碼的解決方法
    CSV文件是一種數據文件,正常情況下,我們可以直接在excel表格中打開CSV文件,不過有時也會出現亂碼,很多人不知道該如何解決。
  • 如何將Excel或csv文件導入R?
    今天介紹如何將excel或csv文件導入進R。在學習了一系列的R語言作圖教程後,想必有些小夥伴都已經躍躍欲試,想要分析自己手頭的數據了。為了示範,先用Excel創建一個xlsx數據:"mydata.xlsx",具體如下圖所示。
  • 用Excel打開CSV格式文件亂碼,三種方法可以處理好!
    這款軟體不僅功能齊全,還可以兼容很多的文件格式。這些辦公軟體帶給我們方便,同時日常使用過程中也會出現一些問題。小編今天就有這樣一個問題,有朋友在使用office中的excel電子表格編輯工具來打開csv文件,但是他卻發現在打開的時候文件總是會顯示亂碼的情況,可對於.csv文件格式,excel是支持的,這是為什麼呢?就是這樣一個問題大家有沒有遇到過並解決好了嗎?現在小編就帶給你兩種解決的方法。
  • 匯總csv文件其實很簡單,用excel三步即可搞定,並且支持數據更新
    Hello,大家好,今天跟大家分享下我們如何快速的匯總多個csv文件,這個也是之前一個粉絲問道的問題,前幾太忙沒時間寫,今天就跟大家分享下Csv文件常見於我們從系統中導出的文件,或者是下載的一些網頁的數據,因為是從系統中導出的文件,他們的格式都是一摸一樣的
  • Python讀取CSV和Excel
    CSV逗號分隔值(Comma-Separated Values,CSV,有時也稱為字符分隔值,因為分隔字符也可以不是逗號),其文件以純文本形式存儲表格數據(數字和文本)。純文本意味著該文件是一個字符序列,不含必須像二進位數字那樣被解讀的數據。
  • 將excel表格或csv轉換為Shapefile文件
    讀取csv轉為shp構造讀取csv函數def read_csv(fp): ret = []
  • python 處理 csv 文件
    csv 文件是一種逗號分隔的純文本形式存儲的表格數據,Python內置了CSV模塊,可直接通過該模塊實現csv文件的讀寫操作,在web應用中導出數據是比較常見操作
  • python入門第十六課:解析CSV文件
    本教程使用的課本是《Python編程:從入門到實踐》,作者:[美] Eric MatthesCSV文件是一種特殊的文本文件,文件中的數據以逗號作為分隔符,很適合進行數據的解析,應用在很多場景,本文以如下CSV文件為例,說明如何利用Python進行數據的解析。
  • 前端如何導出 Excel(CSV)文件
    遇到這個問題,其實能夠直接導出一個 CSV(Comma-Separated Values) 文件即可。,可以使用 Blob 對象,通過 Blob 對象生成一個 URL,然後創建一個 a 標籤,達到下載文件的目的。
  • Python爬蟲 | 0xc - 數據存儲:CSV和Excel
    跟我們上面用-作為分隔符保存數據非常類似,CSV文件除了可以用普通文本編輯工具打開外,還可使用Excel打開。Python中內置一個csv模塊供我們處理CSV文件。# -*- coding: utf-8 -*-# !
  • Python數據分析第一步,如何編輯excel和csv文件,詳細教程
    我用文本編輯器遍寫了一個CSV文件,命名為三國武將表.csv。第一行是表頭,用於描述每一列數據的用處,每一列通過逗號分隔。第二行開始連續定義了三個武將的屬性信息,同樣每一列數據都通過逗號分隔。現在我們可以用Excel或者別的電子表格軟體打開這個CSV文件,看看是它是如何展現數據的。
  • python讀寫csv文件
    這樣的方式在處理制表符分隔的文件時,沒什麼問題,但是在處理csv文件時,會非常的頭痛。CSV文件格式簡單理解,是逗號分隔的純文本,但是實際上非常靈活。在excel導出的csv文件中,會遇到某個欄位內部出現了逗號的情況,這樣的字符在兩端添加雙引號來進行區分,示意如下>>> with open('file.csv') as f:... for line in f:... print(line.rstrip().split(','))...
  • selenium自動化利用excel文件實現批量傳值
    selenium自動化測試的時候,經常會用到數據來做批量測試,常用的方式有讀取txt文件,xml文件,csv文件以及excel文件幾種,本文給大家講解一下在selenium 中如何利用excel文件實現批量傳值,python讀取excel主要用到xlrd庫,此庫可在pycharm手動下載此類庫
  • 一篇文章就能深入理解pandas讀取excel,txt,csv文件等命令
    read_csv函數過程中常見的問題有的IDE中利用Pandas的read_csv函數導入數據文件時,若文件路徑或文件名包含中文,會報錯。解決辦法import pandas as pd#df=pd.read_csv('F:/測試文件夾/測試數據.txt')f=open('F:/測試文件夾/測試數據.txt')df=pd.read_csv(f)排除某些行 使用 參數 skiprows.它的功能為排除某一行。
  • python項目實踐分享:使用pandas處理大型CSV文件
    我們先來看一下其中幾個常見的API:1.reader(csvfile[,dialect='excel'][, fmtparam])主要用於CSV文件的讀取,返回一個 reader對象用於在CSV文件內容上進行行迭代。
  • 乾貨 | 用 pandas 讀取 csv 和 Excel 數據
    本文採用真實的股票數據作為案例,教你如何在Python中讀取常用的數據文件。內容:數據文件下載地址:csv 數據文件 nasdaq-listings.csvhttps://raw.githubusercontent.com/fishstar/Data-Analysis-Practice/master/import%26manage_data_in_Python/nasdaq-listings.csvExcel
  • Python對CSV文件的處理
    在接口自動化測試中,把測試的數據存儲到csv的文件也是一種很不錯的選擇,下面就詳細的介紹如何實現CSV文件內容的讀取和如何把數據寫入到
  • C語言操作EXCEL文件(讀寫)
    一、寫操作第一步:單純C語言寫入Excel文件只能是 *.csv的後綴文件(是和txt一樣,以二進位文本形式存儲,它是以都逗號分隔符做個單元格內容的劃分, .xls存儲比較複雜, .csv文件可以可以通過.xls或者.xlsx文件另存為,選擇.csv文件格式),它們可以通過Notepad++等記事本軟體當做txt文件打開。
  • 如何使用PHP處理CSV文件?(代碼示例)
    如何使用PHP處理CSV文件?php解析CSV文件可以使用fgetcsv()函數;該函數從打開的文件中解析一行,校驗 CSV 欄位。語法如下:fgetcsv("filename.csv", 1000, ",");filename.csv:CSV文件的名稱。1000:表示最長線的長度。「,」:表示可選的分隔符參數。默認當然是逗號(,)。