抓取100頁網頁數據,你還在用複製粘貼?使用Excel即可輕鬆搞定

2020-12-17 Excel從零到一

Hello,大家好,今天跟大家分享下我們如何批量的抓取網頁中的數據,以抓取汽車投訴量跟大家分享下如何批量抓取網頁中的數據,這也是一個粉絲問道的問題,他準備買車想看下各個廠家的投訴量如何。話不多說,我們直接開始吧。如果你是進來了解各廠家的投訴量以及投訴的車型排名的,直接拉到最後即可

一、分析網頁

我們以抓取車質網的汽車投訴為例跟大家演示下如何批量抓取數據,如下圖,分別是第一頁到第三頁的網址,我們可能看到這三頁的網址,僅僅只有標紅的123也就是對應的頁碼是不一樣的,其餘的都是一樣的

二、抓取數據

緊接著我們打開excel,然後點擊數據功能組找到自網站,我們點擊高級選項然後將代表頁碼的數字單獨放置在一個輸入框內,可以通過點擊添加部件來添加輸入框,當設置完畢後我們直接點擊確定

這樣的話我們就進入導航器的界面,在這個網頁中power query一共抓取到了兩個內容,我們可以點擊看下具體哪個是我們需要的數據,在這裡table0就是我們想要抓取的數據,直接選擇table0這個選項然後點擊轉換數據即可,這樣的話我們就進入了powerquery的編輯界面

緊接著我們點擊高級編輯器在let前面輸入(x as number) as table =>然後將網址中的「1」更改為(Number.ToText(x))直接點擊完成即可

這樣的話我們就將我們前面的操作封裝成了一個函數,我們只需輸入對應的數字,然後點擊調用就會跳到對應頁碼的數據

緊接著我們點擊左邊的一個空白的區域,點擊滑鼠右鍵選擇新建查詢,在其中找到其他源然後選擇空查詢,接著我們在編輯欄中輸入={1.100}點擊回車,這樣的話我們就得到一個1到100的 序列,然後點擊到表,將查詢轉換為表,直接點擊確定即可

緊接著選擇添加列,然後找到自定義函數在功能查詢中選擇table0,直接點擊確定即可,這樣話power query就會開始抓取數據,在這裡我們抓取的100頁的網頁數據,這個過程可能會比較漫長,在這裡我大概耗時3分鐘,抓取完成後每個序列的後面都會得到一個table我們點擊左右反向的箭頭來擴展數據,將使用原始列名前面的對勾去掉,然點擊確定,將我們添加的序列刪除,這樣的話就完成了,我們只需在開始中選擇關閉並上載至即可將數據加載進Excel中,因為數據比較多,這個過程也會耗費比較多的時間,在這裡我耗時大概1分鐘

當數據加載進Excel中我們就可以通過數據透視表來的快速的分析數據,如下圖是根據在車質網的投訴記錄中抓取到的3000條數據然後通過數據透視表得到了投訴品牌以及投訴車系的排名,在這裡3000條數據將近1個月的投訴量

以上就是我們批量抓取100頁網頁數據的方法以及各廠家的投訴排名,整個過程做起來耗時大概在7分鐘左右,大部分時間都花費在數據的抓取與加載中。

怎麼樣?你學會了嗎?趕快動手試試把

我是Excel從零到一,關注我持續分享更多Excel技巧

相關焦點

  • 小課堂:如何用Excel抓取網頁數據
    就是網頁中的數據,本來就是一個表格結構,這個方法和你直接複製網頁數據,粘貼到表格裡,是一樣的意思。對於那些非table標籤的網頁數據,這個方法不好使。,你不需要懂,只要看到當前高亮的代碼中,包含以下任意的標籤,就表示網頁用了table標籤,可以用這個方法。
  • excel抓取網頁數據,並實現自動刷新,再也不用傻傻的複製粘貼了
    Hello,大家好,今天跟大家分享下我如何快速獲取網頁中的表格,並且可以實現自動刷新數據,他的操作也非常的簡單,話不多說讓我們直接開始吧我們想要獲取網頁中2020年GDP預測排名這個數據,如下圖一、獲取數據首選我們需要新建一個工作薄,打開它,然後點數據功能組,點擊新建查詢,然後選擇從其它源,選擇自網站這樣的話就會彈出一個對話框,將想要提取數據的網址直接複製進去,然後點擊確定,點擊確定後excel會自動的連接計算數據當計算完成後會進入
  • 僅需4步,讓excel自動幫你匯總數據,使用PQ即可輕鬆搞定
    今天有一個粉絲問到如何在excel中實現自動匯總多個工作薄的效果,因為在家辦公本來效率就低,每天都要一次次的複製粘貼,十分耗費時間,問我有沒有是快速的方法其實對於這樣的問題,我們使用power query即可輕鬆搞定,實現將excel文檔放在指定的文件夾中,然後回到匯總表中點擊一下刷新即可自動匯總數據。
  • 網頁禁止複製粘貼怎麼弄?教你五招輕鬆搞定
    經常在網上遇到一些無法複製的文章,有什麼辦法可以繞開這種限制,將網頁內容輕鬆下載下來呢?其實網頁上文本複製下來不是問題,只要用對方法,都可以輕鬆搞定,將相關文本複製下來,一起來看看要怎麼做吧。方法一、截圖識別這個辦法手機和電腦都可以使用,現在手機都自帶文字識別功能,如果你是用手機瀏覽,發現不能複製,可以截圖,然後對圖片進行「識別文字」就可以把文字提取出來,也就可以複製了。
  • Excel批量下載網頁數據,你花半小時複製粘貼,同事只要十秒搞定
    Excel數據獲取相信對於數據統計分析人員來說是一件家常便飯的事情。有時候我們需要從各大網站上收集到我們需要的數據,進行數據的整理和分析。如上圖所示,我們需要將彩票網頁上面的近100期數據全部導入到Excel中進行數據的分析。
  • 多工作簿匯總還在傻傻的複製粘貼?使用PQ僅需3步即可輕鬆搞定
    Hello,大家好,臨近年底數據匯總之類的工作漸漸的多了起來,前幾天跟大家分享了如何匯總多個sheet的數據,今天跟大家分享下我們如何快速的匯總多個工作薄中的數據,我們利用的匯總工具還是power query,話不多,讓我們開始今天的教程吧一
  • 網頁禁止複製粘貼怎麼辦?教你6招,快速搞定!
    那麼問題來了,有什麼辦法可以繞開這種限制,將網頁內容輕鬆下載下來呢?其實,既然是網頁內容,那麼意味著HTML代碼是公開的,將相關文本複製下來根本不是問題,一起來看看要怎麼做吧。這是最簡單的一個辦法了,如今手機都自帶文字識別功能。首先用QQ或微信將要識別的網頁截取成圖片,發送到你的手機。然後打開手機「掃一掃」,選擇剛剛收到的網頁截圖,最後點擊「識別文字」就可以了。
  • excel複製粘貼:如何將數據粘貼到篩選區域中?
    複製粘貼不是excel中最簡單,最基礎的操作嗎?怎麼可能90%的人都不會呢?今天咱們要說的可不是普通的複製粘貼,而是將數據複製粘貼到篩選後的區域中。說到這裡可能又有小夥伴們疑惑了,「小編,你可別逗我,數據是不能直接複製粘貼到篩選後的區域中的,這可是常識!」別著急,跟著小編繼續往下看,你就知道了!
  • excel複製粘貼:如何將數據粘貼到篩選區域中?
    複製粘貼不是excel中最簡單,最基礎的操作嗎?怎麼可能90%的人都不會呢?今天咱們要說的可不是普通的複製粘貼,而是將數據複製粘貼到篩選後的區域中。說到這裡可能又有小夥伴們疑惑了,「小編,你可別逗我,數據是不能直接複製粘貼到篩選後的區域中的,這可是常識!」別著急,跟著小編繼續往下看,你就知道了!
  • Power Query從網絡抓取數據
    使用Power Query從 web 獲取數據的能力非常方便, Power Query在大家不了解VBA的時候,可以這樣去使用,但是如果你了解VBA其實也很方便,主要是看大家的取捨和偏好從網絡上抓取下來的數據,還可以實時更新,這樣的話,如果你有一些成套的數據從網上抓下來,那麼加上經驗公式計算出抓取下來的數據衍生出來的一些最終結果
  • 網頁上的文字不讓複製粘貼怎麼辦?
    當你好不容易找到一段資料,卻不能複製下來,只能手動一個一個去敲,這是多麼苦(dan)逼(teng)的一件事。所以現在你只要學會這兩招,輕鬆搞定網頁文字不讓複製粘貼問題。此方法是在瀏覽器中使用Ctrl+S快捷鍵保存當前網頁到本地,然後找到你保存的網頁使用Word或者WPS打開編輯,即可複製網頁中的文字。
  • 手把手教你自動複製粘貼,Excel表格網頁自動輸入,網頁自動點擊
    這時有沒一種簡便、高效的工具軟體可以替代呢,當然是有的,推薦大家去試下「阿衝全能點擊王」這款軟體,它是專門為各種辦公重複操作而生,支持滑鼠自動點擊,鍵盤自動按鍵,自動數據錄入,自動複製粘貼等等很多功能任務。使用阿衝全能點擊王,就好像是一個智慧機器人一樣,你在它裡面設置好一次要重複的動作,它就能自動化幫你循環執行的,大大提高工作效率。
  • excel處理數據最頻繁的操作之一,複製與粘貼的使用技巧
    我們在實際工作中,當我們需要處理和分析大量數據的時候,我們通常使用excel表格來處理,因為excel具有很多數據處理小技巧,也有很多實用的函數,今天我們要分享的是我們處理數據使用最頻繁的操作,複製與粘貼的使用技巧。
  • 如何使用Excel抓取網頁數據
    小編將給大家介紹如何在Excel中使用函數公式抓取網頁數據。藉助這個公式,即便是計算機小白也能夠做IT大神才能做到的事-抓取網頁數據,如同插上了起飛的翅膀。介紹這個函數之前,為了便於大家記憶,先給小白們普及一下函數中出現的URL是啥。
  • 匯總csv文件其實很簡單,用excel三步即可搞定,並且支持數據更新
    Hello,大家好,今天跟大家分享下我們如何快速的匯總多個csv文件,這個也是之前一個粉絲問道的問題,前幾太忙沒時間寫,今天就跟大家分享下Csv文件常見於我們從系統中導出的文件,或者是下載的一些網頁的數據,因為是從系統中導出的文件,他們的格式都是一摸一樣的
  • excel複製粘貼技巧:選擇性粘貼的諸多功能
    當我們學會了excel中的選擇性粘貼工具,就可以滿足實際工作中的各種需求。1.選擇性粘貼做數據運算每到月初,小夥伴辛辛苦苦做完了表格,馬上就要上交表格發工資了,老闆卻突然說所有的員工工資要增加100元,直接增加在工資列數據中。這個時候小夥伴的第一個想法是用sum函數來解決,其實用選擇性粘貼更加便利。
  • Excel多個工作表數據匯總,你還在複製粘貼嗎?
    簡歷如下,100份左右:(每個人的簡歷模板都一樣噠)匯總的花名冊內要有姓名、性別、民族等:院長等了大概一天,還沒收到小主席的花名冊,後來才知道,小主席還在複製粘貼中,當時院長的內心是崩潰的,你在逗我嗎?
  • 複製個網頁文字都要錢?不要慌!幾招教你輕鬆搞定!
    一.切換IE內核如今IE已經被邊緣化,絕大多數瀏覽器都是WebKit內核,網頁設計師也是這樣想的。那麼當你發現一個網站內容禁止複製時,不妨將網址拖拽到IE瀏覽器裡試一試。對了,現在很多國產瀏覽器都使用了雙內核,其中「兼容模式」就是IE核心,也可以點擊切換試一下,和複製到IE中效果也一樣。
  • 網頁上的文字不能複製怎麼辦?教你2招輕鬆複製!
    作為一個新媒體小編,很多時候我們需要在網頁上找資料,找資料就需要用到複製粘貼,但是有些網頁因為技術人員的設置不能進行複製粘貼,這時候怎麼辦呢?只有幾行字還好,幾分鐘就能打出來,要是幾十行幾百行的文字,咱們不可能一個字一個字的敲出來吧,這樣簡直太浪費時間了!
  • Excel分兩欄列印,你還在一個個的複製粘貼麼,2個方法快速解決
    有的數據,列比較少,只列印1頁的話,不太好看這個時候希望這些數據列印成兩欄顯示,不用一個一個的去複製粘貼重新排版,用下面兩個技巧輕鬆搞定!藉助WORD文檔分欄法我們將Excel中的數據,複製粘貼至一個新建的WORD文檔中然後在WORD文檔裡面的布局裡面選擇欄,選擇兩欄,如下所示:然後會自動的分成兩欄,點擊列印的話,就是兩欄列印了在Excel