Python爬取中國各省疫情確診人員數據生成可視化中國地圖界面

2020-12-06 Aaron國國老師

大家好,接下來我們用python爬蟲技術爬取中國各省疫情確診人員數據,得到數據後自動生成中國地圖可視化界面。

可視化界面運用pyecharts模塊、selenium中的webdriver

第一:首先分析要爬取的網頁(百家號不可粘貼具體地址,見圖吧)

爬取思路:

通過分析網頁的原始碼,發現此網頁是動態生成的數據,所以這裡用webdriver來自動化地取動態網頁數據,獲取真正的網頁原始碼。然後通過正則來取我們需要的數據,即中國各省確診人數和省的名稱。最後通過pyecharts可視化地圖來展示我們的數據。接下來具體操作吧。

導入需要的庫文件:

from selenium import webdriverimport timeimport refrom pyecharts.charts import Mapfrom pyecharts import options as opts

第二:利用webdriver來自動化獲取動態的數據

要想自動獲取動態數據,我們應該要下載一個chromedriver.exe驅動文件,網上有很多,自己可以下載,放在一個地方,然後引用它就可以用了。如下:

driver=webdriver.Chrome(executable_path=r"D:\mySpider\jianshu\chromedriver\chromedriver.exe")

接下來就是通過這個驅動打開一個網頁,就是我們需要的網頁:

res=driver.get(urls)

此時打開一個網頁,就需要數據了,但網頁打開很慢的時候,我們取的數據可能為空,這時需要我們等網頁加載完之後再取數據,這裡我們用:

time.sleep(0.5)

好了,接下來就是取我們的真正的源文件了,通過page_source獲取。如下:

source=driver.page_source

第三:利用正則來獲取我們需要的數據,這裡是各省的名稱和各省的確診人數

代碼如下:

datalist=re.findall(r'<tr data-v-a1a493c8=""><th data-v-a1a493c8=""><p data-v-a1a493c8=""><span data-v-a1a493c8="">(.*?)</span></p><p data-v-a1a493c8=""></p></th><td data-v-a1a493c8=""><p data-v-a1a493c8="">(.*?)</p>',source)

這裡的datalist就是我們取的數據了,它的格式是多個字符串組成的tuple的一個列表

得到這個數據之後,我們通過pyecharts展示地圖可視化界面

第四:用pyecharts展示可視化界面

map=Map(opts.InitOpts(width='1024px',height='600px')).add(series_name='中國各省疫情分布',data_pair=datalist,maptype='china',is_map_symbol_show=False,)#設置配置項map.set_series_opts(label_opts=opts.LabelOpts(is_show=True)) #不顯示國家名稱#設置圖例map.set_global_opts(title_opts=opts.TitleOpts(title='中國各省疫情情況'), #設置圖標題visualmap_opts=opts.VisualMapOpts(max_=400,is_piecewise=True))map.render('中國疫情分布.html')

最後通過render生成一個html,這時在你們目錄裡面就有一個html文件了,打開它,就可以看到效果了。效果如下:

相關焦點

  • 手把手教你用python爬取國內外最新疫情歷史數據
    ,俗話說的好,「授之以魚不如授之以漁」,所以小編今天就把爬疫情歷史數據的方法分享給你們。基本思路:分析騰訊新聞「抗肺炎」版塊,採用「倒推法」找到疫情數據接口,然後用python模擬請求,進而保存疫情歷史數據。
  • 持續關注疫情態勢,用Python繪製全國各省感染數,實現數據可視化
    對數據進行可視化處理分析前篇內容我們獲取了最新各省的疫情數據。疫情依然很嚴峻今天我們需要繪製關於各省、自治區、直轄市以及港澳臺各地關於這六個項目的疫情地圖,實現效果是這樣的。疫情地圖效果展示當滑鼠單擊統計項目時,地圖中各省份的數據相應進行更新,圖例展現了涉及人數。滑鼠指針滑到某一省份時,顯示該省份相應的數據信息。
  • 爬取拉勾網數據並進行數據可視化
    ,待爬取的python工程師職位信息如下:,所以我們在爬取的過程中會加上頭信息,頭信息也是我們通過分析網頁獲取到的,通過網頁分析我們知道該請求的頭信息,以及請求的信息和請求的方式是POST請求,這樣我們就可以該url請求拿到我們想的數據做進一步處理
  • 原來炫酷的可視化地圖,用Python就能搞定
    Python+Selenium+Matplotlib,實現中國地圖可視化。地圖數據來源於民政部,真實可靠。繪製省/地級/縣級行政區劃的輪廓import Map_of_China as Map# 創建獲取地圖數據對象M = Map.Get_Map()# 創建繪製地圖對象D = Map.Draw_Map()# #獲取首頁全國各省的地圖數據M.Get_country()# 江蘇地圖D.Draw_single_shape('Data/Country
  • Python爬取股票信息,並實現可視化數據
    前言截止2019年年底我國股票投資者數量為15975.24萬戶, 如此多的股民熱衷於炒股,首先拋開炒股技術不說, 那麼多股票數據是不是非常難找, 找到之後是不是看著密密麻麻的數據是不是頭都大了?今天帶大家爬取雪球平臺的股票數據, 並且實現數據可視化先看下效果圖
  • Python爬取近十年TIOBE程式語言熱度數據並可視化
    本文介紹如何利用requests+正則表達式爬取TIOBE程式語言熱度數據,並使用openpyxl寫入數據與pyecharts時間輪播圖進行可視化。我們需要爬取的目標url為https://www.tiobe.com/tiobe-index/打開之後如下
  • 大佬教你如何讓爬蟲可視化——爬下來的東西不分析一波豈不可惜
    絮叨一下爬蟲爬來爬去,總是要服務於某些行業的,存在資料庫中唯自己所用,做數據分析,搜尋引擎,以及人工智慧,訓練模型.前面已經分享了很多學習爬蟲的筆記,比如urllib模塊,requests模塊,正則,BS4,selenium,牛逼的scrapy框架,以及一些反爬比如js加密,cookies反爬,非對稱加密等,爬下來的數據就放在磁碟中是不是太過於浪費,自然需要分析一波,那就要生成可視化圖表
  • Python大數據分析疫情:如何實現實時數據爬取及Matplotlib可視化
    作者 | 楊秀璋來源 | CSDN博客專家Eastmount責編 | 夕顏思來想去,雖然很忙,但還是擠時間針對這次肺炎疫情寫個Python大數據分析系列博客,包括網絡爬蟲、可視化分析、GIS地圖顯示、情感分析、輿情分析
  • 財經熱詞:Python 爬取金十數據首頁,並生成詞雲
    背景用 Python 的 requests 模塊爬取金十數據首頁中間部分的資訊信息爬取數據併入庫功能1.創建一個 MySQL',charset="utf8")cur = conn.cursor()##循環爬取並插入數據:結束條件是爬不到數據為止totalCount = 0Data=requests.get(url,queryParam,headers=header).json()['data']length = len(Data)while(length>0): for i
  • Python繪製簡單的美國疫情地圖
    首先確定一下項目流程,數據採集→數據存儲→數據分析→數據挖掘→數據可視化,這裡我用的是python對項目進行可視化處理,python中的plotly圖形庫可以在線生成交互式的高質量的圖形,它可以製作基本圖表,統計圖表,科學圖表,財務圖表,地圖和3維圖表。
  • Python爬蟲入門實例之爬取軟科中國大學排名
    一、爬取原界面2.爬取內容  本例爬取的是下圖的排名、大學名稱、用在此處可以使爬取的內容,在格式化輸出時達到對齊的效果。小編是一名python開發工程師,這裡有我自己整理了一套最新的python系統學習教程,包括從基礎的python腳本到web開發、爬蟲、數據分析、數據可視化、機器學習等。想要這些資料的可以關注小編,並在後臺私信小編:「01」即可領取。
  • 利用Python畫中國地圖,實現各省數據可視化
    第一步:安裝pyecharts pyecharts是一款將python
  • 實戰|手把手教你用Python爬取存儲數據,還能自動在Excel中可視化!
    大家好,在之前我們講過如何用Python構建一個帶有GUI的爬蟲小程序,很多本文將迎合熱點,延續上次的NBA爬蟲GUI,探討如何爬取虎撲NBA官網數據。 清洗整理爬取的球員數據,對其進行可視化。
  • 疫情數據可視化作品實用高效傳播有力
    在這場沒有硝煙的疫情戰爭中,全國上下空前團結一致,共同為戰勝新冠肺炎的目標而不懈努力。眾多媒體針對疫情報導的特殊性,嫻熟運用可視化工具,信息圖、數據作品和數據查詢小程序等多點開花,讓新聞報導更直觀形象,更實用高效,更具傳播力,僅人民日報與丁香園合作推出的疫情地圖頁面就有多達23億次點擊。
  • 任意爬取!集眾多數據源的爬蟲工具箱——InfoSpider
    圖/文:迷神最近一個Github開源了個集眾多數據源於一身的爬蟲工具箱——InfoSpider,開源沒幾天就登上GitHub周榜第四,現在標星已經有3k了,這款任意爬取工具箱——InfoSpider,一不小心就火了!!!
  • 新冠疫情地圖可視化 - 零新增確診地圖
    新冠疫情地圖可視化 - 零新增確診地圖 2020-03-01 12:47 來源:澎湃新聞·澎湃號·湃客
  • 「Python數據可視化」來製作中國疫情地圖(一)爬取數據
    我們的最終目標是要做一個實時的中國疫情地圖。如下圖所示:首先我們需要獲取數據,數據來源於百度的疫情實時大數據報告https://voice.baidu.com&39;,text)[0]運行結果讀取並解析後的數據
  • Python爬取股票信息,並實現可視化數據!人人都是巴菲特?
    前言截止2019年年底我國股票投資者數量為15975.24萬戶, 如此多的股民熱衷於炒股,首先拋開炒股技術不說, 那麼多股票數據是不是非常難找, 找到之後是不是看著密密麻麻的數據是不是頭都大了?今天帶大家爬取雪球平臺的股票數據, 並且實現數據可視化
  • Python數據分析實例,新冠肺炎實時數據可視化分析
    本案例適合作為大數據技術基礎課程中數據爬取、清洗以及可視化部分的配套教學案例。通過本案例,能夠達到以下教學效果:培養學生爬取網站數據以及數據清洗、加工處理的能力。案例中通過Python第三方庫request獲取網站實時數據,並利用pandas清洗數據為可視化數據做準備。培養學生對真實數據進行可視化分析的能力。
  • python爬取數據存入資料庫
    昨天本來寫了一篇關於python爬取的文章,結果沒通過,正好今天一起吧。用python同時實現爬取,和存入資料庫,算是複習一下前面操作資料庫的知識。1、準備工作既然是爬取,那自然要連接到爬取的頁面,所以需要requests庫。