Python爬取近十年TIOBE程式語言熱度數據並可視化

本文介紹如何利用requests+正則表達式爬取TIOBE程式語言熱度數據，並使用openpyxl寫入數據與pyecharts時間輪播圖進行可視化。

一、數據獲取

我們需要爬取的目標url為https://www.tiobe.com/tiobe-index/打開之後如下

分析網頁原始碼可以找到想要的數據，利用正則表達式提取出想要的數據，並保存到Excel中，便於後續數據處理和可視化。

完整爬蟲代碼如下，其中大多數語句都給出了詳細注釋，感興趣的讀者可以進一步研究。

# -*- coding: UTF-8 -*- """ @File    ：spider.py @Author  ：葉庭雲 @CSDN    ：https://yetingyun.blog.csdn.net/ """ import requests import re import openpyxl import logging  logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') headers = {     "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" }  wb = openpyxl.Workbook()    # 創建工作簿對象 sheet = wb.active           # 獲取活動的工作表 # 程式語言   時間    熱度 sheet.append(['Programing', 'Date', 'data_per'])  url = 'https://www.tiobe.com/tiobe-index/' rep = requests.get(url, headers=headers).text  # 正則匹配提取數據 data = re.findall('{name : (.*?),data : (.*?)}', rep) programing = [eval(k[0]) for k in data]     # 程式語言 dates = [i[1] for i in data]  # 正則表達式處理 提取出想要的數據 for x in range(len(dates)):     name = programing[x]     datas = re.findall(r'\[Date.UTC(.*?)\]', dates[x], re.DOTALL)     for m in datas:         date1 = re.findall(r'\d+', m)       # 正則提取出數字         date2 = '-'.join(date1[:3])         # 拼接得到時間         data_per = '.'.join(date1[-2:])     # 得到熱度數據         sheet.append([name, date2, data_per])         logging.info([name, date2, data_per])  wb.save('language_data.xlsx') 

最終運行效果如下：

可以看到成功提取出想要的數據，並保存到Excel，在jupyter notebook 環境中查看數據：

二、 數據可視化

本節使用pyecharts繪製時間輪播圖數據可視化，展示現在熱度排 Top10 的程式語言 2009-2019 年每年的平均熱度變化。

# -*- coding: UTF-8 -*- """ @File    ：輪播圖.py @Author  ：葉庭雲 @CSDN    ：https://yetingyun.blog.csdn.net/ """  import pandas as pd import xlrd import pyecharts.options as opts from pyecharts.charts import Timeline, Bar from pyecharts.globals import CurrentConfig   CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/'  # 提取程式語言名字 name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates())  data = xlrd.open_workbook('language_data.xlsx') table = data.sheets()[0]  dic1 = {k: [] for k in name} # 各程式語言對應每年裡不同時間的熱度 for i in range(1, table.nrows):  x = table.row_values(i)  dic1[x[0]].append((x[1], x[2]))  # 與程式語言順序對應  每年程式語言對應的不同時間的熱度 data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)} print(data_per)  count = 0 for k, v in dic1.items():  for j in v:   # v (時間，熱度)  熱度數據添加進各年對應的列表裡   data_per[int(j[0][:4])][count].append(eval(j[1]))  # 一年裡各程式語言不同時間時的熱度  對應起來  count += 1  # print(data_per) data_per1 = {k: [] for k in list(data_per.keys())}  for k, v in list(data_per.items()):  for x in v:   if len(x) == 0:                  # 這一年裡該語言沒有熱度數據    data_per1[k].append(0)   else:    avg = sum(x) / len(x)    data_per1[k].append(avg)     # 這一年裡的平均熱度  # 得到TOBIE現在排Top20的程式語言從2001年開始每年的平均熱度 print(data_per1)   def get_year_overlap_chart(year) -> Bar:  sum_info = [(m, n) for m, n in zip(name, data_per1[year])]  # 程式語言按每年平均熱度排序  sum_info.sort(key=lambda z: z[1], reverse=True)  name_ = [m[0] for m in sum_info]  datas = [m[1] for m in sum_info]  # 每根柱子的顏色列表  colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970',      '#9932CC']  x = []  for i in range(10):   x.append(    opts.BarItem(     name=name_[i],     value=datas[i],     itemstyle_opts=opts.ItemStyleOpts(color=colors[i])   # 設置每根柱子的顏色    )   )  # 繪製柱形圖  bar = Bar()  bar.add_xaxis(name_)  bar.add_yaxis(series_name='熱度', yaxis_data=x, is_selected=True,                   label_opts=opts.LabelOpts(is_show=False))  bar.set_global_opts(title_opts=opts.TitleOpts(       title="2009-2019程式語言熱度"),       tooltip_opts=opts.TooltipOpts(       is_show=True, trigger="axis", axis_pointer_type="shadow"),                   xaxis_opts=opts.AxisOpts(name='程式語言'), yaxis_opts=opts.AxisOpts(name='熱度'),  )  return bar  # 生成時間軸的圖 timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px")) for y in range(2009, 2020):  timeline.add(get_year_overlap_chart(y), time_point=str(y))  timeline.add_schema(is_auto_play=True, play_interval=1000) timeline.render("language_2009_2019.html") 

運行效果如下，可以看到雖然Python越來越火熱，但Java穩坐程式語言熱度排行榜第一!(此處一位PHP程式設計師拍桌)

三、補充

本節對有時候pyecharts繪製的圖形渲染在網頁上無法加載js文件的問題進行說明。

根據網站資源引用說明：pyecharts 使用的所有靜態資源文件存放於pyecharts-assets項目中

默認掛載在 https://assets.pyecharts.org/assets/，因為默認優先從遠程引用資源，這就導致有的時候無法加載 js 文件，圖表顯示不出來。

解決辦法：下載所需 js 文件到本地，修改資源引用地址，Github地址：https://github.com/pyecharts/pyecharts-assets看網站的介紹，pyecharts 提供了更改全局 HOST 的快捷方式。

from pyecharts.globals import CurrentConfig  CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 資源的路徑 

PS：如有需要Python學習資料的小夥伴可以加點擊下方連結自行獲取

python免費學習資料以及群交流解答後臺私信小編01即可