建站
咨詢
售后
建站咨詢
新聞中心
本文介紹如何利用requests+正則表達(dá)式爬取TIOBE編程語言熱度數(shù)據(jù)，并使用openpyxl寫入數(shù)據(jù)與pyecharts時(shí)間輪播圖進(jìn)行可視化。
成都創(chuàng)新互聯(lián)公司專業(yè)提供成都多線機(jī)房服務(wù)，為用戶提供五星數(shù)據(jù)中心、電信、雙線接入解決方案，用戶可自行在線購買成都多線機(jī)房服務(wù)，并享受7*24小時(shí)金牌售后服務(wù)。
一、數(shù)據(jù)獲取
我們需要爬取的目標(biāo)url為https://www.tiobe.com/tiobe-index/打開之后如下
分析網(wǎng)頁源代碼可以找到想要的數(shù)據(jù)，利用正則表達(dá)式提取出想要的數(shù)據(jù)，并保存到Excel中，便于后續(xù)數(shù)據(jù)處理和可視化。
完整爬蟲代碼如下，其中大多數(shù)語句都給出了詳細(xì)注釋，感興趣的讀者可以進(jìn)一步研究。
- # -*- coding: UTF-8 -*-
- """
- @File ：spider.py
- @Author ：葉庭云
- @CSDN ：https://yetingyun.blog.csdn.net/
- """
- import requests
- import re
- import openpyxl
- import logging
- logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
- headers = {
- "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1"
- }
- wb = openpyxl.Workbook() # 創(chuàng)建工作簿對象
- sheet = wb.active # 獲取活動(dòng)的工作表
- # 編程語言 時(shí)間 熱度
- sheet.append(['Programing', 'Date', 'data_per'])
- url = 'https://www.tiobe.com/tiobe-index/'
- rep = requests.get(url, headers=headers).text
- # 正則匹配提取數(shù)據(jù)
- data = re.findall('{name : (.*?),data : (.*?)}', rep)
- programing = [eval(k[0]) for k in data] # 編程語言
- dates = [i[1] for i in data]
- # 正則表達(dá)式處理 提取出想要的數(shù)據(jù)
- for x in range(len(dates)):
- name = programing[x]
- datas = re.findall(r'\[Date.UTC(.*?)\]', dates[x], re.DOTALL)
- for m in datas:
- date1 = re.findall(r'\d+', m) # 正則提取出數(shù)字
- date2 = '-'.join(date1[:3]) # 拼接得到時(shí)間
- data_per = '.'.join(date1[-2:]) # 得到熱度數(shù)據(jù)
- sheet.append([name, date2, data_per])
- logging.info([name, date2, data_per])
- wb.save('language_data.xlsx')
最終運(yùn)行效果如下：
可以看到成功提取出想要的數(shù)據(jù)，并保存到Excel，在jupyter notebook 環(huán)境中查看數(shù)據(jù)：
二、 數(shù)據(jù)可視化
本節(jié)使用pyecharts繪制時(shí)間輪播圖數(shù)據(jù)可視化，展示現(xiàn)在熱度排 Top10 的編程語言 2009-2019 年每年的平均熱度變化。
- # -*- coding: UTF-8 -*-
- """
- @File ：輪播圖.py
- @Author ：葉庭云
- @CSDN ：https://yetingyun.blog.csdn.net/
- """
- import pandas as pd
- import xlrd
- import pyecharts.options as opts
- from pyecharts.charts import Timeline, Bar
- from pyecharts.globals import CurrentConfig
- CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/'
- # 提取編程語言名字
- name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates())
- data = xlrd.open_workbook('language_data.xlsx')
- table = data.sheets()[0]
- dic1 = {k: [] for k in name}
- # 各編程語言對應(yīng)每年里不同時(shí)間的熱度
- for i in range(1, table.nrows):
- x = table.row_values(i)
- dic1[x[0]].append((x[1], x[2]))
- # 與編程語言順序?qū)?yīng) 每年編程語言對應(yīng)的不同時(shí)間的熱度
- data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)}
- print(data_per)
- count = 0
- for k, v in dic1.items():
- for j in v: # v (時(shí)間，熱度) 熱度數(shù)據(jù)添加進(jìn)各年對應(yīng)的列表里
- data_per[int(j[0][:4])][count].append(eval(j[1])) # 一年里各編程語言不同時(shí)間時(shí)的熱度 對應(yīng)起來
- count += 1
- # print(data_per)
- data_per1 = {k: [] for k in list(data_per.keys())}
- for k, v in list(data_per.items()):
- for x in v:
- if len(x) == 0: # 這一年里該語言沒有熱度數(shù)據(jù)
- data_per1[k].append(0)
- else:
- avg = sum(x) / len(x)
- data_per1[k].append(avg) # 這一年里的平均熱度
- # 得到TOBIE現(xiàn)在排Top20的編程語言從2001年開始每年的平均熱度
- print(data_per1)
- def get_year_overlap_chart(year) -> Bar:
- sum_info = [(m, n) for m, n in zip(name, data_per1[year])]
- # 編程語言按每年平均熱度排序
- sum_info.sort(key=lambda z: z[1], reverse=True)
- name_ = [m[0] for m in sum_info]
- datas = [m[1] for m in sum_info]
- # 每根柱子的顏色列表
- colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970',
- '#9932CC']
- x = []
- for i in range(10):
- x.append(
- opts.BarItem(
- name=name_[i],
- value=datas[i],
- itemstyle_opts=opts.ItemStyleOpts(color=colors[i]) # 設(shè)置每根柱子的顏色
- )
- )
- # 繪制柱形圖
- bar = Bar()
- bar.add_xaxis(name_)
- bar.add_yaxis(series_name='熱度', yaxis_data=x, is_selected=True,
- label_opts=opts.LabelOpts(is_show=False))
- bar.set_global_opts(title_opts=opts.TitleOpts(
- title="2009-2019編程語言熱度"),
- tooltip_opts=opts.TooltipOpts(
- is_show=True, trigger="axis", axis_pointer_type="shadow"),
- xaxis_opts=opts.AxisOpts(name='編程語言'), yaxis_opts=opts.AxisOpts(name='熱度'),
- )
- return bar
- # 生成時(shí)間軸的圖
- timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px"))
- for y in range(2009, 2020):
- timeline.add(get_year_overlap_chart(y), time_point=str(y))
- timeline.add_schema(is_auto_play=True, play_interval=1000)
- timeline.render("language_2009_2019.html")
運(yùn)行效果如下，可以看到雖然Python越來越火熱，但Java穩(wěn)坐編程語言熱度排行榜第一!(此處一位PHP程序員拍桌)
三、補(bǔ)充
本節(jié)對有時(shí)候pyecharts繪制的圖形渲染在網(wǎng)頁上無法加載js文件的問題進(jìn)行說明。
根據(jù)網(wǎng)站資源引用說明：pyecharts 使用的所有靜態(tài)資源文件存放于pyecharts-assets項(xiàng)目中
默認(rèn)掛載在 https://assets.pyecharts.org/assets/，因?yàn)槟J(rèn)優(yōu)先從遠(yuǎn)程引用資源，這就導(dǎo)致有的時(shí)候無法加載 js 文件，圖表顯示不出來。
解決辦法：下載所需 js 文件到本地，修改資源引用地址，Github地址：https://github.com/pyecharts/pyecharts-assets看網(wǎng)站的介紹，pyecharts 提供了更改全局 HOST 的快捷方式。
- from pyecharts.globals import CurrentConfig
- CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 資源的路徑
分享題目：Python爬取近十年TIOBE編程語言熱度數(shù)據(jù)并可視化
網(wǎng)頁路徑：http://www.dlmjj.cn/article/cdecspp.html
