Python爬取南京市往年天气预报,使用pyecharts进行分析
上一次分享了使用matplotlib对爬取的豆瓣书籍排行榜进行分析,但是发现python本身自带的这个绘图分析库还是有一些局限,绘图不够美观等,在网上搜索了一波,发现现在有很多的支持python的绘图库可以使用,本次尝试使用pyecharts对爬取的数据进行分析,然后发现这个库实在是太好用了,生成的库也很好看,还能生成动态图,简直是进行数据分析的一大神器! pyecharts: pyecharts 是一个封装百度开源图表库echarts的包,使用 pyecharts 可以生成独立的网页,也可以在flask、django中集成使用。 本次爬取的首页地址是: http://www.tianqihoubao.com/lishi/nanjing.html 爬取步骤: 爬取主网页,获取进入每个南京市具体年份月份的天气数据的链接 爬取上方获取的具体链接的数据 存储数据 对数据进行筛选后使用pyecharts进行分析 话不多说,马上开始吧! 步骤一 从上图可知,我们需要先获取进入每个具体月份的链接,才能爬取想要的数据,所以首先定义获取具体链接的函数,然后在爬取会方便很多;查看网页源代码查找目标所在位置,本次我依然是使用lxml库来进行数据的爬取(PS:感觉习惯了lxml其他库就不好用了),这里需要注意的是,我是将获得的结果一个一个的存入列表,这种方法很笨,但作为菜鸟的我确实不知道其他方法了