scrapy抓取知乎话题v0.1

冷暖自知 提交于 2019-11-29 21:18:33

一、简介

     抓取知乎某一子话题,赞同人数超过10的会被抓取。回答ID、赞同人数、回答时间、内容、提问被保存到mysql数据库中,支持更新(多次抓取时对于同一回答的ID只更新赞同人数)。

usage:

scrapy crwal zhihu

二、效果:

抓了一个通宵将编程子话题全部抓完,抓取了13M的内容,下面是保存为json的数据。

但是,数据量一大用json来保存就很不方便了,文本格式化都会被卡住,查找更新操作更不用考虑了。

之后改进代码,用mysql来存储。

看效果吧。



三、下载地址

http://download.csdn.net/detail/wxq714586001/8832799

四、TODO

敬请期待v0.2。



易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!