一、简介
抓取知乎某一子话题,赞同人数超过10的会被抓取。回答ID、赞同人数、回答时间、内容、提问被保存到mysql数据库中,支持更新(多次抓取时对于同一回答的ID只更新赞同人数)。
usage:
scrapy crwal zhihu
二、效果:
抓了一个通宵将编程子话题全部抓完,抓取了13M的内容,下面是保存为json的数据。
但是,数据量一大用json来保存就很不方便了,文本格式化都会被卡住,查找更新操作更不用考虑了。
之后改进代码,用mysql来存储。
看效果吧。
三、下载地址
http://download.csdn.net/detail/wxq714586001/8832799
四、TODO
敬请期待v0.2。
来源:CSDN
作者:牧羊人Full
链接:https://blog.csdn.net/wxq714586001/article/details/46611605