缘起
最近一直在思考如何更改智能化抓取的事情,每当来了一个新的task,都要自己手动分析,手动写xpath ,然后写正则,各种测试,各种部署,其实说来,这些事情的重复度很高,那我们能不能把一些重复性的动作抽象出来,做成一个独立的单元呢?在参考佷多类似的自动化的工具之后,猜想了如下的动作是可以抽象出来的
- 开始页的格式化
比如http://www.cnblogs.com/#1 http://www.cnblogs.com/#2 这种页面都是规则的,直接生成这些待跑的页面,然后放入,然后有一个上下页面的逻辑联系 -
xpath提取的鼠标化和输入化
这一点显的相当重要,可以说如果能解决这个问题,就可以提高很高的生产效率,我们大部分的时间都花在写xpath,调试这个上面了,所以能通过点点点解决写代码的时间,就会很方便(这样可能会有一个问题,浏览器拿出来的xpath和你正常的xpath不一样,所以还得区分渲染前后渲染后的) -
数据清洗的常规化
比如提取数字,字母,或者特定的内容,如果把这些内容也方便能过鼠标点击出来,也会给清洗方便很多(可以考虑这些都做成插件) -
是否启用JS
渲染问题 -
数据pipeline的流向
输入到各种数据库里面,不过,这个数据考虑输入到中间件里面。由中间件负责输送到不同类似的目的地里面
安装
关于安装,我个人推荐使用docker ,不建议使用官方的最新镜像,有一些问题一直没有解决,我在尝试了另外一个版本之后直接使用如下命令
特定的版本下我试过是没有问题的,推荐大家就用这个版本,这样这个服务就已经开启了
使用
新建project
打开本地浏览器http://127.0.0.1:9001/
,打开之后就可以看到主界面了
首先创建一个项目,这点应该和scrapy start project一样,然后进入到里面,输入你想爬的网址
新建spider
假设输入的是一个相册https://www.douban.com/photos/album/79005353/
,然后进入可编辑的界面,点击New Spider
进入面板
- Project
- Spider
- Start_pages
- Link Crawling
- Sample Pages
以上的几个属性在我们熟悉了scrapy之后就了解是什么东西了,除了最后一个,sample pages,我们看一下的解释
操作模板
这个时候进入到数据侦测状态,新建一个item,现在开始黑魔法阶段
选择工具
选中+ 这个工具,点击你想要的元素,比如我选择了图片,评论,回应三个字段
另外,字段类型已经提供好了相应的数据清洗,比如我只要text ,或者只要number,选中之后右的数据栏就会相应的变化(不得不说,简化了相当多的操作啊)
黑魔法-同类选择
这些元素选择完成之后,现在进入黑魔法阶段,点击-右边的列表选项
我们根据当前的字段颜色再次选中列表中的其它元素
是不是相当的神奇,这样就可以将同节点下的相同元素都筛选出来,右边的结果也可以以json显示
总结
本次主要从
- 安装
- 使用
- 想法
这几个角度来分析了问题,下期我将从实用,功能,拓展的角度来分析如何用到生产线上,如果我的文章对大家有帮助的话,请不要吝惜您的赞或者打赏,谢谢 :)
来源:oschina
链接:https://my.oschina.net/u/2336787/blog/3186586