垂直型爬虫架构设计(2)
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 上文提到了关于爬虫的一些简单概念与爬虫真正要做的一些功能.简单的分析了一下垂直型爬虫与宽度(深度)遍历的一些特点.现在,我主要针对于垂直型爬虫的架构设计做一些简单的介绍. 1.垂直型爬虫的基本需求 目前企业级所需的基本上是垂直型爬虫.舆情分析,财经资讯资讯推荐等.基本山使用的都是垂直型爬虫来作为企业级使用的方案,企业级爬虫的特点我上篇博客里面已经讲过了,所以在做垂直型爬虫架构的时候只需要考虑抓去内容所需的功能.简单来说:拿到某篇资讯所需的方式或功能.例如:常见的 javascript方式,ajax等. 简单来列举一些我在抓去数据时所遇到的一些问题: 1.javascript调用正文 2.ajax方式获取正文 3.iframe方式 4.验证码 5.javascript调用下一页连接 6.javascript+post方式获取下一页连接 7.ajax方式获取内容 8.登录... 等. 这些都是需要在设计爬虫之初就要考虑的问题,虽然简单来说爬虫就是获取到需求所需的数据,但是很多时候数据的获取也不是那么简单的.所以框架的整体设计是非常关键的,甚至对于爬虫之后版本的发展都很重要,如果框架设计的不合理,发现新的问题就需要重新构建爬虫或者直接针对遇到的问题设计爬虫.这两种方式都不是可取的. 2.垂直型爬虫框架 之前提到