Spiderman Java开源垂直爬虫抓取示例【需求小复杂】
首先要说明的是,本文仅介绍了Spiderman解析 XML 的示例,Spiderman解析 HTML 也是差不多的原理,不过更考验“爬虫”的能力。 这个以后再发篇文章详细说明 【 已经有了请点击这里 】:) 在Github的spiderman-sample项目里面有好几个案例,可以跑跑看。 这是Spiderman链接: http://www.oschina.net/p/spiderman 1.Spiderman是一个垂直领域的爬虫,可用于抓取特定目标网页的内容,并且解析为所需要的业务数据,整个过程追求无需任何编码就能实现,这样带来的好处是部署简单,并且网页内容变化可以灵活应对。 2.本文演示所抓取的目标URL是: http://www.alldealsasia.com/feeds/xml 这是一个XML文件,提供了该网站所有活动的Deal 3.怎么用Git+Maven搭建Spiderman使用这里就不详细说明了 4.直接看效果 这是目标网页【一个xml页面】 为了完成以上的目标,需要配置一个xml文件让Spiderman根据目标执行 最后来看看抓取之后的结果数据,我是在回调方法里面写入文件的: // 初始化蜘蛛 Spiderman.init(new SpiderListener() { public void onNewUrls(Thread thread, Task task,