不会python?那就换一种姿势爬虫！Java爬虫技术总结

—本博客为原创内容，转载需注明本人—

前几天有个师妹将要毕业，需要准备毕业论文，但是论文调研需要数据资料，上知网一查，十几万条数据！指导老师让她手动copy收集，十几万的数据手动copy要浪费多少时间啊，然后她就找我帮忙。我想了一下，写个爬虫程序去爬下来或许是个不错的解决方案呢！之前一直听其他人说爬虫最好用python，但是我是一名Java工程师啊！鲁迅曾说过，学python救不了中国人，但是Java可以！

好啦，开个玩笑，主要是她急着要，我单独学一门语言去做爬虫，有点不现实，然后我就用了Java，去知乎看一下，发现原来Java也有很多开源的爬虫api嘛，然后就是开始干了，三天时间写好程序，可以爬数据下来，下面分享一下技术总结，感兴趣的朋友可以一起交流一下！

在分享技术之前，先简单说一下爬虫的原理吧。网络爬虫听起来很高大上，其实就是原理很简单，说的通俗一点就是，程序向指定连接发出请求，服务器返回完整的html回来，程序拿到这个html之后就进行解析，解析的原理就是定位html元素，然后将你想要的数据拿下来。

那再看一下Java开源的爬虫API，挺多的，具体可以点击链接看一下：推荐一些优秀的开源Java爬虫项目

因为我不是要在实际的项目中应用，所以我选择非常轻量级易上手的 crawler4j 。感兴趣的可以去github看看它的介绍，我这边简单介绍一下怎么应用。用起来非常简单，现在maven导入依赖。

        <dependency>
            <groupId>edu.uci.ics</groupId>
            <artifactId>crawler4j</artifactId>
            <version>4.2</version>
        </dependency>

自定义爬虫类继承插件的WebCrawler类，然后重写里面shouldVisit和Visit方法。

package com.chf;

import edu.uci.ics.crawler4j.crawler.Page;
import edu.uci.ics.crawler4j.crawler.WebCrawler;
import edu.uci.ics.crawler4j.parser.HtmlParseData;
import edu.uci.ics.crawler4j.url.WebURL; import java.util.Set; import java.util.regex.Pattern; /** * @author:chf * @description: 自定义爬虫类需要继承WebCrawler类，决定哪些url可以被爬以及处理爬取的页面信息 * @date:2019/3/8 **/ public class MyCraeler extends WebCrawler { /** * 正则匹配指定的后缀文件 */ private final static Pattern FILTERS = Pattern.compile(".*(\\.(css|js|bmp|gif|jpe?g" + "|png|tiff?|mid|mp2|mp3|mp4" + "|wav|avi|mov|mpeg|ram|m4v|pdf" + "|rm|smil|wmv|swf|wma|zip|rar|gz))$"); /** * 这个方法主要是决定哪些url我们需要抓取，返回true表示是我们需要的，返回false表示不是我们需要的Url * 第一个参数referringPage封装了当前爬取的页面信息 * 第二个参数url封装了当前爬取的页面url信息 */ @Override public boolean shouldVisit(Page referringPage, WebURL url) { String href = url.getURL().toLowerCase(); // 得到小写的url return !FILTERS.matcher(href).matches() // 正则匹配，过滤掉我们不需要的后缀文件 && href.startsWith("http://r.cnki.net/kns/brief/result.aspx"); // url必须是http://www.java1234.com/开头，规定站点 } /** * 当我们爬到我们需要的页面，这个方法会被调用，我们可以尽情的处理这个页面 * page参数封装了所有页面信息 */ @Override public void visit(Page page) { String url = page.getWebURL().getURL(); // 获取url System.out.println("URL: " + url); if (page.getParseData() instanceof HtmlParseData) { // 判断是否是html数据 HtmlParseData htmlParseData = (HtmlParseData) page.getParseData(); // 强制类型转换，获取html数据对象 String text = htmlParseData.getText(); // 获取页面纯文本（无html标签） String html = htmlParseData.getHtml(); // 获取页面Html Set<WebURL> links = htmlParseData.getOutgoingUrls(); // 获取页面输出链接 System.out.println("纯文本长度: " + text.length()); System.out.println("html长度: " + html.length()); System.out.println("输出链接个数: " + links.size()); } } }

然后定义一个Controller来执行你的爬虫类

package com.chf;

import edu.uci.ics.crawler4j.crawler.CrawlConfig;
import edu.uci.ics.crawler4j.crawler.CrawlController;
import edu.uci.ics.crawler4j.fetcher.PageFetcher;
import edu.uci.ics.crawler4j.robotstxt.RobotstxtConfig; import edu.uci.ics.crawler4j.robotstxt.RobotstxtServer; /** * @author:chf * @description: 爬虫机器人控制器 * @date:2019/3/8 **/ public class Controller { public static void main(String[] args) throws Exception { String crawlStorageFolder = "C:/Users/94068/Desktop/logs/crawl"; // 定义爬虫数据存储位置 int numberOfCrawlers =2; // 定义7个爬虫，也就是7个线程 CrawlConfig config = new CrawlConfig(); // 定义爬虫配置 config.setCrawlStorageFolder(crawlStorageFolder); // 设置爬虫文件存储位置 /* * 最多爬取多少个页面 */ config.setMaxPagesToFetch(1000); //爬取二进制文件 // config.setIncludeBinaryContentInCrawling(true); //爬取深度 config.setMaxDepthOfCrawling(1); /* * 实例化爬虫控制器 */ PageFetcher pageFetcher = new PageFetcher(config); // 实例化页面获取器 RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); // 实例化爬虫机器人配置 比如可以设置 user-agent // 实例化爬虫机器人对目标服务器的配置，每个网站都有一个robots.txt文件 规定了该网站哪些页面可以爬，哪些页面禁止爬，该类是对robots.txt规范的实现 RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher); // 实例化爬虫控制器 CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer); /** * 配置爬虫种子页面，就是规定的从哪里开始爬，可以配置多个种子页面 */ controller.addSeed("http://r.cnki.net/kns/brief/result.aspx?dbprefix=gwkt"); /** * 启动爬虫，爬虫从此刻开始执行爬虫任务，根据以上配置 */ controller.start(MyCraeler.class, numberOfCrawlers); } }

直接运行main方法，你的第一个爬虫程序就完成了，非常容易上手。

那接下来我们说一下程序的应用，我需要抓取中国知网上2016-2017两年的中国专利数据。

那么说一下这个应用的几个难点。

1.知网的接口使用asp.net做的，每次请求接口都要传当前的cookies，接口不直接返回数据，而是返回HTML界面

2.数据量过于庞大，而且需要爬取的是动态资源数据，需要输入条件检索之后，才能有数据

3.数据检索是内部用js进行跳转，直接访问链接没有数据出来

4.这个是最难的，知网做了反爬虫设置，当点击了15次下一页之后，网页提示输入验证码，才能继续下一页的操作

那接下来就根据以上的难点来一步一步的想解决方案吧。

首先就是数据检索是内部用js进行跳转，直接访问链接没有数据出来，这就表示上面的crawler4j没有用了，因为他是直接访问连接去拿html代码然后解析拿数据的。然后我再网上查了一下资料，发现Java有一个HtmlUtil。他相当于一个Java的浏览器，这简直是一个神器啊，访问到网页之后还能对返回来的网页进行操作，我用个工具类来创建它

 <!-- 获取js动态生成之后的html -->
        <dependency>
            <groupId>net.sourceforge.htmlunit</groupId>
            <artifactId>htmlunit</artifactId>
            <version>2.29</version>
        </dependency>

package com.chf.Utils;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlPage; import java.io.IOException; import java.net.MalformedURLException; /** * @author:chf * @description:模拟浏览器执行各种操作 * @date:2019/3/20 **/ public class HtmlUtil { /* * 启动JS */ public static WebClient iniParam_Js() { final WebClient webClient = new WebClient(BrowserVersion.CHROME); // 启动JS webClient.getOptions().setJavaScriptEnabled(true); //将ajax解析设为可用 webClient.getOptions().setActiveXNative(true); //设置Ajax的解析器 webClient.setAjaxController(new NicelyResynchronizingAjaxController()); // 禁止CSS webClient.getOptions().setCssEnabled(false); // 启动客户端重定向 webClient.getOptions().setRedirectEnabled(true); // JS遇到问题时，不抛出异常 webClient.getOptions().setThrowExceptionOnScriptError(false); // 设置超时 webClient.getOptions().setTimeout(10000); //禁止下载照片 webClient.getOptions().setDownloadImages(false); return webClient; } /* * 禁止JS */ public static WebClient iniParam_NoJs() { final WebClient webClient = new WebClient(BrowserVersion.CHROME); // 禁止JS webClient.getOptions().setJavaScriptEnabled(false); // 禁止CSS webClient.getOptions().setCssEnabled(false); // 将返回错误状态码错误设置为false webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); // 启动客户端重定向 webClient.getOptions().setRedirectEnabled(true); // 设置超时 webClient.getOptions().setTimeout(5000); //禁止下载照片 webClient.getOptions().setDownloadImages(false); return webClient; } /** * 根据url获取页面，这里需要加载JS * @param url * @return 网页 * @throws FailingHttpStatusCodeException * @throws MalformedURLException * @throws IOException */ public static HtmlPage getPage_Js(String url) throws FailingHttpStatusCodeException, MalformedURLException, IOException{ final WebClient webClient = iniParam_Js(); HtmlPage page = webClient.getPage(url); //webClient.waitForBackgroundJavaScriptStartingBefore(5000); return page; } /** * 根据url获取页面，这里不加载JS * @param url * @return 网页 * @throws FailingHttpStatusCodeException * @throws MalformedURLException * @throws IOException */ public static HtmlPage getPage_NoJs(String url) throws FailingHttpStatusCodeException, MalformedURLException, IOException { final WebClient webClient = iniParam_NoJs(); HtmlPage page = webClient.getPage(url); return page; } }

有了这个HtmlUtil，基本已经解决了大部分问题，我这里的操作逻辑是先用HtmlUtil访问知网，然后用定位器找到条件，输入搜索条件，然后点击检索按钮，用Java程序模拟人在浏览器的操作。

 //获取客户端，禁止JS
        WebClient webClient = HtmlUtil.iniParam_Js();
        //获取搜索页面，搜索页面包含多个学者，机构通常是非完全匹配，姓名是完全匹配的，我们需要对所有的学者进行匹配操作
        HtmlPage page = webClient.getPage(orgUrl);

        // 根据名字得到一个表单，查看上面这个网页的源代码可以发现表单的名字叫“f”
        final HtmlForm form = page.getFormByName("Form1"); // 同样道理，获取”检 索“这个按钮 final HtmlButtonInput button = form.getInputByValue("检 索"); // 得到搜索框 final HtmlTextInput from = form.getInputByName("publishdate_from"); final HtmlTextInput to = form.getInputByName("publishdate_to"); //设置搜索框的value from.setValueAttribute("2016-01-01"); to.setValueAttribute("2016-12-31"); // 设置好之后，模拟点击按钮行为。 final HtmlPage nextPage = button.click(); HtmlAnchor date=nextPage.getAnchorByText("申请日"); final HtmlPage secondPage = date.click(); HtmlAnchor numNow=secondPage.getAnchorByText("50"); final HtmlPage thirdPage = numNow.click();

上述代码的thirdPage就是最终有数据的html页面。

那下面就是爬虫最关键的一个地方，解析爬下来的html代码，分析html代码的话，我就不在这里分析，html基础不好的朋友可以去w3cshool补一下，我这里直接说HtmlUtil定位html元素的的方法吧。上面的代码可以看到HtmlUtil可以通过value，text，id，name定位元素，如果上面这些都定位不了元素的话，那就使用Xpath来定位。

  //解析知网原网页，获取列表的所有链接
        List<HtmlAnchor> anchorList=thirdPage.getByXPath("//table[@class='GridTableContent']/tbody/tr/td/a[@class='fz14']");

那拿到列表数据之后呢，我就用HtmlUtil一个个点击进去，进去专利的详情页。

这里面的专利名，申请日期，申请人和地址就是我要爬的数据，因为详情页的html比较复杂，我使用了Java一个比较好用的html解析器jsoup

<!-- jsoup的支持 -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.7.3</version>
        </dependency>

private static PatentDoc analyzeDetailPage(String detailPage) { PatentDoc pc=new PatentDoc(); Document doc = Jsoup.parse(detailPage); Element title=doc.select("td[style=font-size:18px;font-weight:bold;text-align:center;]").first(); Elements table=doc.select("table[id=box]>tbody>tr>td"); for (Element td:table) { if (td.attr("width").equals("471") && td.attr("bgcolor").equals("#FFFFFF") && td.attr("class").equals("checkItem")){ String patentNo=td.text().replace("&nbsp;",""); pc.setPatentNo(patentNo); } if (td.attr("width").equals("294") && td.attr("bgcolor").equals("#FFFFFF")){ String patentDate=td.text().replace("&nbsp;",""); pc.setPatentDate(patentDate); } if (td.attr("bgcolor").equals("#FFFFFF") && td.attr("class").equals("checkItem")){ String patentPerson=td.text().replace("&nbsp;",""); pc.setPatentPerson(patentPerson); } if (td.attr("bgcolor").equals("#f8f0d2") && td.text().equals(" 【地址】")){ int index=table.indexOf(td); String patentAdress=table.get(index+1).text().replace("&nbsp;",""); pc.setPatentAdress(patentAdress); break; } } pc.setPatentName(title.text()); return pc; }

解析完之后呢，将数据封装到对象里，然后将对象存在一个List里，全部数据解析完之后，就把数据导出的csv文件中。

String path = "C://exportParent";
        String fileName = "导出专利";
        String fileds[] = new String[] { "patentName", "patentPerson","patentDate", "patentNo","patentAdress"};// 设置列英文名（也就是实体类里面对应的列名） CSVUtils.createCSVFile(resultList, fileds, map, path,fileName); resultList.clear();

这样爬虫程序就基本写好了，运行一下发现效率太慢了，爬一页列表的数据加导出，花了1分多钟，然后我优化了一下程序，将解析和导出业务逻辑开一条线程来做，主线程负责操作HtmlUtil和返回Html。

//建立线程池管理线程
ExecutorService fixedThreadPool = Executors.newFixedThreadPool(3);
//利用线程池开启线程解析首页的数据
fixedThreadPool.execute(new AnalyzedTask(lastOnePage,18));

package com.chf.enilty;

import com.chf.Utils.CSVUtils;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.util.ArrayList; import java.util.LinkedHashMap; import java.util.List; /** * @author:chf * @description: 解析详情并导出出的线程 * @date:2019/3/20 **/ public class AnalyzedTask implements Runnable{ //建立返回结果对象集 List<PatentDoc> resultList=new ArrayList<>(); private HtmlPage lastOnePage =null; private int curPage=0; public AnalyzedTask(HtmlPage lastOnePage,int curPage) { this.lastOnePage = lastOnePage; this.curPage=curPage; } @Override public void run() { /** 获取当前系统时间*/ long startTime = System.currentTimeMillis(); System.out.println("线程开始第"+curPage+"页的解析数据。"); //解析首页的数据 try { startAnalyzed(lastOnePage); } catch (Exception e) { e.printStackTrace(); } System.out.println("第"+curPage+"页数据解析完成。耗时："+((System.currentTimeMillis()-startTime)/1000)+"s"); } //开始解析列表数据 private void startAnalyzed(HtmlPage thirdPage) throws Exception { //解析知网原网页，获取列表的所有链接 List<HtmlAnchor> anchorList=thirdPage.getByXPath("//table[@class='GridTableContent']/tbody/tr/td/a[@class='fz14']"); //遍历点击链接，抓取数据 for (HtmlAnchor anchor:anchorList) { HtmlPage detailPage = anchor.click(); PatentDoc pc=analyzeDetailPage(detailPage.asXml()); resultList.add(pc); } LinkedHashMap map = new LinkedHashMap(); map.put("1", "专利名"); map.put("2", "申请人"); map.put("3", "申请日期"); map.put("4", "申请号"); map.put("5", "申请地址"); String path = "C://exportParent"; String fileName = "导出专利"; String fileds[] = new String[] { "patentName", "patentPerson","patentDate", "patentNo","patentAdress"};// 设置列英文名（也就是实体类里面对应的列名） CSVUtils.createCSVFile(resultList, fileds, map, path,fileName); resultList.clear(); } private PatentDoc analyzeDetailPage(String detailPage) { PatentDoc pc=new PatentDoc(); Document doc = Jsoup.parse(detailPage); Element title=doc.select("td[style=font-size:18px;font-weight:bold;text-align:center;]").first(); Elements table=doc.select("table[id=box]>tbody>tr>td"); for (Element td:table) { if (td.attr("width").equals("471") && td.attr("bgcolor").equals("#FFFFFF") && td.attr("class").equals("checkItem")){ String patentNo=td.text().replace("&nbsp;",""); pc.setPatentNo(patentNo); } if (td.attr("width").equals("294") && td.attr("bgcolor").equals("#FFFFFF")){ String patentDate=td.text().replace("&nbsp;",""); pc.setPatentDate(patentDate); } if (td.attr("bgcolor").equals("#FFFFFF") && td.attr("class").equals("checkItem")){ String patentPerson=td.text().replace("&nbsp;",""); pc.setPatentPerson(patentPerson); } if (td.attr("bgcolor").equals("#f8f0d2") && td.text().equals(" 【地址】")){ int index=table.indexOf(td); String patentAdress=table.get(index+1).text().replace("&nbsp;",""); pc.setPatentAdress(patentAdress); break; } } pc.setPatentName(title.text()); return pc; } }