使用webmagic爬取小说

private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
public void process(Page page) {
System.err.println(page.getUrl());
if(!page.getUrl().regex("http://www.biquge.com.tw/16_16263/[0-9]{7}.html").match()){

System.err.println("1"+page.getHtml().xpath("//*[@id=\"wrapper\"]/div/div/dl/dd/a/@href").all());
List<String> urls =page.getHtml().xpath("//*[@id=\"wrapper\"]/div/div/dl/dd/a/@href").all();
for(String url : urls){
url="http://www.biquge.com.tw"+url;
}







}


public Site getSite() {
return site;
}


public static void main(String[] args) {
//Spider.create(new testProcesser()).addUrl("https://www.cnblogs.com/").thread(5).run();
Spider.create(new testProcesser()).addUrl("http://www.biquge.com.tw/16_16263/").thread(5).run();
}

文章来源: 使用webmagic爬取小说