用之前所学的知识简单爬取了一个小说网站

这一次是这个网站

经过简单的爬取，前面步骤省略

可以得到这么个玩意

以及我想要的链接

首先导入re库

import re

再然后运用find_all()函数来寻找div标签下面的di_=list的内容

提取内容

那我们就可以以这里为开头，进行匹配

那在哪儿结束呢，这就涉及到了网页开发的知识了，

会有成对的字节，有a，那一定有/a，那也就是说有div，那一定有/div，

.*?呢，它表明了只要是以开头，以</div>结尾的字段，我都要。

注意每个网站的有可能不一样，不一定是div，其他的也行，html就是我们要匹配的对象

re.S(注意是大S)是说所有的符号都要匹配，默认换行等不匹配

[0]因为匹配到最后的是列表，要把它提取出来，如果匹配出来的有多个，

那也可以用这个去筛选，他在列表第一个就用[0]，第二个就用[1]，

一般来说不会出现这种情况，如果有，说明你用来匹配的字段不是唯一的

筛选到这里还是不行，它里面还有一些奇怪的字符

所以还要进行筛选

(.*?) 这是什么，返向捕获，返回捕获的内容，把我们想要的url和章节名称捕获就好了

再把url的内容下载下来就好了，在这之前我们还要再爬一个东西，

我们的小说名字，还是用我们的正则表达式

匹配字段一般来说是在head头里面

接下来开始循环获取章节名和链接

再加上前缀域名就ok了

来源：https://www.cnblogs.com/oldfish123/p/11963232.html

标签