今天我们爬取网页中的文字，与上次的爬取网页中的图片相似，网页的中的文字也是在网页的源码中（一般情况下）。
所以我们就以在某小说网站上爬取小说《圣墟》为例，使用爬虫爬取网页中的文本内容，并根据小说的章节名保存。
我们的思路如下：
1.爬取当前网页的源码：
2.提取出需要的数据（标题，正文）
3.保存（标题为文件名）
我们首先找到要爬取的网页：https://www.nbiquge.com/0_89/15314.html，可以看到小说的标题和正文，这是本次爬取的目标。
首先分析网页的编码格式，可以看到该网站的编码格式是”gbk“。
然后找到我们要爬取的信息在网页中的位置：
标题，在网页中右键点击标题，点击”检查“，就可以看到标题在网页中所处的位置。
正文：
在了解网站的编码和标题正文的位置后，我们就可以编写代码来进行爬取了！
首先获得网页源码，再对源码进行分析，提取所要获得的数据，最后保存为.txt文件。代码如下：
import requests
from bs4 import BeautifulSoup
#网页url
url="https://www.nbiquge.com/0_89/15314.html"
#获得网页源码
def getHtml(url):
r=requests.get(url)
r.encoding='gbk'
return r.text
#获得标题和正文内容
def getTxt(html):
s=BeautifulSoup(html)
title=s.find('div',{'class':'bookname'}).find('h1')
text=s.find('div',{'id':'content'})
ls=[]
ls.append(title.string)
ls.append(str(text))
return ls
#保存
def saveTxt(ls):
name=ls[0]+'.txt'
fo=open(name,'w+',encoding='utf8')
# ls[1] = ls[1].replace(" ", "")
ls[1] = ls[1].replace("<br/>", "")
fo.writelines(ls[1])
fo.close()
h1=getHtml(url)
h2=getTxt(h1)
saveTxt(h2)
在Pycharm中运行代码，该项目的文件夹中就会出现一个txt文件。
打开该txt文件，里面保存了小说的内容，其中标题为小说的章节名。
以上就是一个简单的爬取小说的代码了。这里还有其他的功能没有展现出，比如爬取小说的更多章节并保存，如果是在起点中文网上该怎么操作（起点的网页源码没有文章内容），这就需要我们进一步进行探索了。网页的爬取是需要我们根据网页的结构进行分析，然后编写相应的代码进行爬取的，在这个过程中会遇到很多的预料不到的情况，需要我们根据所学内容以及自己的查阅来解决问题。