是时候给你说说
爬虫框架了
使用框架来爬取数据
会节省我们更多时间
很快就能抓取到我们想要抓取的内容
框架集合了许多操作
比如请求，数据解析，存储等等
都可以由框架完成
有些小伙伴就要问了
你他妈的
为什么不早点说呢？
是这样的
当你不知道 1+1 是什么的时候
你去使用计算器来计算
也是没用的
对吧
所以框架的使用
在现在这个时候（爬虫28篇之后）讲
就是一个不错的时机
今天
小帅b就跟你说说
scrapy这个框架
到底有多牛b
那么
接下来就是
要使用 scrapy
首先当然你得需要有啊
你可以使用 conda 安装
conda install -c conda-forge scrapy
你也可以使用 PyPI 安装
pip install Scrapy
scrapy依赖一些相关的库
lxmlparselw3libtwistedcryptography and pyOpenSSL
如果你在使用 scrapy 的时候发现相关库缺失
把裤子穿上就是了
哦不是
把你缺失的库安装上就完事了
好了
现在假设你已经安装好了 scrapy 这个框架
那么接下来
小帅b会带你使用它来爬取一下 糗事百科 的段子
主要让你知道 scrapy 的使用以及体验它的牛逼之处
废话不多说
在你想要存放的爬虫文件目录下
使用命令来创建一个 scrapy 爬虫项目
比如在这里
我们要创建一个 qiushibaike 的爬虫项目
就可以这样
scrapy startproject qiushibaike
这时候你就会发现
scrapy帮你自动生成了项目文件
在这里面有一些配置文件和预定义的设置文件
而我们的爬虫代码
可以在 spiders 目录下创建
在这里我们就创建一个 qiushibaike_spider 吧
要使用 scrapy 爬虫
我们就需要继承 scrapy.Spider 这个类
这样我们才能使用它定义的一些方法
class QiushiSpider(scrapy.Spider):
接着我们要定义一个爬虫的名称
这里定义一个唯一的名称
用来标识糗事的爬虫
在项目中不能和别的爬虫名称一样
等会会用到这个名称
name = "qiushibaike"
接着我们就可以来定义我们的请求了
比如我们要爬糗事百科的段子的第一和第二页
所以我们可以这样定义请求链接
def start_requests(self):urls = ['https://www.qiushibaike.com/text/page/1/','https://www.qiushibaike.com/text/page/2/',]for url in urls:yield scrapy.Request(url=url, callback=self.parse)
我们在这个方法 start_requests 需要返回一个 yield 生成的迭代
而其中的参数 callback=self.parse 就是要让它去回调我们的数据解析方法
回调方法是这样的
def parse(self, response):page = response.url.split("/")[-2]filename = 'qiushi-%s.html' % pagewith open(filename, 'wb') as f:f.write(response.body)self.log('Saved file %s' % filename)
主要是把我们抓取下来的 html 存入到本地文件
我们来使用 scrapy 运行一下这个爬虫
使用如下命令即可
cd qiushibaike/scrapy crawl qiushibaike
scrapy crawl qiushibaike 中的 qiushibaike 就是我们刚刚定义的名称
不过这个时候运行后你会发现报错了
这是因为你懂得
糗事做了反爬
我们定义一个 header 吧
haders = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/73.0.3683.86 Chrome/73.0.3683.86 Safari/537.36'}def start_requests(self):urls = ['https://www.qiushibaike.com/text/page/12/','https://www.qiushibaike.com/text/page/2/',]for url in urls:yield scrapy.Request(url=url, callback=self.parse, headers=self.haders)
再次运行命令
scrapy crawl qiushibaike
这次可以发现
源代码被我们爬取下来了
是不是很方便咧
接下来我们再来解析关键数据
比如我们只需要段子的作者和段子的内容
scrapy 也内置了 css、xpath 选择器的解析了
而且
scrapy 还内置了很多好用的命令
我们可以使用 scrapy shell 来请求我们的网页
scrapy shell /home/wistbean/PycharmProjects/spider/qiushibaike/qiushi-1.html
shell 后面可以是你爬下来的 HTML 文件
也可以是你一个链接
进去之后是这样的
我们可以在这里面做一些命令操作了
比如我们在这里坐一下解析操作
打开我们刚刚要爬的糗事百科的链接
可以看到
每个段子都被包含在一个 id 为 content-left 的 div 里面
我们使用如下命令获取
>>> content_left_div = response.xpath('//*[@id="content-left"]')
接着我们获取它下面的所有 div
>>> content_list_div = content_left_div.xpath('./div')
我们试着获取这个页面的所有作者名称和内容
作者名称位于 a 标签下的 h2
内容位于div下的span
我们还是一样
通过 xpath 获取
我们先来获取一个条目看看
content_div = content_list_div[0]
获取作者名称
>>> author = content_div.xpath('./div/a[2]/h2/text()').get()>>> print(author)街角*
获取段子内容
>>> content = content_div.xpath('./a/div/span/text()').getall()>>> print(content)['\n\n\n刚上小学一年级时，一次肚子有点不舒服拉肚子，跑到厕所后运动裤上面的绳子竟然打了死结，在厕所里面如无头苍蝇一样乱转。', '这时看到老师在旁边上蹲坑，也不顾难为情了'此时老师蹲在蹲坑躲闪不及，浑身上下星星点点，屎喷了满脸如同长满麻子般！', '又是开心的一天，没有拉裤子！\n\n']>>>
这样
我们就通过命令行的方式可以知道如何获取我们想要的数据了
回到代码来
我们把 parse 方法改成这样
def parse(self, response):content_left_div = response.xpath('//*[@id="content-left"]')content_list_div = content_left_div.xpath('./div')for content_div in content_list_div:yield {'author': content_div.xpath('./div/a[2]/h2/text()').get(),'content': content_div.xpath('./a/div/span/text()').getall(),}
然后再使用命令行运行
scrapy crawl qiushibaike
可以看到我们要的信息被打印出来了
那么
要将爬下来的数据存储为 json 文件怎么办呢
一个命令就搞定了
scrapy crawl qiushibaike -o qiushibaike.json
运行之后你会看到你的项目下多了一个 json 文件
不过中文乱码了
在 settings.py 中加一句
FEED_EXPORT_ENCODING = 'utf-8'
我们在运行一下
中文回来了
什么？
你想实现翻页抓取所有内容？
还想保存到数据库里？
好吧
篇幅有限
今天就到这里
且听帅b下回讲解
peace
来源：oschina
链接：https://my.oschina.net/u/4314166/blog/3545588