robotstxt

用Scrapy爬取百度图片 前段时间用python的requests库和BeautifulSoup库爬取了猫眼电影关于柯南剧场版的6000条评论 这次我们来使用Scrapy框架来实现爬虫任务——百度“唯美图片”的爬取 整个项目的工程源码我已经上传到GitHub上了，感兴趣的同学可以自行下载，能顺便给我的项目一个star那再好不过了 项目地址:https://github.com/ITBoy-China/scrapy 先展示下我们爬取的结果 看着爬取下来的这一张一张的图，内心的满满的成就感有没有，哈哈，那接下来就跟着我一起来看看如何去实现图片的爬取吧。 一、准备工作 我们此次用到的工具有： python3.7.3 PyCharm5.0.3 Scrapy1.7.4 没有安装scrapy的直接在命令行里pip install scrapy安装scrapy框架，在windows环境下安装scrapy开始会报错，这是因为安装scrapy要安装其它的一些依赖库，lxml、pyOpenSSL、Twisted 、pywin32。 安装好这些库之后，再去安装scrapy就不会报错了。 安装完成之后我们在命令行里输入scrapy看是否安装成功，结果如下： 然后我们开始创建Scrapy项目，在命令行输入: scrapy startproject XXX 其中XXX表示的是你的项目名称

（1）、前言 动态页面：HTML文档中的部分是由客户端运行JS脚本生成的，即服务器生成部分HTML文档内容，其余的再由客户端生成 静态页面：整个HTML文档是在服务器端生成的，即服务器生成好了，再发送给我们客户端 这里我们可以观察一个典型的供我们练习爬虫技术的网站：quotes.toscrape.com/js/ 我们通过实验来进一步体验下：（这里我使用ubuntu16.0系统） 1、启动终端并激活虚拟环境：source course-python3.5-env/bin/activate 2、爬取页面并分析 1 (course-python3.5-env) bourne@bourne-vm:~$ scrapy shell http://quotes.toscrape.com/js/ 2 2018-05-21 22:50:18 [scrapy.utils.log] INFO: Scrapy 1.5 .0 started (bot: scrapybot) 3 2018-05-21 22:50:18 [scrapy.utils.log] INFO: Versions: lxml 4.2.1.0, libxml2 2.9.8, cssselect 1.0.3, parsel 1.4.0, w3lib 1.19.0, Twisted 18.4.0, Python 3.5.2 (default,