【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 
Scrapy框架，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
刚开始学习这个框架。不太好评论。只是感觉这个框架有些Java的感觉，需要太多的其他模块的支持。
（一）创建 scrapy 项目
# 使用 scrapy startproject scrapy_test
├── scrapy_test
│ ├── scrapy.cfg
│ └── scrapy_test
│ ├── __init__.py
│ ├── items.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ ├── __init__.py
# 进行创建 scrapy 项目（二）说明
scrapy.cfg: 项目配置文件
items.py: 需要提取的数据结构定义文件
pipelines.py:管道定义，用来对items里面提取的数据做进一步处理，如保存等
settings.py: 爬虫配置文件
spiders: 放置spider的目录（三）依赖包
依赖包比较麻烦。
# python-dev 包的安装
apt-get install python-dev
# twisted, w3lib, six, queuelib, cssselect， libxslt
pip install w3lib
pip install twisted
pip install lxml
apt-get install libxml2-dev libxslt-dev
apt-get install python-lxml
pip install cssselect
pip install pyOpenSSL
sudo pip install service_identity
# 安装好之后，便可使用 scrapy startproject test 进行创建项目（四）抓取实例。（原文地址： http://blog.csdn.net/HanTangSongMing/article/details/24454453 ）
Git： https://github.com/maxliaops/scrapy-itzhaopin
（1）创建scrapy项目
dizzy@dizzy-pc:~/Python/spit$ scrapy startproject itzhaopin
New Scrapy project 'itzhaopin' created in:
/home/dizzy/Python/spit/itzhaopin
You can start your first spider with:
cd itzhaopin
scrapy genspider example example.com
dizzy@dizzy-pc:~/Python/spit$
dizzy@dizzy-pc:~/Python/spit$ cd itzhaopin
dizzy@dizzy-pc:~/Python/spit/itzhaopin$ tree
.
├── itzhaopin
│ ├── __init__.py
│ ├── items.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ └── __init__.py
└── scrapy.cfg
# scrapy.cfg: 项http://my.oschina.net/lpe234/admin/new-blog目配置文件
# items.py: 需要提取的数据结构定义文件
# pipelines.py:管道定义，用来对items里面提取的数据做进一步处理，如保存等
# settings.py: 爬虫配置文件
# spiders: 放置spider的目录（2）定义要抓取的数据结构 items.py
from scrapy.item import Item, Field
# 定义我们要抓取的数据
class TencentItem(Item):
name = Field() # 职位名称
catalog = Field() # 职位类别
workLocation = Field() # 工作地点
recruitNumber = Field() # 招聘人数
detailLink = Field() # 职位详情链接
publishTime = Field() # 发布时间(3)实现Spider类
Spider是继承自 scarpy.contrib.spiders.CrawlSpider 的Python类，有3个必须定义的成员。
name : 名称，spider的标识。
start_urls : 一个url列表，spider从这些网页开始抓取
parse() : 一个方法。当start_urls里面的网页抓取下来之后需要调用这个方法来解析网页内容，同时需要返回下一个需要抓取的网页，或者返回items列表。
在spiders目录下面新建一个spider，tencent_spider.py ：
#coding=utf-8
from scrapy.spider import BaseSpider
class DmozSpider(BaseSpider):
name = 'dmoz'
allowed_domains = ['dmoz.org']
start_urls = [
'http://www.dmoz.org/Computers/Programming/Languages/Python/Books/',
'http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/'
]
def parse(self, response):
filename = response.url.split('/')[-2]
open(filename, 'wb').write(response.info)这个简单一些。 使用
scrapy crawl dmoz # 即可运行spider闲来无事看Q空间，无意中又看到一大学同学。唉，好生佩服之感。
之前自己一直吵着要去黄山要去西藏，结果哪都没去。
前几天看到那个同学的Ｑ空间状态，大约是江南某地。没太在意，然后看到踪迹又向南偏移，刚才看到到云南那边了。看评论说，真准备进藏。不禁感到惭愧。遂做此语！以明吾心！甚是惭愧，已致徒生敬意。
－－ ２０１４年０８月２０日０１：５８：２７
来源：oschina
链接：https://my.oschina.net/u/1170156/blog/304566