scrapyd使用教程

1. 安装服务器：

pip install scrapyd

启动： scrapyd

访问：127.0.0.1:6800

 

2. 安装客户端

pip install scrapyd-client

3. 进入爬虫项目根目录：找到

scrapy.cfg 文件 修改如下

[settings]
default = blog.settings

[deploy:zwb]
url = http://localhost:6800/
project = blog

4. 发布项目

scrapyd-deploy target -p prject

这里target 为你的服务器命令，prject是你项目的名字，发布项目之前我们的scrapyd.cfg必须修改，上面我们已经修改过了，

因此我的命令是：scrapyd-deploy zwb -p blog

scrapyd-deploy <target> -p <project> --version <version>

4.2 启动爬虫

curl http://localhost:6800/schedule.json -d project=blog -d spider=demo

4.3 停止爬虫

curl http://localhost:6800/cancel.json -d project=blog -d job=demo

blog：你爬虫项目的名字，demo：你爬虫的名字

 

 

参考文档：https://www.jianshu.com/p/f0077adb74bb

https://www.jianshu.com/p/f815f91949f2

 

来源：oschina

链接：https://my.oschina.net/u/4350851/blog/3443249