Scrapy框架——命令行工具
Scrapy常用命令： 全局命令，不需要建项目也可执行： startproject settings runspider shell fetch view version 项目命令： crawl cheak list edit parse genspider deploy bench 下面一次介绍各命令功能： 1. startproject： 新建爬虫项目 语法： scrapy startproject <项目名> 2. genspider： 在项目中新建spider 语法： scrapy genspider [-t 模板] <爬虫名> <域名> 模板有四种 basic crawl csvfeed xmlfeed, 可用-d来预览生成的模板 D:\crawler\lagou\spider>scrapy genspider -d basic # -*- coding: utf-8 -*- import scrapy class $classname(scrapy.Spider): name = "$name" allowed_domains = ["$domain"] start_urls = ( 'http://www.$domain/', ) def parse(self, response): pass 3 . crawl: 运行爬虫 语法: scrapy crawl