爬虫基础——scrapy基本使用
scrapy支持 Python2.7 和 python3.4 以上版本。 python包可以用全局安装(也称为系统范围),也可以安装咋用户空间中。 Windows 1.在 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的版本文件 2. 在命令行进入到Twisted的目录 执行pip install 加Twisted文件名 3.执行pip install scrapy Ubuntu 14.04或以上 安装 scrapy目前正在使用最新版的lxml,twisted和pyOpenSSL进行测试,并且与最近的Ubuntu发行版兼容。但它也支持旧版本的Ubuntu,比如Ubuntu14.04,尽管可能存在TLS连接问题。 Ubuntu安装注意事项 不要使用 python-scrapyUbuntu提供的软件包,它们通常太旧而且速度慢,无法赶上最新的Scrapy。 要在Ubuntu(或基于Ubuntu)系统上安装scrapy,您需要安装这些依赖项: sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev 如果你想在python3上安装scrapy,你还需要Python3的开发头文件: