本文分为两个部分,前大半部分说的都是Windows下手动安装Scrapy,文末给初学编程的童鞋或者不想这么手工安装的童鞋推荐了Scrapy中文网,直接使用其推荐的Anaconda安装Scrapy即可啦!
自己动手,红红脸颊系列:
Scrapy依赖的库比较多,在安装之前,你需要确保以下库已经安装:wheel、lxml、pyOpenSSL、Twisted、pywin32,如果没有,先装完,再装Scrapy。
安装wheel
用途:
pip安装固然方便,但有时候会遇到安装失败的问题。wheel和egg都是打包的格式,支持不需要编译或制作的安装过程。wheel现在被认为是Python标准的二进制打包格式。
安装命令:
pip install wheel
注意:如果你是刚刚安装过python并且从没有安装过wheel,你可以直接运行上述命令。但如果你的pip版本不够新,你需要在执行install命令之前更新一下pip,在命令行中输入:python -m pip install --upgrade pip更新pip,再输入安装命令即可。
安装lxml
用途:
python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
安装命令:
pip install lxml
安装zope.interface
用途:
python本身不提供interface的实现,需要通过第三方扩展库来使用类似interface的功能,一般都是zope.interface。
注意:不安装zope.interface可能会出现pyOpenSSL安装失败。
安装步骤:
1、进入网址
[https://pypi.org/project/zope.interface/#files]:
下载最新版本.whl文件(cp后跟着的是对应的python版本号),我的python是3.7.2版本,因此下载zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
安装命令:
pip install zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
安装pyOpenSSL
用途:
让python支持SSL通信协议,简单来说就是加密解密等这系列操作。
安装步骤:
1、进入网址
[https://pypi.org/project/pyOpenSSL/#files]:
下载最新版本.whl文件,比如我下载的是pyOpenSSL-18.0.0-py2.py3-none-any.whl
2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
安装命令:
pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl
安装Twisted
用途:
此处摘自网络
[https://www.cnblogs.com/misswangxing/p/7712318.html]:
:Twisted是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样,Twisted也具有“内置电池”(batteries-included)的特点。Twisted对于其支持的所有协议都带有客户端和服务器实现,同时附带有基于命令行的工具,使得配置和部署产品级的Twisted应用变得非常方便。
安装步骤:
1、进入网址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted]:
下载最新版本.whl文件,比如我下载的是Twisted-18.9.0-cp37-cp37m-win_amd64.whl
2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
安装命令:
pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl
安装pywin32
用途:
python不自带访问Windows API的库,需要下载这个库做支持。
安装步骤:
1、进入网址(pywin32从Build 222开始把所有的下载放在了github上面,python3.7版本的就从这里下载)
[https://github.com/mhammond/pywin32/releases]:
2、下载pywin32-224.win-amd64-py3.7.exe
安装exe:
双击运行不需要解释,安心系咯。(我是没出现not found in the registry等等问题...咳咳...)
安装Scrapy
安装方式一:
你可以进入地址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#Scrapy]:
去下载Scrapy,然后用前面安装.whl文件的方式安装。
安装方式二:
命令:pip install scrapy
搞定收工!YOHO~
使用工具,快速解决系列:Anaconda
其实,你还可以登录Scrapy中文网,使用Anaconda进行安装,这个方式可能更适合初学编程的童鞋。地址如下:
[http://www.scrapyd.cn/doc/124.html]:
表打我... 咳咳...
验证安装是否成功
方法一:
命令行:pip list
列表中出现了Scrapy,安装成功。
方法二:
命令行:scrapy
正确执行命令,安装成功。
来源:oschina
链接:https://my.oschina.net/u/2427564/blog/3000594