python3.7安装pyspider

文章目录

• 1.安装wheel
• 2.安装pycurl
• 3.安装pyspider
• 4.安装wsgidav
• 5.pyspider all
• 6.安装PhantomJS
• 7.访问：http://127.0.0.1:5000/

1.安装wheel

pip install wheel

2.安装pycurl

下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/

pip install pycurl
pip install D:\pycurl-7.43.0.3-cp37-cp37m-win_amd64.whl

3.安装pyspider

pip install pyspider

4.安装wsgidav

pip install wsgidav

5.pyspider all

pyspider all

• 问题1：因为 async 和 await 从 python3.7 开始已经加入保留关键字中。所以async不能作为函数的参数名。
  
  修复：async 全部替换为：async1

D:\ProgramData\Anaconda3\Lib\site-packages\pyspider
run.py
fetcher\tornado_fetcher.py
webui\app.py

• 问题2：因为 WsgiDAV 发布了版本 pre-release 3.x
  
  解决：

D:\ProgramData\Anaconda3\Lib\site-packages\pyspider\webui
209行：‘domaincontroller’: NeedAuthController(app),
修改为：
‘http_authenticator’:{
‘HTTPAuthenticator’:NeedAuthController(app),
},

6.安装PhantomJS

下载：https://phantomjs.org/download.html

解压之后，把 移动到：D:\ProgramData\Anaconda3\Scripts 目录下

7.访问：http://127.0.0.1:5000/

来源：CSDN

作者：@TangXin

链接：https://blog.csdn.net/Happy_Sunshine_Boy/article/details/103668977