PyCharm和Scrapy写爬虫 (Windows环境配置)
大家学习Python的过程中,总会想要一个好用的IDE来帮助提升开发的效率。Python自带的IDLE不太适合,命令行模式对于工程结构不太友好,常用的IDE,如Eclipse(需要PyDev插件),还行。微软的VisualStudio自带Python以及各种框架,配置一下interpreter也可以,Sublime,Atom,Notepad++....反正有很多,你喜欢就可以选哪个。这里主要推荐的是JetBrains出品的PyCharm,它家还有著名的Java开发IDE intelliJ IDEA ,,说一下简单的用PyCharm写爬虫(简单的一个例子) Prerequisites: 1)安装好PyCharm 2) 下载scrapy PyCharm安装 :go to https://www.jetbrains.com/pycharm/?fromMenu , 下载社区版或是专业版(收费的,可以30天试用,推荐)。下载完后,直接打开安装(Python已经提前安装好了,安装时需要Python,类似于安装Eclipse时需要JDK一样) 下载Scrapy :用pip安装scrapy。为了不影响安装的Python,可以创建一个Python的虚拟环境,然后再下载scrapy 创建虚拟Python环境 :用pip先安装virtualenv这个工具: pip install virtualenv