Scrapy爬取银行理财产品信息(共12多万条)并存入MongoDB
本次Scrapy爬虫的目标是爬取“融360”网站上所有银行理财产品的信息,并存入MongoDB中。网页的截图如下,全部数据共12多万条。 我们不再过多介绍Scrapy的创建和运行,只给出相关的代码。关于Scrapy的创建和运行 修改items.py,代码如下,用来储存每个理财产品的相关信息,如产品名称,发行银行等。 创建爬虫文件bankSpider.py,代码如下,用来爬取网页中理财产品的具体信息。 为了将爬取的数据储存到MongoDB中,我们需要修改pipelines.py文件,代码如下: 其中的MongoDB的相关参数,如MONGO_HOST, MONGO_PORT在settings.py中设置。修改settings.py如下: ROBOTSTXT_OBEY = False ITEM_PIPELINES = {'bank.pipelines.BankPipeline': 300} 添加MongoDB连接参数 MONGO_HOST ="localhost"# 主机 IPMONGO_PORT =27017# 端口号 MONGO_USER = ""# MONGO_PSW = "" 其中用户名和密码可以根据需要添加。 共用时3小时,爬了12多万条数据,效率之高令人惊叹! 文章来源: https://blog.csdn.net/fei347795790/article/details