pyspider + RabbitMQ 使用记
首先我们需要安装 RabbitMQ,然后通过服务启动它,默认为注册到本机的5672端口。我们的爬虫和数据库写入脚本都需要连接到 RabbitMQ,一边往队列中写入数据,另一边从队列中取出数据,然后插入到数据。 Python 中使用 RabbitMQ 可以通过调用 pika 这个库,安装过程见 官方文档 ,对于 RabbitMQ 本身也有 中文教程 。 本项目用到的模型是一对一的,用 pika 写很容易,代码如下: import pika # 导入库 connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) # 设置一个新连接,连接到本地的 RabbitMQ 服务端。 channel = connection.channel() # 注册到 books 队列 channel.queue_declare(queue='books') channel.basic_publish(exchange='', routing_key='books', body='Whats up') # 发送消息 body connection.close() # 在 basic_publish 这个函数中,我们设置 exchange 为空,而 routing-key 为 books,此时 basic