一、rabbitmq

1.1 简介

RabbitMQ（Rabbit Message Queue）是流行的开源消息队列系统，用erlang语言开发。

1.1.1 关键词说明

Broker：消息队列服务器实体。
Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。
Queue：消息队列载体，每个消息都会被投入到一个或多个队列。
Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。
Routing Key：路由关键字，exchange根据这个关键字进行消息投递。
vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。
producer：消息生产者，就是投递消息的程序。
consumer：消息消费者，就是接受消息的程序。
channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。

1.1.2 消息队列运行机制

（1）客户端连接到消息队列服务器，打开一个channel。
（2）客户端声明一个exchange，并设置相关属性。
（3）客户端声明一个queue，并设置相关属性。
（4）客户端使用routing key，在exchange和queue之间建立好绑定关系。
（5）客户端投递消息到exchange。

（6）exchange接收到消息后，就根据消息的key和已经设置的binding，将消息投递到一个或多个队列里。

注：在声明一个队列后，如果将其持久化，则下次不需要进行声明，因为该队列已经在rabbitMQ中了！！！

例如下面的例子中都为首次声明一个队列！！！

1.1.3 exchange类型

1.Direct交换机

特点：依据key进行投递

例如绑定时设置了routing key为”hello”，那么客户端提交的消息，只有设置了key为”hello”的才会投递到队列。

2.Topic交换机

特点：对key模式匹配后进行投递，符号”#”匹配一个或多个词，符号”*”匹配一个词

例如”abc.#”匹配”abc.def.ghi”，”abc.*”只匹配”abc.def”。

3.Fanout交换机

特点：不需要key，采取广播模式，一个消息进来时，投递到与该交换机绑定的所有队列

1.2 构建环境

1.2.1 windows下安装rabbitmq

http://jingyan.baidu.com/article/a17d5285173ce68098c8f2e5.html

1.2.2 安装pika模块

python使用rabbitmq服务，可以使用现成的类库pika、txAMQP或者py-amqplib，这里选择了pika。

在命令行中直接使用pip命令：
pip install pika

1.3 示例测试

实例的内容就是从send.py发送消息到rabbitmq，receive.py从rabbitmq接收send.py发送的信息。

P表示produce，生产者的意思，也可以称为发送者，实例中表现为send.py；

C表示consumer，消费者的意思，也可以称为接收者，实例中表现为receive.py；

中间红色的表示队列的意思，实例中表现为hello队列。

1.3.1 send.py

import pika
import random

# 新建连接，rabbitmq安装在本地则hostname为'localhost'
hostname = '192.168.1.133'
parameters = pika.ConnectionParameters(hostname)
connection = pika.BlockingConnection(parameters)

# 创建通道
channel = connection.channel()
# 声明一个队列，生产者和消费者都要声明一个相同的队列，用来防止万一某一方挂了，另一方能正常运行
channel.queue_declare(queue='hello')

number = random.randint(1, 1000)
body = 'hello world:%s' % number
# 交换机; 队列名,写明将消息发往哪个队列; 消息内容
# routing_key在使用匿名交换机的时候才需要指定，表示发送到哪个队列
channel.basic_publish(exchange='', routing_key='hello', body=body)
print " [x] Sent %s" % body
connection.close()

1.3.2 receive.py

import pika

hostname = '192.168.1.133'
parameters = pika.ConnectionParameters(hostname)
connection = pika.BlockingConnection(parameters)

# 创建通道
channel = connection.channel()
channel.queue_declare(queue='hello')


def callback(ch, method, properties, body):
    print " [x] Received %r" % (body,)

# 告诉rabbitmq使用callback来接收信息
channel.basic_consume(callback, queue='hello', no_ack=True)

# 开始接收信息，并进入阻塞状态，队列里有信息才会调用callback进行处理,按ctrl+c退出
print ' [*] Waiting for messages. To exit press CTRL+C'
channel.start_consuming()
我们先运行send.py发送消息：

我们先运行send.py发送消息：

再运行receive.py接收消息：

1.4 rabbitmq的实现原理

https://www.cnblogs.com/wangyong123/articles/11658477.html

二、redis

Python内置了一个好用的队列结构。我们也可以是用redis实现类似的操作。并做一个简单的异步任务。

Redis提供了两种方式来作消息队列。一个是使用生产者消费模式模式，另外一个方法就是发布订阅者模式。前者会让一个或者多个客户端监听消息队列，一旦消息到达，消费者马上消费，谁先抢到算谁的，如果队列里没有消息，则消费者继续监听。后者也是一个或多个客户端订阅消息频道，只要发布者发布消息，所有订阅者都能收到消息，订阅者都是平等的。

2.1 生产消费模型

主要使用了redis提供的blpop获取队列数据，如果队列没有数据则阻塞等待，也就是监听。
 
import redis
 
class Task(object):
    def __init__(self):
        self.rcon = redis.StrictRedis(host='localhost', db=5)
        self.queue = 'task:prodcons:queue'
 
    def listen_task(self):
        while True:
            task = self.rcon.blpop(self.queue, 0)[1]
            print "Task get", task
 
if __name__ == '__main__':
    print 'listen task queue'
    Task().listen_task()
 
使用redis的brpop方式做队列，经过一段时间，会发现程序莫名其妙的卡主。也就是进程一切ok，redis的lpush也正常，唯独brpop不再消费。该问题十分不好复现，但是总是过了一段时间就会重现。本人采用了高并发，高延迟，弱网络环境等方式试图复现都没有成功，目前仍然在寻找解决方案。目测依赖redis做brokers的队列的celery也遇到同样的问题，并且其他语言也有类似问题，但是作者的解决方不适用。猜测问题的原因是redis在处理brpop的时候连接长时间不适用会自动假死。后来采用比较low的方案，每当凌晨3点左右重启一下队列服务。目前设置了更短的idle连接时间（config set timeout 10），再观察一下是否能复现。
不建议在生成环境使用该方案。如果使用类似方案也遇到了问题，并且有了解决方案，希望您能联系我哈哈哈。
升级了 redis 3.2 版本之后，运行了一个多月，目前没有再出现卡住的问题。

2.2 发布订阅模式

https://www.cnblogs.com/wangyong123/articles/11638181.html

三、rabbitmq与redis的区别

3.1 可靠性

redis ：没有相应的机制保证消息的可靠消费，如果发布者发布一条消息，而没有对应的订阅者的话，这条消息将丢失，不会存在内存中；
rabbitmq：具有消息消费确认机制，如果发布一条消息，还没有消费者消费该队列，那么这条消息将一直存放在队列中，直到有消费者消费了该条消息，以此可以保证消息的可靠消费；