1. 技术文章
  2. RabbitMQ安装与原理详解

RabbitMQ安装与原理详解

由 人走茶凉 提交于 2020-01-18 02:40:32

文章目录

一、概述

1. 什么是消息队列

消息（Message）是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。

消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取，消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。

2. 为什么要使用消息队列

从上面的描述中可以看出消息队列是一种应用间的异步协作机制，那什么时候需要使用 MQ 呢？

以常见的订单系统为例，用户点击【下单】按钮之后的业务逻辑可能包括：扣减库存、生成相应单据、发红包、发短信通知。在业务发展初期这些逻辑可能放在一起同步执行，随着业务的发展订单量增长，需要提升系统服务的性能，这时可以将一些不需要立即生效的操作拆分出来异步执行，比如发放红包、发短信通知等。这种场景下就可以用 MQ ，在下单的主流程（比如扣减库存、生成相应单据）完成之后发送一条消息到 MQ 让主流程快速完结，而由另外的单独线程拉取MQ的消息（或者由 MQ 推送消息），当发现 MQ 中有发红包或发短信之类的消息时，执行相应的业务逻辑。

以上是用于业务解耦的情况，其它常见场景包括最终一致性、广播、错峰流控等等。

3. RabbitMQ特点

RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。

AMQP ：Advanced Message Queue，高级消息队列协议。它是应用层协议的一个开放标准，为面向消息的中间件设计，基于此协议的客户端与消息中间件可传递消息，并不受产品、开发语言等条件的限制。

AMQP的主要功能是消息的路由（Routing）和缓存(Buffering)，AMQP提供了这两个功能的模型：Exchange（交换机）和Message Queue（消息队列）

这篇文章详细介绍了什么是APQP：https://www.jianshu.com/p/59d34dd0e8ad

RabbitMQ 最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。具体特点包括：

  1. 可靠性（Reliability）
    RabbitMQ 使用一些机制来保证可靠性，如持久化、传输确认、发布确认。

  2. 灵活的路由（Flexible Routing）
    在消息进入队列之前，通过 Exchange 来路由消息的。对于典型的路由功能，RabbitMQ 已经提供了一些内置的 Exchange 来实现。针对更复杂的路由功能，可以将多个 Exchange 绑定在一起，也通过插件机制实现自己的 Exchange 。

  3. 消息集群（Clustering）
    多个 RabbitMQ 服务器可以组成一个集群，形成一个逻辑 Broker 。

  4. 高可用（Highly Available Queues）
    队列可以在集群中的机器上进行镜像，使得在部分节点出问题的情况下队列仍然可用。

  5. 多种协议（Multi-protocol）
    RabbitMQ 支持多种消息队列协议，比如 STOMP、MQTT 等等。

  6. 多语言客户端（Many Clients）
    RabbitMQ 几乎支持所有常用语言，比如 Java、.NET、Ruby 等等。

  7. 管理界面（Management UI）
    RabbitMQ 提供了一个易用的用户界面，使得用户可以监控和管理消息 Broker 的许多方面。

  8. 跟踪机制（Tracing）
    如果消息异常，RabbitMQ 提供了消息跟踪机制，使用者可以找出发生了什么。

二、安装

一般来说安装 RabbitMQ 之前要安装 Erlang ，可以去Erlang官网下载。接着去RabbitMQ官网下载安装包，之后解压缩即可。
Erlang官方下载地址：https://www.erlang.org/downloads
RabbitMQ官方下载地址：https://www.rabbitmq.com/download.html

1. 安装Erlang

这里下载的是Erlang的源码文件，需要先编译，这里使用的版本为19.3

  1. 安装RabbitMQ之前必须要先安装所需要的依赖包，使用下面的一次性安装命令

    yum install gcc gcc-c++ glibc-devel unixODBC-devel make ncurses-devel openssl-devel xmlto

  2. 将Erlang源代码包otp_src_19.3.tar.gz上传到Linux的/home目录下，然后解压erlang 源码包

    tar -zxvf otp_src_19.3.tar.gz

  3. 手动创建erlang 的安装目录

    mkdir /usr/local/erlang

  4. 进入erlang的解压目录

    cd otp_src_19.3

  5. 配置erlang的安装信息

    ./configure --prefix=/usr/local/erlang --without-javac

  6. 编译并安装

    make && make install

  7. 配置环境变量

    vim /etc/profile

  8. 将这些配置填写到profile文件的最后

    ERL_HOME=/usr/local/erlang
PATH=$ERL_HOME/bin:$PATH
export ERL_HOME PATH

  9. 启动环境变量配置文件

    source /etc/profile

2. 安装RabbitMQ

这里下载的是RabbitMQ的安装包，这里使用的系统是Centos7，RabbitMQ版本是3.7.2

  1. 将RabbitMQ安装包rabbitmq-server-3.7.2-1.el7.noarch.rpm上传到/home目录

  2. 安装RabbitMQ

    rpm -ivh --nodeps rabbitmq-server-3.7.2-1.el7.noarch.rpm

三、RabbitMQ

1. 启动和关闭

  1. 启动RabbitMQ

    rabbitmq-server start &    # &表示后台启动

    注意：这里可能会出现错误，错误原因是/var/lib/rabbitmq/.erlang.cookie文件权限不够。 解决方案对这个文件授权

    chown rabbitmq:rabbitmq /var/lib/rabbitmq/.erlang.cookie 
chmod 400 /var/lib/rabbitmq/.erlang.cookie

  2. 停止服务
    RabbitMQ启动后会开启多个线程，使用kill会比较麻烦

    rabbitmqctl stop

2. 插件管理

  1. 添加插件

    rabbitmq-plugins enable {插件名}

  2. 删除插件

    rabbitmq-plugins disable {插件名}

注意：RabbitMQ启动以后可以使用浏览器进入管控台，但是默认情况RabbitMQ不允许直接使用浏览器进行访问，因此必须添加插件

rabbitmq-plugins enable rabbitmq_management

然后就可以使用浏览器访问管控台，地址：http://RabbitMQ服务器IP:15672

3. 用户管理

  1. 添加用户：

    rabbitmqctl add_user {username} {password}

  2. 删除用户：

    rabbitmqctl delete_user {username}

  3. 修改密码：

    rabbitmqctl change_password {username} {newpassword}

  4. 设置用户角色：

    rabbitmqctl set_user_tags {username} {tag}

    tag参数表示用户角色取值为：management，monitoring，policymaker，administrator，各角色详解：

  • management（ 普通管理者）：

    • 用户可以通过AMQP做的任何事：
      • 声明Exchange
      • 删除Exchange
      • 获取Exchange的响应
      • 声明Queue
    • 外加：
      • 列出自己可以通过AMQP登入的virtual hosts
      • 查看自己的virtual hosts中的queues, exchanges 和 bindings
      • 查看和关闭自己的channels 和 connections
      • 查看有关自己的virtual hosts的“全局”的统计信息，包含其他用户在这些virtual hosts中的活动。

  • policymaker（策略制定者）：

    • management可以做的任何事外加：
      • 查看、创建和删除自己的virtual hosts所属的policies和parameters

  • monitoring（监控者）：

    • management可以做的任何事外加：
      • 列出所有virtual hosts，包括他们不能登录的virtual hosts
      • 查看其他用户的connections和channels
      • 查看节点级别的数据如clustering和memory使用情况
      • 查看真正的关于所有virtual hosts的全局的统计信息

  • administrator（超级管理员）：

    • policymaker和monitoring可以做的任何事外加：
      • 创建和删除virtual hosts
      • 查看、创建和删除users
      • 查看创建和删除permissions
      • 关闭其他用户的connections

4. 权限管理

  1. 授权命令：
rabbitmqctl set_permissions [-p vhostpath] {user} {conf} {write} {read}
  • -p vhostpath ：用于指定一个资源的命名空间，例如 –p / 表示根路径命名空间
  • user：用于指定要为哪个用户授权填写用户名
  • conf：一个正则表达式match哪些配置资源能够被该用户配置。
  • write：一个正则表达式match哪些配置资源能够被该用户读。
  • read：一个正则表达式match哪些配置资源能够被该用户访问。

例如：设置root用户拥有对所有资源的 读写配置权限

rabbitmqctl set_permissions -p / root '.*' '.*' '.*'
  1. 查看用户权限
rabbitmqctl list_permissions [vhostpath]

例如：

  • 查看根路径下的所有用户权限

    rabbitmqctl list_permissions

  • 查看指定命名空间下的所有用户权限

    rabbitmqctl list_permissions /abc
  1. 查看指定用户下的权限
rabbitmqctl list_user_permissions {username}

例如：

  • 查看root用户下的权限

    rabbitmqctl  list_user_permissions root
  1. 清除用户权限
rabbitmqctl  clear_permissions {username}

例如：

  • 清除root用户的权限

    rabbitmqctl  clear_permissions root

5. vhost管理

AMQP提供了一个虚拟主机的概念（Virtual hosts），提供了完全隔离的环境，当连接被建立的时候，AMQP的客户端来指定使用哪个Virtual Host。因此，一个单独的RabbitMQ服务器可以实现多个隔离的环境（用户、用户组、Exchange、queue），

vhost是RabbitMQ中的一个命名空间，可以限制消息的存放位置，利用这个命名空间可以进行权限的控制，有点类似Windows中的文件夹一样，在不同的文件夹中存放不同的文件。

  1. 添加vhost:

    rabbitmqctl add_vhost {name}

  2. 删除vhost：

    rabbitmqctl delete_vhost {name}

6. 设置管理员权限

RabbitMQ安装成功后，管控台使用默认用户名guest登录，管控台地址：ip:15672

  • 账号：guest
  • 密码：guest

注意：这里guest只允许本机登录访问，如果要远程访问的话，需要创建用户并授权，用户角色为administrator，权限为最高。

  1. 添加用户，用户名为root，密码为：123

    rabbitmqctl add_user root 123

  2. 设置用户角色

    rabbitmqctl set_user_tags root administrator

  3. 授权

    rabbitmqctl set_permissions -p / root '.*' '.*' '.*'

四、消息发送和接收

1. RabbitMQ消息发送和接收机制

所有 MQ 产品从模型抽象上来说都是一样的过程：
消费者（consumer）订阅某个队列。生产者（producer）创建消息，然后发布到队列（queue）中，最后将消息发送到监听的消费者。

在这里插入图片描述

上面是MQ的基本抽象模型，但是不同的MQ产品有有者不同的机制，RabbitMQ实际基于AMQP协议的一个开源实现，因此RabbitMQ内部也是AMQP的基本概念。

RabbitMQ的内部接收如下：
在这里插入图片描述

  1. Publisher：消息的生产者，也是一个向交换器发布消息的客户端应用程序。
  2. Message：消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可能需要持久性存储）等。
  3. Broker：表示消息队列服务器实体（就是个服务器）。
  4. Virtual Host：虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。
  5. Exchange：交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
  6. Binding：绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。
  7. Queue：消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。
  8. Connection：网络连接，比如一个TCP连接。
  9. Channel：信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接，AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。
  10. Consumer：消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。

2. AMQP 中的消息路由

AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别，AMQP 中增加了 Exchange 和 Binding 的角色。生产者把消息发布到 Exchange 上，消息最终到达队列并被消费者接收，而 Binding 决定交换器的消息应该发送到那个队列
在这里插入图片描述
Message的结构由两部分组成：Header 和 Body

  • Header中由Producer添加的各种Exchange和queue相关的属性集合。
  • Body中存放真正需要传输的数据，对Broker不可见，不可被修改。

Exchange通过Binding来将Exchange和Message Queue关联起来，将Message发送到Message Queue中？

3. Exchange与Queue关联绑定

举个例子：
现在有一个交换机和一个队列：

  • Exchange：E
  • Queue：Q

将Q与E进行绑定，就要创建一个Binding，Binding定义了一个routing key(路由键)，表示带有该routing key的Message，到Exchange E时，会被发送到绑定的Queue Q中。即可以理解为Q和E通过routing key 绑定在了一起。

一个Exchange可能会与多个queue进行关联，Exchange中就会有一个路由表，由Binding定义的Routing key组成，表示每个与Exchange绑定的Queue的路由。

producer在发送Message时，在Message的header中添加routing key属性。Exchange获取到Message后，会检测Message的header属性。若header中的routing key与binding的routing key一致，则Exchange 将Message发送到Binding绑定的Queue。

上面说的只是Exchange的一种工作方式，即单播路由（direct），使用的是Binding。但实际上Exchange有多种路由形式。不同的路由算法有不同的Exchange Type.

所以路由算法由Exchange Type和Binding的规则所决定。下面看一下Exchange 常用的三种路由算法

4. Exchange 类型

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键，此外 headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了，所以直接看另外三种类型

注意：Exchange Type一旦创建就不可改变

（1）direct

消息中的路由键（routing key）如果和 Binding 中的 binding key 一致， 交换器就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发 routing key 标记为“dog”的消息，不会转发“dog.puppy”，也不会转发“dog.guard”等等。它是完全匹配、单播的模式。
在这里插入图片描述

（2）fanout

每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播，每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。
在这里插入图片描述

（3）topic

topic 交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号“*”。

  • “#”：匹配0个或多个单词，
  • “*”：匹配不多不少一个单词。
    在这里插入图片描述

5. Client与Brocker进行连接

Publisher与Consumer都属于Clinet（客户端），Client与Brocker的连接通常是长连接，是使用TCP提供可靠投递的应用层协议。

关于TCP等网络协议需要学习：
AMQP使用认证机制并且提供TLS(SSL)保护。
当一个应用不再需要连接到AMQP代理的时候，需要优雅的释放掉AMQP连接，而不是直接将TCP连接关闭。

有时候Client需要与AMQP的broker建立多个连接，同时开启多个TCP不仅耗费太多的网络资源，而且使防火墙的配置更加困难。

所以AMQP提供了Channel(消息通道)：

  • 一个AMQP连接可以并发的建立多个Channel，每个Channel可以看成共享一个TCP连接的多个轻量化连接。
  • 每个Channel的Session与其他Channel的Session是完全隔离的，所以每个AMQP方法都需要携带一个ChannelId，这样Client就可以指定方法是为那个Channel准备的。

五、RabbitMQ镜像集群

普通模式(默认)：假设现在有两台服务器节点A和B，对于Queue来说，消息实体只存在于其中的一个节点，A/B两个节点仅有相同的元数据，即队列结构(交换机的所有元数据在所有节点上是一致的，而队列的完整信息只有在创建它的节点上)。当消息进入A节点的Queue中后，consumer从B节点拉取数据时，RabbitMQ会临时在A和B间进行消息传输，把A中的消息实体取出并经过B发送给consumer。所以consumer应尽量连接每个节点，从中取消息。即对于同一个逻辑队列，要在多个节点建立物理Queue，否则无论consumer连A或B，出口总在A，会产生瓶颈。该模式存在一个问题就是当A节点故障后，B节点无法取到A节点中还未消费的消息实体。如果做个消息持久化，那么等A几点恢复，然后才可被消费；如果没有做持久化，消息就丢了。该模式非常适合非持久化队列，只有该队列是非持久化的，客户端才能重新连接到集群中的其他节点，并且重新创建队列，如果该队列是持久化的，那么唯一的办法就是将故障节点恢复起来。

镜像模式(高可用模式)：把需要的队列做成镜像模式，存在于多个节点，数据Rabbitmq的HA方案。该模式解决了上述问题，其实质和普通模式的不同之处在于，消息实体会主动在镜像节点间同步，而不会在consumer取数据时临时拉取。该模式带来的副作用也很明显，除了降低系统性能意外，如果镜像队列过多，加之有大量的消息进入，集群内部的网络带宽将会被这种同步通讯大大消耗掉，所以在对可靠性要求较高的场合中适用

1. 准备

在两台Linux上部署好RabbitMQ，按第二章的步骤安装即可

安装完后，添加管控台插件：

rabbitmq-plugins enable rabbitmq_management

然后设置管理员权限，按照3.6的步骤来即可

2. 配置Cookie文件

Erlang Cookie是保证不同节点可以互相通信的秘钥，要保证集群中的不同节点互相通信必须共享相同的Erlang Cookie，具体存放在/var/lib/rabbitmq/.erlang.cookie

  • 查看Erlang Cookie：

    cat /var/lib/rabbitmq/.erlang.cookie

  • 因为该文件是只读的，先修改文件权限：

    chmod 777 /var/lib/rabbitmq/.erlang.cookie

  • 使用scp命令完成文件跨机器拷贝（也可以使用vim进行编辑）：

    • 第一个参数：指定要复制到远程的文件
    • 第二个参数：远程的ip和远程的接收文件的目录使用":"分隔，只指定了目录，故文件名字不变
    scp /var/lib/rabbitmq/.erlang.cookie 192.168.29.130:/var/lib/rabbitmq

  • 由于文件比较重要，再将文件的权限修改回去：

    chmod 400 /var/lib/rabbitmq/.erlang.cookie

  • 修改该文件的组和所有者为rabbitmq

    chown rabbitmq.rabbitmq /var/lib/rabbitmq/.erlang.cookie

3. 配置hosts文件

  • 配置各个节点的hosts文件，文件位置：/etc/hosts

    vim /etc/hosts

  • 在两台Linux上均配置（我的两个Linux的ip分别是：192.168.29.129，192.168.29.130，后面对应的值是域名）：

    192.168.222.129 A
192.168.222.130 B

  • 使用hostname命令查看主机名是否改变（变为A或者B），如果没有则重启

    hostname

4. 组建集群

  • 启动RabbitMQ服务器：

    • rabbitmq-server –detached：表示在后台运行
    rabbitmqctl stop
rabbitmq-server -detached

  • 将某个RabbitMQ加入到某个服务器节点

    • 在A机器上执行rabbitmqctl join_cluster rabbit@B 命令表示将A节点加入到B的机器节点中
    rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@B
rabbitmqctl start_app

  • 查看集群状态确认节点成功添加：

    rabbitmqctl cluster_status
    • 第一个黄色框左边的 disc 表示：后边的节点组为磁盘类型的节点，如果是 ram，则表示是内存节点：
      在这里插入图片描述

  • 如果要将某个节点从集群中移除,使其变回独立节点,可以使用以下命令:

    rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

5. 节点类型

在RabbitMQ集群中的节点只有两种类型：内存节点或磁盘节点，单节点系统只运行磁盘类型的节点。而在集群中，可以选择配置部分节点为内存节点。

内存节点将所有的队列，交换器，绑定关系，用户，权限，和vhost的元数据信息保存在内存中。磁盘节点将这些信息保存在磁盘中，但是内存节点的性能更高，为了保证集群的高可用性，必须保证集群中有两个以上的磁盘节点，来保证当有一个磁盘节点崩溃了，集群还能对外提供访问服务。在上面的操作中，可以通过如下的方式，设置新加入的节点为内存节点还是磁盘节点：

  • 加入时候设置节点为内存节点（默认加入的为磁盘节点）

    rabbitmqctl join_cluster rabbit@C --ram

  • 也通过下面方式修改的节点的类型

    rabbitmqctl change_cluster_node_type disc | ram

网上查阅资料时看到的，写的不错，有兴趣可以看下：消息中间件—RabbitMQ（集群原理与搭建篇)

下一篇：java客户端操作RabbitMQ

标签
消息队列
amqp
erlang
exchange
RabbitMQ
集群服务器
节点服务器
路由模式
lib文件
绑定hosts
全热交换器
cookie
mq
host
var
科技新闻
易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!