rabbitmq集群

引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,目前对Kafka、RabbitMQ、RocketMQ这三个消息中间件做下对比分析。 - - kafka RocketMQ RabbitMQ 数据来源 相关文章 定位 设计定位 系统间的数据流管道，实时数据处理。 例如：常规的消息系统、网站活性跟踪，监控数据，日志收集、处理等 非日志的可靠消息传输。 例如：订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等 可靠消息传输。和RocketMQ类似。 基础对比 成熟度 日志领域成熟 成熟 成熟 所属社区／公司 Apache Alibaba开发，已加入到Apache下 Mozilla Public License 社区活跃度 高 中 高 来源于网络 API完备性 高 高 高 文档完备性 高 高 高 来源于网络 开发语言 Scala Java Erlang 支持协议 一套自行设计的基于TCP的二进制协议 自己定义的一套 (社区提供JMS--不成熟) AMQP 客户端语言 C/C++、Python、Go、Erlang、.NET、Ruby、Node.js、PHP等 Java Java、C、 C++、 Python、 PHP、Perl 等 持久化方式 磁盘文件 磁盘文件 内存、文件 可用性、可靠性比较 部署方式 单机／集群

使用 Pika 连接 rabbitmq 集群 使用 python 编程经常会用到 pika 来向 rabbitmq 发送消息，单个 rabbitmq 节点连接比较简单，本文介绍使用 rabbitmq 集群情况下的连接方式。 vip 连接方式 在 client 与 rabbitmq server 之间通过 haproxy 等负载均衡来提供 vip，我使用的环境就是采用这种方式，但是遇到某一节点挂掉时再访问 vip 连接 rabbitmq 集群会连接失败，常见 log 如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 <URLParameters host=10.10.11.1 port=5672 virtual_host=/ ssl=False> DEBUG:pika.adapters.select_connection:Using EPollPoller DEBUG:pika.callback:Added: { 'callback' : <bound method SelectConnection._on_connection_start of <SelectConnection CLOSED socket=None params =<URLParameters host=10.10.11.1 port=5672

文章目录 RabbitMQ 1 基本概念 2 安装 3 核心概念 交换器类型 4 入门demo 客户端开发相关说明 1 exchangeDeclare方法 2 queueDeclare方法 3 消费消息 4 消费的确认与拒绝 5 消息的可靠性投递 消息可靠性投递解决方案 RabbitMQ 1 基本概念 消息 (Message) 是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串、JSON 等，也可以很复杂，比如内嵌对象。 消息队列中间件 (Message Queue Middleware，简称为 MQ) （消息队列或者消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。 两种传递模式：点对点(P2P, Point-to-Point) 模式和发布/订阅 (Pub/Sub) 模式 比较主流的有 RabbitMQ,Kafka,ActiveMQ, RocketMQ等。 面向消息的中间件(简称为 MOM ， Message Oriented Middleware) 提供了以松散藕合的灵活方式集成应用程序的一种机制。它们提供了基于存储和转发的应用程序之间的异步数据发送，即应用程序彼此不直接通信，而是与作为中介的消息中间件通信 。

RabbitMQ一般情况很少丢失，但是不能排除意外，为了保证我们自己系统高可用，我们必须作出更好完善措施，保证系统的稳定性。 下面来介绍下，如何保证消息的绝对不丢失的问题，下面分享的绝对干货，都是在知名互联网产品的产线中使用。 1.消息持久化 2.ACK确认机制 3.设置集群镜像模式 4.消息补偿机制 第一种：消息持久化 RabbitMQ 的消息默认存放在内存上面，如果不特别声明设置，消息不会持久化保存到硬盘上面的，如果节点重启或者意外crash掉，消息就会丢失。 所以就要对消息进行持久化处理。如何持久化，下面具体说明下： 要想做到消息持久化，必须满足以下三个条件，缺一不可。 1） Exchange 设置持久化 2）Queue 设置持久化 3）Message持久化发送：发送消息设置发送模式deliveryMode=2，代表持久化消息 第二种：ACK确认机制 多个消费者同时收取消息，比如消息接收到一半的时候，一个消费者死掉了(逻辑复杂时间太长，超时了或者消费被停机或者网络断开链接)，如何保证消息不丢？ 这个使用就要使用Message acknowledgment 机制，就是消费端消费完成要通知服务端，服务端才把消息从内存删除。 这样就解决了，及时一个消费者出了问题，没有同步消息给服务端，还有其他的消费端去消费，保证了消息不丢的case。 第三种：设置集群镜像模式

安装Erlang 前期准备： GNU make Compiler -- GNU C Compiler, gcc or the C compiler frontend for LLVM, clang. Perl 5 GNU m4 -- If HiPE (native code) support is enabled. HiPE can be disabled using --disable-hipe ncurses, termcap, or termlib -- The development headers and libraries are needed, often known as ncurses-devel. Use --without-termcap to build without any of these libraries. Note that in this case only the old shell (without any line editing) can be used. sed -- Stream Editor for basic text transformation. 依赖的软件包和工具 如果缺少，需要安装（本次已centos7.5 最小化安装） # yum install gcc ncurses-devel clang sed perl

身为.NET程序员，用着宇宙级IDE，干什么事都变得越来越懒了，Windows操作系统在手，能通过桌面点点点的方式何必找其他罪受呢。。于是RabbitMQ自然而然也就跑在Windows上了，说实话Windows配置RabbitMQ太恶心了，尤其对于手贱的人，总想着装了卸卸了装，慢慢的各种问题就出来了，不从装系统解决起来备受煎熬。。当然服务器上肯定不这么干，但自己电脑肯定不知不觉的瞎折腾，然后就比如安装的时候报这种问题: 重装系统肯定是不可能的- -征战这么久的电脑，桌面上的东西都懒得整理。。 Docker说实话真是个好东西，RabbitMQ镜像一拉分分钟就玩起来了，但Docker毕竟也有局限性，baidu查一下数据库不适合容器化大致能读到点弊端，队列同理。 最近又回过头来把RabbitMQ搞到CentOS上也是为了节约成本提升性能， RabbitMQ配置 里存在一个hipe_compile的属性，它的描述如下： 醒目的20-50%性能提升不是一点点的诱惑，然而蛋疼的是默认不开启，而且很不友好的强调了下。。不支持Windows平台。。所以搞吧。。 安装erlang 先下载最新的erlang安装包，可以上 官网下载页面 下载后扔到CentOS服务器上也可以服务器本地通过命令行下载 wget http://erlang.org/download/otp_src_19.3.tar.gz

RabbitMQ的集群方案有以下几种： 1.普通的集群 exchange，buindling再所有的节点上都会保存一份，但是queue只会存储在其中的一个节点上，但是所有的节点都会存储一份queue的meta信息。因为这样有两个好处： 1）存储空间。如果每一个节点上都有全部的消息，有多少个节点就会有多少个消息总量的copy。加入一个队列的消息占用的空间是1G，那么三个节点就是3G 2) 性能。消息需要在节点之间传输会有很大的网络开销。如果消息设置了durable即持久化，还会增加很大的磁盘负载 队列存储的节点取决于，创建队列的客户端当时所连接的节点。如果生产者连接的是另外一个节点，将会把消息转发到存储该队列的节点上。如果消费者连接了非存储队列的节点取数据，者从存储消息的节点拉去数据。所以： 1)创建队列都连到了一个节点上，所有的队列都存储在一个节点上。 2)存消息的节点挂掉了，consumer只能等到节点恢复后才能读到消息。 3）设A,B节点，queue数据在A上：可以向A或B生产或消费消息。但是一旦往B生产消息时A挂了，client是不会收到任何错误信息的并可以继续发送，而实际上消息是被丢弃了。一旦此时client挂了后在连接B会报节点A不存在而失败。在B读也是类似的，在client批量取到的数据读完之前是不会感知A有没有挂掉，等到读取下一批数据时一旦A挂掉会报错。

ylbtech-软件-MQ-RabbitMQ：RabbitMQ RabbitMQ是实现了 高级消息队列协议（AMQP） 的 开源消息代理软件 （亦称 面向消息的中间件 ）。RabbitMQ服务器是用 Erlang 语言编写的，而集群和故障转移是构建在 开放电信平台 框架上的。所有主要的编程语言均有与代理接口通讯的客户端 库 。 1. 返回顶部 1、 中文名：消息队列 外文名：Message Queue 简 称：MQ 释 义：一种程序对程序的通信方法 目录 1 简介 2 历史 3 基本概念 4 主要特性 5 安装 6 参见 2、 2. 返回顶部 1、 简介 RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用 Erlang 语言编写的，而群集和故障转移是构建在 开放电信平台 框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。 历史 Rabbit科技有限公司开发了RabbitMQ，并提供对其的支持。起初，Rabbit科技是LSHIFT和CohesiveFT在2007年成立的合资企业，2010年4月被 VMware 旗下的SpringSource收购。RabbitMQ在2013年5月成为GoPivotal的一部分。 基本概念 RabbitMQ是一套 开源（MPL） 的消息队列服务软件，是由 LShift

典型应用场景 1、跨系统的异步通信 人民银行二代支付系统，使用重量级消息队列 IBM MQ，异步，解耦，削峰都有体现。 2、应用内的同步变成异步 3、基于Pub/Sub模型实现的事件驱动 放款失败通知、提货通知、购买碎屏保 系统间同步数据 摒弃ELT（比如全量 同步商户数据）； 摒弃API（比如定时增量获取用户、获取产品，变成增量广播）。 4、利用RabbitMQ实现事务的最终一致性。 基本介绍 AMQP协议 AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级消息队列协议，是应 用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户 端/中间件同产品、不同的开发语言等条件的限制。 AMQP的实现有：RabbitMQ、OpenAMQ、Apache Qpid、Redhat Enterprise MRG、AMQP Infrastructure、 ØMQ、Zyre等。 RabbitMQ的特性 RabbitMQ使用Erlang语言编写，使用Mnesia数据库存储消息。 （1）可靠性（Reliability） RabbitMQ 使用一些机制来保证可靠性，如持久化、传输确认、发布确认。（2）灵活的路由（Flexible Routing） 在消息进入队列之前，通过 Exchange

Windows 安装Rabbitmq Rabbitmq是基于erlang开发的消息队列，客户端支持主流的开发语言（java、C#、Python等）。 环境：windows server 2012(x64) 1、下载安装 http://www.erlang.org/downloads 下载安装erlang运行环境（OTP） http://www.rabbitmq.com/download.html 下载安装Rabbitmq server 安装完成，可在开始菜单，应用程序中，找到服务启动、服务关闭、服务卸载、服务安装等快捷方式，以及数据、日志、运行等目录。 点击服务启动，rabbitmq服务启动，可在服务管理器（services.msc)中看到“RabbitMQ"服务，服务默认监听端口5672。 2、服务配置 windows 配置文件默认所在位置：”%APPDATA%\RabbitMQ\“ 例如： “C:\Users\Administrator\AppData\Roaming\RabbitMQ\” linux 配置文件默认所在位置"/etc/rabbitmq/“ 根据官方网站文档说明，有3种不同类型的配置。 环境变量（ environment variables ），定义端口，文件存储位置和名称。linux一般在"/etc/rabbitmq/rabbitmq-env.conf