消息队列

博文大纲： 一、MQ简介 二、什么是RabbitMQ? 三、安装RabbitMQ 四、部署Rabbitmq集群 1）部署环境 2）安装rabbitmq服务 3）配置host文件，并将上述两个节点加入集群 4）rabbitmq01配置群集并将rabbitmq02、03加入01群集 5）访问web界面 6）web页面添加vhost 五、单台节点加入或退出群集 1）单节点加入集群 2）单节点退出集群 一、MQ简介 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。 二、什么是RabbitMQ? RabbitMQ是由Erlang语言编写的实现了高级消息队列协议（AMQP）的开源消息代理软件（也可称为 面向消息的中间件）。支持Windows、Linux/Unix、MAC OS X操作系统和包括JAVA在内的多种编程语言。 AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级消息队列协议

文章目录 一.入门 1.1 简介 Topics/logs Distribution Producers Consumers Guarantees 1.2 Use cases Messaging Websit activity tracking Log Aggregation 二. 设计原理 1.Persistence 2.Efficiency 3. Producer Load balancing Asynchronous send 4.Consumer 5.Message Delivery Semantics 6. Replication 7.Log 8.Distribution 总结: 三.主要配置 1.Broker主要配置 2.Consumer主要配置 3.Producer主要配置 前言: Kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka。 一.入门 1.1 简介 Kafka是一个"分布式的"/“可分区的(partitioned)”/“基于备份的

Kafka 创建背景 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件，然后周期性地对这些文件进行统计分析。运营数据指的是服务器的性能数据（CPU、IO 使用率、请求时间、服务日志等等数据)。运营数据的统计方法种类繁多。 近年来，活动和运营数据处理已经成为了网站软件产品特性中一个至关重要的组成部分，这就需要一套稍微更加复杂的基础设施对其提供支持。 Kafka 简介 Kafka 是一种分布式的，基于发布 / 订阅的消息系统。 主要设计目标如下： 以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。 支持 Kafka Server 间的消息分区，及分布式消费，同时保证每个 Partition 内的消息顺序传输。

简介 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。 概念介绍 RabbitMQ 是目前流行的开源消息队列系统，用Erlang语言开发。RabbitMQ 是AMQP（高级消息队列）的标准实现。下面是它的几个关键概念： Broker： 简单来说就是消息队列服务器实体。 Exchange： 消息交换机，它指定消息按什么规则，路由到哪个队列。 Queue： 消息队列载体，每个消息都会被投入到一个或多个队列。 Binding： 绑定，它的作用就是把exchange和queue按照路由规则绑定起来。 Routing Key： 路由关键字，exchange根据这个关键字进行消息投递。 vhost： 虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。 producer： 消息生产者，就是投递消息的程序。 consumer： 消息消费者，就是接受消息的程序。 channel： 消息通道，在客户端的每个连接里，可建立多个channel

前提 之前有个打算在学习RabbitMQ之前，把AMQP详细阅读一次，挑出里面的重点内容。后来找了下RabbitMQ的官方文档，发现了有一篇文档专门介绍了RabbitMQ中实现的AMQP模型部分，于是直接基于此文档和个人理解写下这篇文章。 AMQP协议 AMQP 全称是Advanced Message Queuing Protocol，它是一个(分布式)消息传递协议，使用和符合此协议的客户端能够基于使用和符合此协议的消息传递中间件代理(Broker，也就是经纪人，个人感觉叫代理合口一些)进行通信。AMQP目前已经推出协议1.0，实现此协议的比较知名的产品有StormMQ、RabbitMQ、Apache Qpid等。RabbitMQ实现的AMQP版本是0.9.1，官方文档中也提供了该协议pdf文本下载，有兴趣可以翻阅一下。 消息中间件代理的职责 Messaging Broker，这里称为消息中间件代理。它的职责是从发布者(Publisher，或者有些时候称为Producer，生产者)接收消息，然后把消息路由到消费者(Consumer，或者有些时候称为Listener，监听者)。 因为消息中间件代理、发布者客户端和消费者客户端都是基于AMQP这一网络消息协议，所以消息中间件代理、发布者客户端和消费者客户端可以在不同的机器上，从而实现分布式通讯和服务解耦。

消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。消息中间件到底该如何使用，何时使用这是一个问题，胡乱地使用消息中间件增加了系统的复杂度，如果用不好消息中间件还不如不用。 消息队列通讯模式 点对点通讯 点对点方式是最为传统和常见的通讯方式，它支持一对一、一对多、多对多、多对一等多种配置方式，支持树状、网状等多种拓扑结构。 多点广播 MQ适用于不同类型的应用。其中重要的，也是正在发展中的是"多点广播"应用，即能够将消息发送到多个目标站点(DestinationList)。可以使用一条MQ指令将单一消息发送到多个目标站点，并确保为每一站点可靠地提供信息。MQ不仅提供了多点广播的功能，而且还拥有智能消息分发功能，在将一条消息发送到同一系统上的多个用户时，MQ将消息的一个复制版本和该系统上接收者的名单发送到目标MQ系统。目标MQ系统在本地复制这些消息，并将它们发送到名单上的队列，从而尽可能减少网络的传输量。 发布/订阅(Publish/Subscribe)模式 发布/订阅功能使消息的分发可以突破目的队列地理指向的限制，使消息按照特定的主题甚至内容进行分发

延迟队列的需求各位应该在日常开发的场景中经常碰到。比如： 用户登录之后5分钟给用户做分类推送； 用户多少天未登录给用户做召回推送； 定期检查用户当前退款账单是否被商家处理等等场景。 一般这种场景和定时任务还是有很大的区别，定时任务是你知道任务多久该跑一次或者什么时候只跑一次，这个时间是确定的。延迟队列是当某个事件发生的时候需要延迟多久触发配套事件，引子事件发生的时间不是固定的。 业界目前也有很多实现方案，单机版的方案就不说了，现在也没有哪个公司还是单机版的服务，今天我们一一探讨各种方案的大致实现。 1. Redis zset 这个方案比较常用，简单有效。利用 Redis 的 sorted set 结构，使用 timeStamp 作为 score，比如你的任务是要延迟5分钟，那么就在当前时间上加5分钟作为 score ，轮询任务每秒只轮询 score 大于当前时间的 key即可，如果任务支持有误差，那么当没有扫描到有效数据的时候可以休眠对应时间再继续轮询。 方案优劣 ： 优点： 简单实用，一针见血。 缺点： 单个 zset 肯定支持不了太大的数据量，如果你有几百万的延迟任务需求，大哥我还是劝你换一个方案； 定时器轮询方案可能会有异常终止的情况需要自己处理，同时消息处理失败的回滚方案，您也要自己处理。 所以，sorted set 的方案并不是一个成熟的方案，他只是一个快速可供落地的方案

一： 介绍 1.1 首先kafka是一个分布式的流平台。 1.1.1 像消息队列或者企业消息队列一样发布和订阅 record。 1.1.2 能够存储stream并且具有容错能力 1.1.3 在流产生时能对流进行加工 (p rocess) . kafka 的两大应用场景 1 两个系统或者应用程序间交换数据( 介绍 1.1 首先kafka是一个分布式的流平台。 1.1.1 像消息队列或者企业消息队列一样发布和订阅 record。 1.1.2 能够存储stream并且具有容错能力 1.1.3 在流产生时能对流进行加工 (process) . kafka 的两大应用场景 1 两个系统或者应用程序间实时流数据通道 2 处理流数据 一些基础概念 1： kafka 是一个集群， 可以跨数据中心。 2： record 以topic来分类 3：每条record 包含key，value， timestamp kafka的四大核心api client 和 server 之间的通信是无比高效的。 之前我一直以为kafka的client只有java版，但是从官网的介绍来看，现在client也支持其他语言。 其他基础的概念： topic ， partition ， cluster ， group 二：快速启动 2.1 启动zookeeper ， bin/zookeeper-server-start.sh

1.八大数据结构及其应用场景（数组、栈、链表、树、图、堆、散列表） 1.数组 数据结构中最基本的一个结构就是线性结构，而线性结构又分为连续存储结构和离散存储结构。连续存储结构其实就是数组。 在程序设计中，为了处理方便， 把具有相同类型的若干变量按有序的形式组织起来。这些按序排列的同类数据元素的集合称为数组。一个数组可以分解为多个数组元素，这些数组元素可以是基本数据类型或是构造类型。因此按数组元素的类型不同，数组又可分为数值数组、字符数组、指针数组、结构数组等各种类别。 使用场景 数组在以下三个情形下很有用： 1）数据量较小。 2）数据规模已知。 3）随机访问，修改元素值。 如果插入速度很重要，选择无序数组。如果查找速度很重要，选择有序数组，并使用二分查找。 缺点 1）需要预先知道数据规模 2）插入效率低，因为需要移动大量元素。 2.栈 是只能在某一端插入和删除的特殊线性表。它按照先进后出的原则存储数据，先进入的数据被压入栈底，最后的数据在栈顶，需要读数据的时候从栈顶开始弹出数据(最后一个数据被第一个读出来)。 使用场景 1.十进制与其它进制间的转换 125→1111111 2.行编辑器 #退格 @清除 3.平衡符号的判断 {[()()]} 4.中缀表达式转后缀表达式 顺序栈 优点 1）在输入数据量可预知的情形下，可以使用数组实现栈，并且数组实现的栈效率更高

简介 基于生产者消费者模式，我们可以开发出线程安全的异步消息队列。 知识储备 什么是生产者消费者模式？ 为了方便理解，我们暂时将它理解为垃圾的产生到结束的过程。 简单来说，多住户产生垃圾（生产者）将垃圾投递到全小区唯一一个垃圾桶（单队列），环卫将垃圾桶中的垃圾进行处理（消费者）。就是一个生产者消费者模式。 这种模式的好处，就不在这里叙述了，毕竟这篇文章不是在讲设计模式。有兴趣的小伙伴可以自行了解一下。 应用场景 很多时候，我们有一些不紧急但却对操作顺序有强依赖的需求。 比如，12306候补抢票。（并不代表真的是这种模式，为了举例方便理解） 当用户提交候补请求时即生产出一条消息，入队一个消息队列中，只要有人退票，就在队列中出队一个用户的消息。由于队列的性质是先进先出的，利用这种性质我们就可以实现公平的候补机制。 今天先写到这里。 来源： https://www.cnblogs.com/dcxy/archive/2020/02/24/12357477.html