rocketmq部署

查看 RocketMQ 系列文章目录 环境准备和最终目标 准备一：Linux 主机，笔者用的是阿里云 ECS，预装 Centos7.4 Docker18.03.1-ce 准备二：基础 java 8 Docker 镜像 准备三：启动 RocketMQ Dorker 容器， 参考 制作 RocketMQ 的 Docker 镜像 准备四：源码为 spring boot 项目，本机需预装 java maven``Git 环境 目标一：通过浏览器查看控制台 下载源码并编译（ 本地 ） 下载地址 apache/rocketmq-externals rocketmq-console 即为 RocketMQ 的控制台项目 修改配置文件 将源码 application.properties 替换为 application.yml ├── 项目根目录 │ ├── src │ │ ├── main │ │ │ ├── resources │ │ │ │ ├── application.yml application.yml spring: application: name: rocketmq-console http: encoding: charset: UTF-8 enabled: true force: true server: port: 8080 logging: config:

你知道的越多，你不知道的越多 点赞再看，养成习惯 本文 GitHub https://github.com/JavaFamily 已收录，有一线大厂面试点脑图、个人联系方式和技术交流群，欢迎Star和指教 前言 消息队列 在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在 消息队列 的使用和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸，打败了无数竞争对手，每次都只能看到无数落寞的身影失望的离开，略感愧疚（ 请允许我使用一下夸张的修辞手法 ）。 于是在一个寂寞难耐的夜晚，我痛定思痛，决定开始写 《吊打面试官》 系列，希望能帮助各位读者以后面试势如破竹，对面试官进行360°的反击，吊打问你的面试官，让一同面试的同僚瞠目结舌，疯狂收割大厂Offer！ 捞一下 消息队列系列前面两章分别讲了 消息队列 的基础知识，还有比较常见的问题和常见分布式事务解决方案，那么在实际开发过程中,我们使用频率比较高的消息队列中间件有哪些呢？ 帅丙我工作以来接触的消息队列中间件有 RocketMQ 、 Kafka 、 自研 ，是的因为我主要接触的都是电商公司，相对而言业务体量还有场景来说都是他们比较适合，再加上杭州阿里系公司偏多，身边同事或者公司老大基本都是阿里出来创业的，那在使用技术栈的时候 阿里系的开源框架 也就成了首选。

如何使用 1、引入 rocketmq-client <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactId> <version>4.1.0-incubating</version> </dependency> 2、编写Producer DefaultMQProducer producer = new DefaultMQProducer("producer_demo"); //指定NameServer地址 producer.setNamesrvAddr("192.168.116.115:9876;192.168.116.116:9876"); //修改为自己的 /** * Producer对象在使用之前必须要调用start初始化，初始化一次即可 * 注意：切记不可以在每次发送消息时，都调用start方法 */ producer.start(); for (int i = 0; i < 997892; i++) { try { //构建消息 Message msg = new Message("TopicTest" /* Topic */, "TagA" /* Tag */, ("测试RocketMQ" + i).getBytes(RemotingHelper

向长辈致敬 : 蠍 : 卢兄 像 RocketMq 这个怎么测试？ 卢兄 : 中间件的测试，要结合中间件的特点来测试 蠍 : 特点什么意思 卢兄: 比如，这个工具是作为发布消息和消费消息的，具有解耦的特点 卢兄: 那么你可以通过做交易，去看他是否能够正常发布消息，消费消息 卢兄: 最重要的还是要去测试他的性能 蠍 : 性能怎么测试 卢兄: 让其消息队列积累大量的订单 卢兄: 查看队列是否会假死，消费速度( 消费 TPS) 和订单情况 卢兄: 等等 蠍 : 让其消息队列积累大量的订单？？？大量的订单是从接口灌输的吗？ 卢兄: 是的 卢兄: 之前我测试过这个，基本上积累几百万订单的时候，各种问题都会出来 蠍 : 消费速度 怎么查看 卢兄: 有 rabbitMQ 的 admin 控制台 卢兄: 部署一下可以直接查看 蠍 : OK 来源： https://www.cnblogs.com/guixie/p/11938226.html

浅谈消息队列及常见的消息中间件 前言 消息队列 已经逐渐成为企业应用系统 内部通信 的核心手段。它具有 低耦合 、 可靠投递 、 广播 、 流量控制 、 最终一致性 等一系列功能。 当前使用较多的 消息队列 有 RabbitMQ 、 RocketMQ 、 ActiveMQ 、 Kafka 、 ZeroMQ 、 MetaMQ 等，而部分 数据库 如 Redis 、 MySQL 以及 phxsql 也可实现消息队列的功能。 正文 1. 消息队列概述 消息队列 是指利用 高效可靠 的 消息传递机制 进行与平台无关的 数据交流 ，并基于 数据通信 来进行分布式系统的集成。 通过提供 消息传递 和 消息排队 模型，它可以在 分布式环境 下提供 应用解耦 、 弹性伸缩 、 冗余存储 、 流量削峰 、 异步通信 、 数据同步 等等功能，其作为 分布式系统架构 中的一个重要组件，有着举足轻重的地位。 2. 消息队列的特点 2.1. 采用异步处理模式 消息发送者 可以发送一个消息而无须等待响应。 消息发送者 将消息发送到一条 虚拟的通道 （ 主题 或 队列 ）上， 消息接收者 则 订阅 或是 监听 该通道。一条信息可能最终转发给 一个或多个 消息接收者，这些接收者都无需对 消息发送者 做出 同步回应 。整个过程都是 异步的 。 2.2. 应用系统之间解耦合 主要体现在如下两点：

分布式消息队列中间件作为高并发系统的核心组件之一，能够帮助业务系统解构提升开发效率和系统稳定性，其复杂性可见一斑，作为核心组件，有必要去深入了解学习 前言 分布式消息队列中间件主要具有以下优势： 削峰填谷 （主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题） 系统解耦 （解决不同重要程度、不同能力级别系统之间依赖导致一死全死） 提升性能 （当存在一对多调用时，可以发一条消息给消息系统，让消息系统通知相关系统） 蓄流压测 （线上有些链路不好压测，可以通过堆积一定量消息再放开来压测） 笔者为什么要深入rocketmq，一方面是因为公司目前已经在线上使用了rocketmq，另一方面也是因为笔者是主要的维护人员，需要对其有个深入的了解，并且测试环境的集群之前出现了问题，虽然最终解决，但是发生的原因依旧没有找到，感觉还是需要去深入了解下，对架构和源码进行一个整体的学习以应对之后可能出现的问题 rocketmq的相关中文文档在github上应该算非常详细了，初学者应该经常去看一看，每一句思考下，能收获不少，而且其中涉及到不少概念，还是需要去理解的，不明白的话也无法深入的学习下去，地址如下： https://github.com/apache/rocketmq/tree/master/docs/cn 对于与其他中间件的比较和起源发展可参考 阿里中间件博客 了解

概述 RocketMQ 是一款开源的分布式消息系统，基于高可用分布式集群技术，提供低延时的、高可靠的消息发布与订阅服务。 由于本教程整个案例基于 Spring Cloud，故我们采用 Spring Cloud Stream 完成一次发布和订阅 官方教程 # Spring Cloud Stream Spring Cloud Stream 是一个用于构建基于消息的微服务应用框架。它基于 Spring Boot 来创建具有生产级别的单机 Spring 应用，并且使用 Spring Integration 与 Broker 进行连接。 Spring Cloud Stream 提供了消息中间件配置的统一抽象，推出了 publish-subscribe 、 consumer groups 、 partition 这些统一的概念。 Spring Cloud Stream 内部有两个概念： Binder： 跟外部消息中间件集成的组件，用来创建 Binding，各消息中间件都有自己的 Binder 实现。 Binding： 包括 Input Binding 和 Output Binding。 Binding 在消息中间件与应用程序提供的 Provider 和 Consumer 之间提供了一个桥梁，实现了开发者只需使用应用程序的 Provider 或 Consumer 生产或消费数据即可

目录 RocketMq 部署 环境 物理机部署 自定义日志目录 自定义参数和数据存放位置 服务启动 关停服务 尝试发送消息 常见报错 部署 rockermq console docker 部署 Java 示例 RocketMq 部署 环境 64bit OS, Linux/Unix/Mac is recommended; 64bit JDK 1.8+; Maven 3.2.x; Git; 4g+ free disk for Broker server 物理机部署 下载最新的二进制文件 https://rocketmq.apache.org/docs/quick-start/ 解压 unzip rocketmq-all-4.4.0-bin-release.zip cd rocketmq-all-4.4.0-bin-release/ 自定义日志目录 # 在以下文件中替换默认的日志路径 ${user.home}/logs/rocketmqlogs/* conf/logback_broker.xml conf/logback_namesrv.xml conf/logback_tools.xml 自定义参数和数据存放位置 conf 文件夹里有三种配置 2m-noslave 两主,无从的配置 2m-2s-async 两主，两从，同步复制数据的配置 2m-2s-sync 两主，两从

背景 第三方介入开放平台后，开放平台需要将设备状态、属性等值发给第三方，目前使用的方案是HTTP方式推送，但是由于数据量大，使用HTTP推送有很大的局限性； 经过评估，使用rocketmq可很好的解决该问题； 解决方案 开放平台将设备状态、属性值等资源发送到MQ，第三方消费对应的topic即可 安全方案 利用rocketmq的acl功能，开放平台使用admin权限，根据appid将设备信息发送到对应的topic，然后再开放平台上开放指定的topic的订阅权限 技术评估 官网地址： http://rocketmq.apache.org/ 下载安装包及源码地址： https://github.com/apache/rocketmq ACL权限控制： https://github.com/apache/rocketmq/blob/master/docs/cn/acl/user_guide.md rocketmq console支持acl issue： https://github.com/apache/rocketmq-externals/pull/244 该功能未上线，master代码也无 多topic时，rocketmq性能影响： https://www.cnblogs.com/felixzh/p/6198174.html ----rocketmq支持万级别的topic

　　这次我们来说说我们的RocketMQ的安装和参数配置，先来看一下我们RocketMQ的提出和应用场景吧。 　　早在2009年，阿里巴巴的淘宝第一次提出了双11购物狂欢节，但是在2009年，服务器无法承受到大规模的并发，导致了大规模宕机停运，当时还是IOE的服务架构，也就是没有我们的消息队列中间件，直接由IBM的小型机、Oracle数据库、EMC存储设备来提供服务的，可想而知，我们的大并发场景，IOE是无法承受的，RocketMQ是由我们的国内的阿里巴巴在2010年开始由我们的阿里云的王坚博士组件团队，来处理我们的去IOE服务架构，也就产生了我们的RocketMQ中间件，经历了阿里巴巴内部的不断尝试和实践下，在2016年11月，阿里将RocketMQ捐献给Apache软件基金会，正式成为孵化项目，现在已经在我们Apache软件基金会毕业了，并且成为了Apache软件基金会的顶级项目。可想而知RocketMQ还是很成熟很可靠的。 　　说到这也就是知道了我们的RocketMQ可以于我们的消息中间件来传递我们的消息，还有很多广泛的应用场景，比如我们的异步处理事件，分布式事务协调，对于高并发的削峰平谷处理，MQ的思想还是很出众的，下面我们来先一下RocketMQ的安装吧。 安装单机（运行环境JDK版本:1.8.0_221以上） 　　1.下载。rocketmq版本:rocketmq-all