1. 技术文章
  2. SpringBoot高级——消息中间件

SpringBoot高级——消息中间件

由 半城伤御伤魂 提交于 2019-11-30 21:53:43

一、概述
 1、大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力
 2、消息服务中的两个重要概念：消息代理(message broker，即消息中间件服务器)和目的地(destination)
  当消息发送者发送消息以后，将由消息代理接管，消息代理保证消息传递到指定目的地。
 3、消息队列主要有两种形式的目的地
  队列(queue)：点对点消息通信(point-to-point)
   消息发送者发送消息，消息代理将其放入一个队列中，消息接收者从队列中获取消息内容，消息读取后被移出队列
   消息只有唯一的发送者和接受者，但并不是说只能有一个接收者，这是因为消息一旦被消费就会从队列中移除
  主题(topic)：发布(publish)/订阅(subscribe)消息通信
   发送者(发布者)发送消息到主题，多个接收者(订阅者)监听(订阅)这个主题，那么就会在消息到达时同时收到消息，不同于点对点的方式，在点对点的方式中一旦一个接收者处理了消息，消息就会被移除，那么其他的接收者就不会再去处理，而订阅的方式则是所有的接收者都会对该消息做出相应处理

二、使用场景
 1、异步处理
在这里插入图片描述
  在用户注册时给用户发送短信和邮件，但是短信和邮件并不需要在注册成功已完成就发送，因此可以异步处理
 2、应用解耦
在这里插入图片描述
 3、流量削峰
在这里插入图片描述
  比如秒杀：在10万个客户秒杀1万个商品的时候，每个客户点击都发送一次请求，这时如果将每个请求都进行判断(商品是否已被秒杀完，然后响应秒杀结果)是很慢的，可以先将前1万个请求写入消息队列并响应秒杀成功，后续的9万个请求直接响应秒杀失败，然后秒杀的具体处理服务再从队列中获取前一万个请求进行处理。

三、消息服务规范
 1、JMS(Java Message Service)：JAVA消息服务，基于JVM消息代理的规范，ActiveMQ、HornetMQ是JMS的实现
 2、AMQP(Advanced Message Queuing Protocol)：高级消息队列协议，也是一个消息代理的规范，兼容JMS，RabbitMQ是AMQP的实现
 3、对比：
在这里插入图片描述
 4、支持：
  a、Spring支持：
   spring-jms提供了对JMS的支持
   spring-rabbit提供了对AMQP的支持
   需要ConnectionFactory的实现来连接消息代理
   提供JmsTemplate、RabbitTemplate来发送消息
   @JmsListener(JMS)、@RabbitListener(AMQP)注解在方法上监听消息代理发布的消息
   @EnableJms、@EnableRabbit开启支持
  b、Spring Boot自动配置
   JmsAutoConfiguration
   RabbitAutoConfiguration

四、RabbitMQ简介
 1、简介：RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。
在这里插入图片描述
 2、核心概念
  a、Message
   消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出该消息可能需要持久性存储)等。
  b、Publisher
   消息的生产者，也是一个向交换器发布消息的客户端应用程序。
  c、Exchange
   交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
   Exchange有4种类型：direct(默认，处理点对点模式的消息)、fanout、topic、 和headers(后三个都是处理主题订阅模式的消息)，不同类型的Exchange转发消息的策略有所区别。
  d、Queue
   消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。
  e、Binding
   绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。
   Exchange 和Queue的绑定可以是多对多的关系。
  f、Connection
   网络连接，比如一个TCP连接。
  g、Channel
   信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接，AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP连接(Connection) 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。
  h、Consumer
   消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。
  i、Virtual Host
   虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。
  j、Broker
   表示消息队列服务器实体
 总结：一个Brokker中可能有多个虚拟主机(vhost)，一个虚拟主机中可能有多个交换器(Exchange)，一个交换器可能绑定多个队列(Queue)，一个队列也可能被多个交换器绑定，消费者在消费某个队列的消息时需要建立连接(Connection)，由于建立连接的开销比较大，因此引入了信道(Channel)的概念，一个连接中拆分出多个信道，分别负责连接不同的队列。

五、RabbitMQ的消息路由机制
 1、概述
  AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别，AMQP 中增加了 Exchange 和 Binding 的角色。生产者把消息发布到 Exchange 上，消息最终到达队列并被消费者接收，而 Binding 决定交换器的消息应该发送到那个队列。
在这里插入图片描述
 2、类型
  Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键， headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了。
   a、Direct
在这里插入图片描述
   消息中的路由键(routing key)如果和 Binding 中的 binding key 一致， 交换器就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定的交换机要求路由键为“dog”，则只转发 routing key 标记为“dog”的消息，不会转发“dog.puppy”，也不会转发“dog.guard”等等。它是完全匹配、单播的模式。
  b、Fanout
在这里插入图片描述
   每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去，类似于广播。fanout 交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播，每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。
  c、Topic
在这里插入图片描述
   topic 交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号“*”。#匹配0个或多个单词，*匹配一个单词。

六、安装和测试RabbitMQ
在这里插入图片描述
 1、安装RabbitMQ：Docker方式
在这里插入图片描述
  截图中的端口有误：应该是5672和15672
  安装并启动之后就可以通过访问15672这个端口来访问到rabbitmq的应用服务了：
在这里插入图片描述
  默认账号和密码都是guest
 2、添加交换器(Exchanges)
在这里插入图片描述
  按照整合的要求添加三个交换器：
在这里插入图片描述
 3、添加队列(Queue)
在这里插入图片描述
  按照需求添加的队列：
在这里插入图片描述
 4、将队列和交换器绑定
  点击每一个交换器，在页面中都绑定添加的四个队列：
在这里插入图片描述
  绑定后：
在这里插入图片描述
  在绑定topic类型的交换器时路由键有点不同，可以写通配符：
在这里插入图片描述
 5、测试：可以选择任何一个交换器进行测试
在这里插入图片描述
  消息发送后可以在消息队列中查看到消息的内容:
   队列列表变化：
在这里插入图片描述
   查看消息：
在这里插入图片描述
   发送消息时填写的路由键是任意的，不一定和绑定时一样。
  通过测试可以发现：
   ①direct类型的交换器发布的消息只能由完全匹配路由键的队列接收到
   ②fanout类型的交换器发布的消息可由所有绑定到该交换器的队列接收，和路由键没有关系
   ③topic类型的交换器发布的消息则可由通配符匹配到的与该交换器绑定的队列接收到

七、整合RabbitMQ
 1、创建一个新的工程，引入RabbitMQ和Web模块(为了测试方便)：

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-web</artifactId>
</dependency>

 2、在主配置文件中配置RabbitMQ的相关信息：

spring.rabbitmq.host=192.168.2.107
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
#spring.rabbitmq.port=5672 # 默认即为5672,可不配置
#spring.rabbitmq.virtual-host=/ # 默认即为/,可不配置

 3、发送和接收消息测试：常用两种方式
  ①RabbitTemplate.send(String exchange, String routingKey, Message message)：这种方式需要自己构造一个Mesage(该对象封装了消息头和消息体)对象，在需要复杂的消息头时使用
  ②RabbitTemplate.convertAndSend(String exchange, String routingKey, Object object)：该方法直接将object对象作为消息体进行序列化并发送给RabbitMQ，默认是采用Java的序列化机制，是最常用的消息发送方法

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringbootAmqpApplicationTests {

    @Autowired
    RabbitTemplate rabbitTemplate;

    @Test
    public void contextLoads() {

        Map<String,Object> map = new HashMap<>();
        map.put("msg","第一个消息");
        map.put("data", Arrays.asList("helloworld",123,true));
        //默认是采用Java的序列化机制
        rabbitTemplate.convertAndSend("exchange.direct","atguigu.news",map);
    }

    @Test
    public void receive(){
        Object o = rabbitTemplate.receiveAndConvert("atguigu.news");
        System.out.println(o.getClass());//class java.util.HashMap
        System.out.println(o);//{msg=第一个消息, data=[helloworld, 123, true]}
        
    }

}

  发送消息是发送给交换器，由交换器根据路由键判断发往哪些队列；取消息是通过队列，直接从队列中获取，每获取一次，该队列中的消息就会减少一个。
 4、自定义消息发送的序列化机制：采用JSON格式

@Configuration
public class MyAMQPConfig {
    
    @Bean
    public MessageConverter messageConverter(){
        return new Jackson2JsonMessageConverter();
    }
}

  有了该自定义的MessageConverter，在使用RabbitTemplate发送和接收消息时都会采用JSON的序列化机制。

八、SpringBoot整合RabbitMQ的原理
 1、在RabbitAutoConfiguration类中配置了CachingConnectionFactory(连接工厂)：

@Bean
public CachingConnectionFactory rabbitConnectionFactory(RabbitProperties config) throws Exception {
	RabbitConnectionFactoryBean factory = new RabbitConnectionFactoryBean();
	if (config.determineHost() != null) {
		factory.setHost(config.determineHost());
	}

	factory.setPort(config.determinePort());
	if (config.determineUsername() != null) {
		factory.setUsername(config.determineUsername());
	}

	if (config.determinePassword() != null) {
		factory.setPassword(config.determinePassword());
	}

	if (config.determineVirtualHost() != null) {
		factory.setVirtualHost(config.determineVirtualHost());
	}
	//...
}

 2、连接工厂可以通过RabbitProperties获取到RabbitMQ的配置信息：

@ConfigurationProperties(prefix = "spring.rabbitmq")
public class RabbitProperties {
    private String host = "localhost";
    private int port = 5672;
    private String username;
    private String password;
    private final RabbitProperties.Ssl ssl = new RabbitProperties.Ssl();
    private String virtualHost;
    private String addresses;
    private Integer requestedHeartbeat;
    private boolean publisherConfirms;
    private boolean publisherReturns;
    private Integer connectionTimeout;
    private final RabbitProperties.Cache cache = new RabbitProperties.Cache();
    private final RabbitProperties.Listener listener = new RabbitProperties.Listener();
    private final RabbitProperties.Template template = new RabbitProperties.Template();
    private List<RabbitProperties.Address> parsedAddresses;
	//...
}

  RabbitProperties封装了RabbitMQ的配置信息，这样我们就可以在主配置文件中配置以spring.rabbitmq为前缀的RabbitMQ的配置信息了。
 3、RabbitAutoConfiguration中还注册了RabbitTemplate，通过RabbitTemplate给RabbitMQ发送和接收消息
 4、RabbitAutoConfiguration中还注册了AmqpAdmin，AmqpAdmin是RabbitMQ的系统管理功能组件，通过AmqpAdmin来创建交换器和队列等

九、消息的监听
  分布式系统中，当A系统向消息队列写入一个需要B系统处理的消息后，怎么通知B系统处理呢？这就需要B系统对消息队列进行监听。SpringBoot为我们提供了相应的注解。
 1、开启基于注解的RabbitMQ：主启动类加注解@EnableRabbit

@EnableRabbit
@SpringBootApplication
public class SpringbootAmqpApplication {

    public static void main(String[] args) {
        SpringApplication.run(SpringbootAmqpApplication.class, args);
    }

}

 2、使用@RabbitListener来设置监听的队列

@Service
public class BookService {

    @RabbitListener(queues = "atguigu.news")
    public void receive(Book book){
        System.out.println(book);
    }
}

  此时只要队列atguigu.news中有消息进入，RabbitMQ就会回调该receive()，并将队列中的消息体反序列化为入参的类型，因此在这种监听方式下如果类型不对应就会报错。最好的方式是通过消息头进行类型判断，然后再进行类型转换：

@RabbitListener(queues = "atguigu")
public void receiveMsg(Message message){
	System.out.println(message.getMessageProperties());//消息头信息
	System.out.println(message.getBody());//消息体
}

  这种方式下RabbitMQ会在回调receiveMsg()时将消息内容封装为Message对象作为方法的入参传入，我们可以在获取到消息头信息后判断消息体的类型，然后再决定转换为何种类型，这样就不会出错了。

十、AmqpAdmin管理组件的使用
  通过AmqpAdmin可以在程序中创建(declareXxx)和删除(removeXxx)交换器(Exchange)、队列(Queue)、绑定(Binding)等对象。

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringbootAmqpApplicationTests {

    @Autowired
    AmqpAdmin amqpAdmin;

    @Test
    public void create() {
        //创建交换器
        Exchange exchange = new DirectExchange("amqpAdmin.exchange");
        amqpAdmin.declareExchange(exchange);
        //创建队列:第二个参数表示是否持久化
        amqpAdmin.declareQueue(new Queue("amqpAdmin.queue", true));
        //创建绑定:参数(名称，绑定目的地，交换器，路由键，参数)
        Binding binding = new Binding("amqpadmin.queue", Binding.DestinationType.QUEUE, "amqpadmin.exchange", "amqp.haha", null);
        amqpAdmin.declareBinding(binding);
    }
}

  删除操作类似

标签
消息队列
amqp
消息中间件
全热交换器
路由
RabbitMQ
exchange
科技新闻
易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!