java rocketmq断开重连

转载

flybirdfly 2024-10-21 12:20:16

文章标签 java rocketmq断开重连系统架构分布式 rabbitmq java 文章分类 Java 后端开发

文章目录

架构

生产者（Producer）
消费者（Consumer）
Name Server

功能：
路由注册：

无状态方式的优缺点：

路由剔除：
路由发现：
客户端NameServer选择策略

Broker

功能
模块图
集群部署

工作流程

流程：
Topic的创建模式
读/写队列

架构

java rocketmq断开重连_java

RocketMQ主要分为四部分组成：

生产者（Producer）

消息生产者，负责生产消息。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟
RocketMQ中的消息生产者都是以生产者组（Producer Group）的形式出现的。生产者组是同一类生产者的集合，这类Producer发送相同Topic类型的消息。一个生产者组可以同时发送多个主题的消息。

消费者（Consumer）

消息消费者，负责消费消息。一个消息消费者会从Broker服务器中获取到消息，并对消息进行相关业务处理。
RocketMQ中的消息消费者都是以消费者组（Consumer Group）的形式出现的。

消费者组是同一类消费者的集合，这类消费者消费的是同一个Topic类型的消息。消费者组使得在消息消费方面，实现负载均衡（将一个Topic中的不同的队列平均分配给同一个消费者组的不同的消费者，注意，并不是将消息负载均衡）和容错（一个消费者挂了，该消费者组中的其它消费者可以接着消费原消费者消费的队列）的目标变得非常容易。

Name Server

功能：

Name Server是一个Broker与Topic路由的注册中心，支持Broker的动态注册与发现

主要包括两个功能：

**Broker管理：**接受Broker集群的注册信息并且保存下来作为路由信息的基本数据，提供心跳检测机制以检查Broker是否存活

心跳机制是定时发送一个自定义的结构体(心跳包)，让对方知道自己还活着，以确保连接的有效性的机制

路由信息管理： 每个Name Server中都保存着Brocker集群的整个路由信息和用于客户端查询的队列信息。Producer和Consumner通过Name Server可以获取整个Broker集群的路由信息，从而进行消息的投递和传递。

路由注册：

Name Server通常也是以集群的方式部署，不过Name Server是无状态的，即NameServer集群中的各个结点是无差异的，各结点之间不进行通讯。在Broker节点启动时，轮询NameServer列表，与每个NameServer节点建立长链接，发起注册请求。在NameServer内部维护着一个Broker列表，用来动态存储Broker的信息
Broker节点为了证明自己是活着的，为了维护与NameServer间的长连接，会将最新的信息以心跳包的方式上报给NameServer，每30秒发送一次心跳。心跳包中包含 BrokerId、Broker地址(IP+Port)、 Broker名称、Broker所属集群名称等等。NameServer在接收到心跳包后，会更新时间戳，记录这个Broker的最新存活时间。

无状态方式的优缺点：

优点：

NameServer集群搭建简单
易扩容

缺点：

必须对Broker指明所有Name Server地址，未指明的将不会被注册，所以Name Server不能随便扩容。若Broker不重新配置，新增的NameServer对Broker来说是不可见的，不会注册到Broker。

路由剔除：

由于Broker关机、宕机、网络等原因，NameServer没有收到Broker的心跳，就有可能将其从列表中删除
Name Server有一个定时任务，每隔十秒就会扫描一次Broker表，查看每个Broker的最新心跳时间戳，检验与当前时间差是否超过120秒，若超过，则判定Broker失效，将其从Broker表中剔除。

路由发现：

RocketMQ的路由发现采用的是Pull模型。当Topic路由信息变化时，Name Server不会主动推送给客户端，而是客户端定时拉取主题最新的路由。默认30秒拉取一次

客户端NameServer选择策略

客户端指的是Producer与Consumer

客户端在配置时必须要写上NameServer集群的地址，那么客户端到底连接的是哪个NameServer节点呢？客户端首先会生产一个随机数，然后再与NameServer节点数量取模，此时得到的就是所要连接的节点索引，然后就会进行连接。如果连接失败，则会采用round-robin策略，逐个尝试着去连接其它节点。

首先采用的是随机策略进行的选择，失败后采用的是轮询策略。

Broker

功能

Broker充当着消息中转角色，负责存储消息、转发消息。Broker在RocketMQ系统中负责接收并存储从生产者发送来的消息，同时为消费者的拉取请求作准备。Broker同时也存储着消息相关的元数据，包括消费者组消费进度偏移offset、主题、队列等

模块图

java rocketmq断开重连_分布式_02

Remoting Module：Broker的实体，负责处理Client端的请求，实体实际由以下几个模块构成

Client Manager：客户端管理器。负责接收、解析客户端（Producer、Consumer）请求，管理客户端。如维护Consumer的Topic订阅信息
Store Server：存储服务，提供方便简单的API接口，处理 消息存储到物理硬盘和消息查询功能
HA Service：高可用服务，提供Master Broker和Slave Broker之间的数据同步功能
Index Service：索引服务，根据特定的Message Key，对投递到Broker的消息进行索引服务，同时也提供根据Message Key快速查询消息的功能。

集群部署

java rocketmq断开重连_分布式_03

为了增强Broker性能与吞吐量，Broker一般都是以集群形式出现的。各集群节点中可能存放着相同Topic的不同Queue。
如果某Broker节点宕机，保证数据不丢失的解决方案是：将每个Broker集群节点进行横向扩展，即将Broker节点再建为一个HA集群，解决单点问题。
Broker节点集群是一个主从集群，即集群中具有Master与Slave两种角色。Master负责处理读写操作请求，Slave负责对Master中的数据进行备份。当Master挂掉了，Slave则会自动切换为Master去工作。所以这个Broker集群是主备集群。一个Master可以包含多个Slave，但一个Slave只能隶属于一个Master。
Master与Slave 的对应关系是通过指定相同的BrokerName、不同的BrokerId 来确定的。BrokerId为0表示Master，非0表示Slave。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。

工作流程

流程：

启动NameServer，NameServer启动后开始监听端口，等待Broker Producer Consumer 连接
启动Broker时，Broker会与所有的Name Server建立并保持长连接，然后每30秒向Name Server定时发送心跳包
发送消息前，可以先创建Topic，创建Topic 时需要指定该Topic要存储在哪些Broker上，也会将Topic和Broker的关系写入到Name Server中（也可以选择在发送消息的时候自动创建Topic）。
Producer发送消息，启动时先跟Name Server集群中的其中一台建立长连接，并从Name Server中获取路由信息，即当前发送的Topic消息的Queue队列与Broker地址（IP：port）的映射关系。然后根据算法策略从队列选择一个Queue，与队列所在的Broker建立长连接从而向Broker发送消息。当然在获取到路由信息后，Producer会首先将路由信息缓存到本地。再每30秒从Name Server更新一次路由信息。
Consumer跟Producer类似，跟其中一台Name Server建立长连接，获取其所订阅Topic的路由信息，然后根据算法策略从路由信息中获取到其所要消费的Queue，然后直接跟Broker建立长连接，开始消费其中的消息。Consumer在获取到路由信息后，同样也会30秒从Name Server更新一次路由信息，不过Consumer还会发送心跳，以确保Broker的存活。