RocketMQ原理及架构 rocketmq机制

转载

小鱼儿 2023-12-14 10:10:52

文章标签 RocketMQ原理及架构长连接加载请求处理 文章分类 架构后端开发

RocketMQ原理深入:

一、定义：

RocketMQ是一款分布式、队列模型的消息中间件，有以下部分组成：

1、NameServer: 一个几乎无状态的节点，可集群部署，节点之间无任何信息同步

2、Broker:是RocketMQ的核心组成部分，通过轻量级的Topic和队列机制来维护消息存储，Broker支持消息Push和Pull模式。支持千亿级别的消息堆积能力

3、Producer:消息生产者，和NameServer通信获取topic路由信息，和NameServer保持长连接以及和该生产者关联的所有broker保持长连接

4、Consumer:消费者，单个消费者和一台nameserver保持长连接，定时查询topic配置信息，根据topic路由和broker保持长连接

二、Broker集群方式

1、单master模式：这种方式风险较大，一旦Broker 重启或者宕机时，会导致整个服务不可用，不建议线上环境使用。

2、多master模式：一个集群无 Slave，全是 Master，例如：3 个 Master

优点：配置简单，单个Master 宕机或重启维护对应用无影响，在磁盘配置为 RAID10 时，即使机器宕机不可恢复情况下，由与 RAID10 磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢）。性能最高。

缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到受到影响。

3、多master多slave模式、异步复制

每个 Master 配置一个 Slave，有多对Master-Slave，HA 采用异步复制方式，主备有短暂消息延迟，毫秒级。

优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为 Master 宕机后，消费者仍然可以从 Slave 消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。

缺点：Master 宕机，磁盘损坏情况，会丢失少量消息。

4、多master多slave、同步双写

每个 Master 配置一个 Slave，有多对Master-Slave，HA 采用同步双写方式，主备都写成功，向应用返回成功。

优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高

缺点：性能比异步复制模式略低，大约低 10%左右，发送单个消息的 RT 会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能。

三、RocketMQ架构图：

图片借鉴：

RocketMQ原理及架构 rocketmq机制_RocketMQ原理及架构

四、RocketMQ源码分析：

1、MQ功能模块：

RocketMQ原理及架构 rocketmq机制_加载_02

rocketmq-remoting：通信组件模块，提供通信需要的编码解码器，主要接口：

a、RemotingService：顶级接口
//nettyconfig配置启动NIO监听端口服务（ServerBootstrap）serverBootstrap.bind().sync()
    public void start();
//关闭服务端口
    public void shutdown();
//注册rpc响应钩子
public void registerRPCHook(RPCHook rpcHook);
b、RemotingServer：实现RemotingService,提供注册请求处理器和调用方式
c、RemotingClient：实现RemotingService,远程通信，Client接口
d、ChannelEventListener：提供链接，关闭，异常，空闲事件监听接口

主要接口图：

RocketMQ原理及架构 rocketmq机制_加载_03