rocketmq高可用集群部署（RocketMQ-on-DLedger Group）

rocketmq部署架构

rocketmq部署架构非常多，都是为了解决一些问题，越来越高可用，越来越复杂。

  1. 单master模式

    这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

  2. 多master

    一个集群无Slave，全是Master，例如2个Master或者3个Master

    • 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
    • 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。

  3. 多master异步复制slave

    每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

    • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
    • 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

  4. 多master同步复制slave。

    每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

    • 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
    • 缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。

  5. RocketMQ-on-DLedger Group（可自动主从容灾）

    之前的几种方式，能解决数据冗余备份，一定高可用问题。但是master故障后，多master多slave架构能提供继续想slave消费数据。但是生产数据呢？这会导致生产服务中断不可用。所以又出现了RocketMQ-on-DLedger Group架构。可自主容灾。引入了DLedger工具。

rocketmq架构：

rocketmq高可用集群部署（RocketMQ-on-DLedger Group）_rocketmq

部署架构

部署架构：RocketMQ-on-DLedger Group

服务器数量3台。

部署操作步骤

  1. 官网下载rocketmq二进制包

    官网下载地址：http://rocketmq.apache.org/dowloading/releases/

  2. 解压并安装

    cd /opt
wget http://192.168.0.155:9999/rocketmq-all-4.9.1-bin-release.zip
unzip rocketmq-all-4.9.1-bin-release.zip 
mkdir /data/rocketmq-4.9.1-raftcluster

  3. 3台主机分别配置nameserver

    修改bin目录下的文件：runserver.sh，将jvm调整至1G。（由于我服务器资源内存有限）
    rocketmq高可用集群部署（RocketMQ-on-DLedger Group）_数据_02

  4. 3台主机分别启动nameserver

    cd ./bin   #切换到bin目录
nohup sh mqnamesrv > ./nameserver.log 2>&1 &

    每台nameserver是不需要互相通信，NameServer之间数据不同步。和hdfs的nameserver不是一样的概念。

    通过命令netstat -tunlp | grep 9876检查端口9876是否存在

  5. 编辑broker的配置文件

    第一台主机node0的配置（192.168.0.218）：vim ./conf/dledger/broker-n0.conf

    内容如下：

    brokerClusterName = RaftCluster  #集群名
brokerName=RaftNode00  #broker组名，建议和dLegerGroup名一致
listenPort=30911
namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node00
storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00  #dleger组名
dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
## must be unique
dLegerSelfId=n0  #每个dleger组下面的实例ip，保证唯一
sendMessageThreadPoolNums=4  #发送线程数，建议和服务器cpu一致

    第二台主机node1的配置（192.168.0.89）：vim ./conf/dledger/broker-n1.conf

    内容如下：

    brokerClusterName = RaftCluster  #集群名
brokerName=RaftNode00  #broker组名，建议和dLegerGroup名一致
listenPort=30911
namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node01
storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node01/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00  #dleger组名
dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
## must be unique
dLegerSelfId=n1   #每个dleger组下面的实例ip，保证唯一
sendMessageThreadPoolNums=4

    第三台主机node2的配置（192.168.0.77）：vim ./conf/dledger/broker-n2.conf

    内容如下：

    brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30911
namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node02
storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node02/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
## must be unique
dLegerSelfId=n2
sendMessageThreadPoolNums=4

  6. 修改3台broker的jvm大小，默认是8G

    在./bin目录下，由于我服务器没有8G内存，需修改jvm大小。

    vim runbroker.sh

rocketmq高可用集群部署（RocketMQ-on-DLedger Group）_高可用_03

  1. 每台实例启动broker实例进程

    cd /data/rocketmq-4.9.1-raftcluster/rocketmq-all-4.9.1-bin-release/bin  #安装路径

#在第一台服务器上启动broker
nohup ./mqbroker -c ../conf/dledger/broker-n0.conf > ./broker.log 2>&1 &

#在第二台服务器上启动broker
nohup ./mqbroker -c ../conf/dledger/broker-n1.conf > ./broker.log 2>&1 &

#在第三台服务器上启动broker
nohup ./mqbroker -c ../conf/dledger/broker-n2.conf > ./broker.log 2>&1 &

    验证：

    查看输出日志或者用netstat -tunlp | grep 30911命令查看端口是否启动

  2. 用命令行查看dleger集群的状态

    sh bin/mqadmin clusterList -n 127.0.0.1:9876

  3. 安装rocketmq-console的web管理页面(rocketmq-dashboard)

    备注：新版本rocketmq-console已经改名叫rocketmq-dashboard。

    rocketmq-dashboard下载地址为：https://github.com/apache/rocketmq-dashboard

    unzip rocketmq-dashboard-master.zip
cd rocketmq-dashboard-master
mvn clean package -Dmaven.test.skip=true  #打包如果失败，可以多尝试几次

#构建成功后，jar包在target目录里面

#启动rocketmq-dashboardd的jar包
java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar --rocketmq.config.namesrvAddr="192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876" --server.port=8080

    访问服务器的192.168.0.218:8080端口，能看到集群信息，如下：

rocketmq高可用集群部署（RocketMQ-on-DLedger Group）_服务器_04

  1. RocketMQ-on-DLedger Group集群部署完成。

其他

  1. rocketmq的默认日志文件在启动用户的家目录下的logs里面。

    如需变更需要修改以下3个文件

rocketmq高可用集群部署（RocketMQ-on-DLedger Group）_vim_05

  1. 本教程部署的RocketMQ-on-DLedger Group。只有一个分片，如果服务器数量充足，可以部署多分片。部署方式参考前面的操作步骤。只是部署更多的服务器，修改配置而已。