准备工作:

一、首先准备linux环境 使用了两个虚拟机系统 版本为Centos 7  ip地址固定为192.168.194.128 192.168.194.129

rocketmq环境搭建 java版本 rocketmq搭建集群_配置文件

 安装好JDK MAVEN 配置好对应环境变量

二、RocketMQ的集群模式有很多种:单Master(可用性低 不安全) 多Master(无Slave) 多Master多Slave

对于有主有从的模式,其中集群的写模式分两种:1)同步双写 主从都写成功后才返回成功 2)异步复制 主写成功后复制给从

本次使用多Master模式搭建 也就是两台机器都为主节点

三、为了方便之后两台机器互相访问 修改两个机器的hosts文件  vim /etc/hosts 增加如下内容

rocketmq环境搭建 java版本 rocketmq搭建集群_rocketmq_02

 之后重启网络服务 service network restart 并测试是否能成功ping通


开始部署:

一、安装:

首先下载RocketMQ源码包  https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.4.0/rocketmq-all-4.4.0-source-release.zip

然后在linux中用解压 使用maven编译  编译过程耗时五到十分钟左右 编译成功后会在distribution/target/下生成可执行的项目

> unzip rocketmq-all-4.4.0-source-release.zip
  > cd rocketmq-all-4.4.0/
  > mvn -Prelease-all -DskipTests clean install -U
  > cd distribution/target/apache-rocketmq

为了方便我将这个文件夹创建了软连接到/usr/loacl/ 下

rocketmq环境搭建 java版本 rocketmq搭建集群_rocketmq环境搭建 java版本_03


二、配置修改

1)在rocketmq下新建了/store /store/commitlog /store/consumequeue /store/index  /store/checkpoint  /store/abort几个文件夹用来存放mq的一些数据等

2)rocketmq的配置文件在conf文件夹下这里有三个文件夹  

rocketmq环境搭建 java版本 rocketmq搭建集群_vim_04

 是官方提供的三种配置:

2主2从异步 2主2从同步 2主0从 

我使用的将是2m-noslave cd到里面看见有两个broker的配置文件 a 和 b 每台机器使用一个配置

如果有三台主机就再在每台机器上加个broker-c.properties

#集群名 要一致
brokerClusterName=rocketmq-cluster
#a配置文件就是broker-a b配置文件就是broker-b
brokerName=broker-a
#为0 是master 若>0 是slave
brokerId=0
#指定namesrv地址
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#默认topic数
defaultTopicQueueNums=4
#是否开启自动创建topic 建议线下开启线上关闭
autoCreateTopicEnable=true
#自动创建订阅组
autoCreateSubscriptionGroup=true
#对外提供服务的端口
listenPort=10911
#每天凌晨4点删除数据
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=30000
diskMaxUsedSpaceRatio=88
#mq的数据 日志等存放位置 store文件夹为自行创建
storePathRootDir=/usr/local/rocketmq/store
storePathCommitLog=/usr/local/rocketmq/store/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
storePathIndex=/usr/local/rocketmq/store/index
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
abortFile=/usr/local/rocketmq/store/abort
maxMessageSize=65536
#异步复制的master
brokerRole=ASYNC_MASTER
#异步刷盘
flushDiskType=ASYNC_FLUSH

对b配置文件进行相同的修改 只是brokerName稍有不同 这样两份配置文件除了brokerName不同 其余均相同

3)为了查看日志方便 修改一下rocketmq的日志配置文件

执行 cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml 进行替换

4)虚拟机内存并不多 所以要修改一下rocketmq的jvm启动参数

     首先是broker的启动脚本  vim /usr/local/rocketmq/bin/runbroker.sh 

     

rocketmq环境搭建 java版本 rocketmq搭建集群_jar_05

  将堆的初始化大小与最大大小设为1g 新生代设为512m 这里要注意不能将初始化大小设置太小 最小1g 太小了启动不起来

 其次是namesrv的启动脚本 vim /usr/local/rocketmq/bin/runserver.sh 进行同样的修改即可   这样所以配置都完成了


三、启动

1)rocketmq分nameserver与broker 注意启动时需要先启动两台机器的nameserver 再启动broker

    关闭时要先关闭broker 再关闭nameserver

2)先进入bin目录:  cd /usr/local/rocketmq/bin 

其中 mqadnin是管理员命令,mqnamesrv是NameServer,mqbroker是Broker

3)使用守护线程的方式启动两台机器的 nameserver:nohup sh mqnamesrv &

jps查看一下nameserver是否成功启动了

rocketmq环境搭建 java版本 rocketmq搭建集群_rocketmq_06

 NameSrvStartup对应刚才的命令

4)使用守护线程的方式启动两天机器的broker 这里要注意启动时指定的配置文件是有区别的

192.168.194.128机器上执行:nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

192.168.194.129机器上执行:nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &

第一台使用的broker-a 第二台使用的broker-b配置文件 若要查看启动日志 直接查看本目录下nohup.out文件即可 

jps查看  

rocketmq环境搭建 java版本 rocketmq搭建集群_配置文件_07

  两台机器都成功启动了namesrv和broker

这样集群就搭建完毕了


四、控制台部署

但是rocketmq是不像activemq自带控制台的

为了方便查看集群状态与查看是否成功部署 我们安装一个控制台

下载地址:  https://github.com/apache/rocketmq-externals/releases/tag/rocketmq-console-1.0.0

下载成功后 需要改一下配置application.properties

 namesrv地址:

rocketmq环境搭建 java版本 rocketmq搭建集群_rocketmq_08

    端口可以自定义 默认8080

然后使用mvn -package命令打包 我是直接使用的idea打包的 也可以直接使用命令行方式

打包成功后 在target文件夹下会出现一个jar包: rocketmq-console-ng-1.0.0.jar 这就是我们要使用的控制台了

将其放到其中一台机器上 我这里放到了192.168.194.128的 /software/文件夹下  然后

直接后台启动它  nohup java -jar rocketmq-console-ng-1.0.0.jar &

打开浏览器 访问192.168.194.128:8080 

rocketmq环境搭建 java版本 rocketmq搭建集群_配置文件_09

在控制台可以查看集群的信息 成功!