本文采用多master+slave+nameservers的集群配置方式。


一、前提



1. 安装好JDK。JDK版本为1.6+ 64bit



2. 将alibaba-rocketmq-3.2.2.tar.gz上传到linux服务器。（现放到/opt/目录下）

     rocketmq下载地址：https://github.com/alibaba/RocketMQ/releases

     rocketmq github:      https://github.com/alibaba/RocketMQ

   1.赋权和解压源文件

>cd /opt/      


       >chmod        755       alibaba-rocketmq-       3.2       .       2       .tar.gz      


       >tar -zxvf ./alibaba-rocketmq-       3.2       .       2       .tar.gz

ROCKETMQ_HOME：

>       vi       /etc/profile

     添加：

ROCKETMQ_HOME=/opt/alibaba-rocketmq      


       export ROCKETMQ_HOME

   3.使配置立即生效：

>       source       /etc/profile      


       ##可以将$ROCKETMQ_HOME/bin加入到$PATH中，这样可以直接使用roketmq的bin目录程序

   4.增加系统启动后自动启动：

>       vi       /etc/rc      


       ##(以下为启动nameserver节点和启动broker节点，视生产环境添加启动规则)      


       ##启动nameserver节点      


       ##/opt/alibaba-rocketmq/local/start_nameserver.sh      


       ##启动broker节点      


       ##/opt/alibaba-rocketmq/local/start_broker.sh

 



二、Rocketmq配置

 1.默认没有local目录，在$ROCKETMQ_HOME下新一个local目录用于创建启动nameserver和broker节点管理。

  

>       mkdir       $ROCKETMQ_HOME       /local       ;       cd       $ROCKETMQ_HOME       /local      


       >       touch       start_nameserver.sh      





       #!/bin/sh      


       #ROCKETMQ_HOME最好重新指定，以免出错      


       #JAVA_HOME重新指定，用于使用不同的jdk      


       ROCKETMQ_HOME=       /opt/alibaba-rocketmq      


       export       ROCKETMQ_HOME      


       #mqnamesrv > ${console日志输出} 2>&1 &      


       #可以使用mqnamesrc -p >namesrc.p取到默认配置文件，后续使用       


       #./mqnamesrv -c namesrv.p加载配置（这样可以修改namesrv的端口号，注意所有配置文#件格式为utf8最好。windows shell >出来的有问题）      


       nohup       $ROCKETMQ_HOME       /bin/mqnamesrv       -c $ROCKETMQ_HOME       /bin/namesrv       .properties >$ROCKETMQ_HOME       /log/mqnamesrv       .log 2>&1 &

>       touch       start_borker.sh      


       #!/bin/sh      


       #ROCKETMQ_HOME最好重新指定，以免出错      


       #JAVA_HOME重新指定，用于使用不同的jdk      


       ROCKETMQ_HOME=       /opt/alibaba-rocketmq      


       export       ROCKETMQ_HOME      


       #mqbroker [-n ${nameserver地址}] -c ${broker的配置文件} > ${console日志输出} 2>&1 &       


       nohup       $ROCKETMQ_HOME       /bin/mqbroker       -c $ROCKETMQ_HOME       /bin/broker       .properties >$ROCKETMQ_HOME       /log/mqbroker       .log 2>&1 &

>       touch       stop_nameserver.sh      


       #!/bin/sh      


       #注释为杀进程方式关闭服务      


       #ps -ef |grep '../bin/mqnamesrv' |awk '{if($8!="'grep'") {print $2;exit}}'  |while read pid      


       #        do      


       #                kill $pid      


       #        done       


       $ROCKETMQ_HOME       /bin/mqshutdown       namesrv

>       touch       stop_borker.sh      


       #!/bin/sh      


       $ROCKETMQ_HOME       /bin/mqshutdown       broker

注意ROCKETMQ_HOME地址、nameserver地址更改、broker的配置文件地址

2.修改namesrv和broker的配置：

  修改namesrv配置：

>       cd       $$ROCKETMQ_HOME       /bin      


       >.       /mqnamesrv       -p > namesrv.properties      


       #可以通过./namesrv.properties修改namesrv的端口号      


       #启动时按./mqnamesrv -c ./namesrv.properties 启动加载配置

  修改borker配置：

>       cd       $ROCKETMQ_HOME       /bin      


       >broker -m broker.properties       


       # (当没有时可以使用此命令创建；此文件其实是.properties的文件。可以按.properties规则修改文件内容)

   cat broker.p显示以下内容：

namesrvAddr=192.168.45.214:9876      


       brokerIP1=192.168.45.214      


       brokerName=ROCKETMQAH      


       brokerClusterName=DefaultCluster      


       brokerId=0      


       autoCreateTopicEnable=       true      


       autoCreateSubscriptionGroup=       true      


       rejectTransactionMessage=       false      


       fetchNamesrvAddrByAddressServer=       false      


       storePathRootDir=       /opt/alibaba-rocketmq/store      


       storePathCommitLog=       /opt/alibaba-rocketmq/store/commitlog      


       storePathConsumeQueue=       /opt/alibaba-rocketmq/consumequeue      


       storePathIndex=       /opt/alibaba-rocketmq/index      


       storeCheckpoint=       /opt/alibaba-rocketmq/checkpoint      


       abortFile=       /opt/alibaba-rocketmq/abort      


       flushIntervalCommitLog=1000      


       flushCommitLogTimed=       false      


       deleteWhen=04      


       fileReservedTime=72      


       maxTransferBytesOnMessageInMemory=262144      


       maxTransferCountOnMessageInMemory=32      


       maxTransferBytesOnMessageInDisk=65536      


       maxTransferCountOnMessageInDisk=8      


       accessMessageInMemoryMaxRatio=40      


       messageIndexEnable=       true      


       messageIndexSafe=       true      


       haMasterAddress=      


       brokerRole=ASYNC_MASTER      


       flushDiskType=SYNC_FLUSH      


       cleanFileForciblyEnable=       false

   说明：

   1.namesrvAddr的地址，可以使用broker -n xxx.xxx.xxx.xxx方式指定。

   2.listenPort=10911（默认为10911）可以指定broker的服务开放地址。

   3.几个文件保存的地方需要重新指定，默认保存到use_dir下

   4.brokerName表示集群master组名称，同一个master+slave共用相同的brokerName。

   5.brokerClusterName 建议配置为同一个名称。

   6.brokerId为0时表示的master;大于0时表示slave;

   7.brokerRole 有ASYNC_MASTER异步master；SYNC_MASTER表示同步master；SLAVE表示slave

   8:flushDiskType表示producer到broker的处理方式：SYNC_FLUSH表示同步到文件后返回成功；ASYNC_FLUSH表示broker接收到后立即返回生产者成功，后续再同步到文件中

   9:cleanFileForciblyEnable 表示磁盘满后处理方式：true表示满后删除接收的文件。False表示立即停止服务。

broke.p的详细配置可以参考《RocketMQ Developer Guide.pdf》中的broker使用指南 的说明。

3.修改日志配置：

ROCKETMQ_HOME}。


三、集群配置要修改说明

   一、nameserver集群配置说明：

        多个nameserver的配置：

  • 在另一台主机启动一个./start_nameserver.sh 这个不用修改
  • 修改所有的borker的启动方式(配置了一个改为两个nameserver情况)，vi ./start_borker.sh 改 -n 192.168.45.214:9876 为-n ‘192.168.45.214:9876;192.168.56.46:9876’
  • 所有的客户端程序（即producer，consumer） xxxx..setNamesrvAddr("192.168.45.214:9876;192.168.56.46:9876");

   二、borker节点结群说明：

   1.查看并修改nameserver节点配置

    完成（一、前提）的情况下，修改$ROCKETMQ_HOME/local 下的start_nameserver.sh 的$ROCKETMQ_HOME内容。

>       cd       $$ROCKETMQ_HOME       /local      


       >       vi       start_nameserver.sh      


       #修改$ROCKETMQ_HOME，修改为当前的rocketmq地址，如果没有变化不用做修改

   管理nameserver节点：启动./start_nameserver.sh 停止./stop_nameserver.sh

   2.查看并修改broker_master节点配置：

  修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

  •   修改brokerIP1 为本机IP；
  •   brokerName 为定义的master组名称；
  •   brokerId 填0；
  •   brokerRole 选择MASTER相关选项；
  •   flushDiskType值选择borker回复方式；

  启用./start_broker.sh 停止./stop_broker.sh

    3.修改和配置broker_slave节点：

     1.完成前提的情况下，修改$ROCKETMQ_HOME/local 下的start_broker.sh 的$ROCKETMQ_HOME内容和${nameserver地址}；。

     2.修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

  • 修改brokerIP1 为本机IP,
  • brokerName 为定义的master组名称
  • brokerId 填大于0
  • brokerRole 选择SLAVE
  • flushDiskType值选择borker回复方式

     启用./start_broker.sh 停止./stop_broker.sh



四、客户端开发

          Producer，consumer在初始化时配置参考《RocketMQ Developer Guide.pdf》中的客户端 API 形式。

          注意consumer返回时:

           ConsumeConcurrentlyStatus.CONSUME_SUCCESS;--表示消费成功

           ConsumeConcurrentlyStatus.RECONSUME_LATER;--表示处理失败，并后面请broker过一定时间后再次下发。

           consumer.setMessageModel(MessageModel.BROADCASTING);--表示广播消费，也就是每个master都要撸一次。默认是MessageModel.CLUSTERING 这个《RocketMQ Developer Guide.pdf》写错了，表集群处理模式，一个请求只被一个master节点处理一次，要以自个测试结果为准。后续最好看下源码。



五、监控程序rocketmq_console和集群验证

监控为一个外置war文件，下载地址为：

    https://github.com/rocketmq/rocketmq-console.git

  • 使用MAVEN进行编译（附件中有编好的war包）
  • 下载后，需修改：src/main/resources/config.properties：

              Rocketmq.namesrv.addr内容，指向nameserver地址

验证：

 http://localhost:8080/rocketmq-console/cluster/list.do 显示情况

     以下为只有一个master+slave；多个master组合时，会出现多个这样的表格内容。

 

   1.查看http://localhost:8080/rocketmq-console/cluster/list.do节点情况（主要查看是否以master+slave为组的，一组一组的列表显示；注意#Broker_name是否为borker.p配置的地址和端口号（目前rocketmq在配置失效后，会使用默认的配置，所以需要查下是否配置正确））



六、问题说明

          本文档采用的是，多nameserver+master+slave(一个master只有一个slave，没有必要多个slave)。

          1.master停掉后不切到slave进行处理。

            首先slave只处理consumer的内容，即只负责发内容到consumer。当master停止后，这个master+slave的组合并不能再接收producer的任务。只能将自个没有处理完成的处理掉。这时producter的任务会分配给其它master节点进行处理。

          2.$ROCKETMQ_HOME/bin下面的exe不能执行：

             bin里面的exe程序，是用64位编译的，exe程序不支持32位的系统；jdk也最好是64位的。

          4.为什么broker broker.p 地址不能生效

             window shell 执行mqbroker -m > broker.p生成的文件编码有问题。java后面解析不出来。生成的配置文件最好为utf-8文件。

          5.后面遇到再说明：



七、附件

RocketMQ Developer Guide.pdf

rocketmq_ext.zip   (local目录文件和配置文件及conf修改)

rocketmq-console.war console客户端

       



八、参考文档

       《RocketMQ Developer Guide.pdf》