springboot rocketmq 配置 namespace rocketmq配置详解

RocketMQ

简介：
Name Server:是一个几乎无状态节点，可集群部署，节点之间无任何信息同步
Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的Broker Name，不同的Broker Id来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。
每个Broker与Name Server集群中的所有节点建立长连接，定时(每隔30s)注册Topic信息到所有Name Server。Name Server定时(每隔10s)扫描所有存活broker的连接，如果Name Server超过2分钟没有收到心跳，则Name Server断开与Broker的链接
Producer与Name Server集群中的其中一个节点(随机选择)建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。
Producer每隔30s（由ClientConfig的pollNameServerInterval）从Name server获取所有topic队列的最新情况，这意味着如果Broker不可用，Producer最多30s能够感知，在此期间内发往Broker的所有消息都会失败。
Producer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s中扫描所有存活的连接，如果Broker在2分钟内没有收到心跳数据，则关闭与Producer的连接
Consumer与Name Server集群中的其中一个节点(随机选择)建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。
Consumer每隔30s从Name server获取topic的最新队列情况，这意味着Broker不可用时，Consumer最多最需要30s才能感知。
Consumer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s扫描所有存活的连接，若某个连接2分钟内没有发送心跳数据，则关闭连接；并向该Consumer Group的所有Consumer发出通知，Group内的Consumer重新分配队列，然后继续消费。
当Consumer得到master宕机通知后，转向slave消费，slave不能保证master的消息100%都同步过来了，因此会有少量的消息丢失。但是一旦master恢复，未同步过去的消息会被最终消费掉。

Rocketmq的三种自带模式为：
1： 双MASTER : 优点配置简单，快捷 但是一旦MASTER机器宕机或出现问题就无法提供服务
2：双MASTER双SLAVE 同步双写：
比异步复制的性能差10% 但能保证数据不丢失
3： 双MASTER双SLAVE 异步复制：
性能最好，但是遇到突发情况会有少量数据丢失
以centOS7（4台）,rocketMQ4.4.0 （2m-2s-sync）为实例:
实例模式为：双MASTER双SLAVE 同步双写
以下操作4台主机操作相同
192.168.1.111 (MASTER)
192.168.1.112 (MASTER)
192.168.1.113 (SLAVE)
192.168.1.114 (SLAVE)
1 依赖环境 jdk1.8
2 wget 安装jdk1.8, 修改/etc/profile 配置环境变量 完成后测试：java -version 出现版 本信息后表示成功。
3 安装rocketmq 二进制文件zip, 解压到/usr/local/ 下 (unzip rocketMQ.zip) 使用unzip 命令解压
4 切换到BIN 目录下 修改 runserver.sh 中的Xms1g -Xmx1g -Xmn512m (设置的参数按实际服务器参数为准)，修改runbroker.sh 中的 Xms1g -Xmx1g -Xmn512m (设置的参数按实际服务器参数为准)，保存（参数不要小于1G，如果小于1G 可能会导致rocketMQ无法启动）
5 在 rocketmq主目录下 创建logs （用户存放日志） 然后进入conf目录 执行 sed -i ‘s#${user.home}#/usr/local/rocketmq#g’ *.xml
创建store目录 进入store目录 创建 mkdir /www/rocketmq/store/commitlog （存储文件）mkdir /www/rocketmq/store/consumequeue （消息队列存储）mkdir /www/rocketmq/store/index （消息索引），
6 修改/etc/hosts 文件 给ip地址取别名
192.168.1.111 nameserver1
192.168.1.112 nameserver2
192.168.1.113 nameserver3
192.168.1.114 nameserver4
设置好保存。
修改/rocketmq/conf/2m-2s-sync/ broker-a.properties ： （内容如下）

brokerClusterName=twoCluster  #集群名 一个集群里的MQ 集群名相同
brokerName=broker-a  # 基本与文件名保持一致 slave机器上设置名字与自己的主master保持一致
brokerId=0  #master设置为0 ，slave 设置大于0
namesrvAddr=nameserver1:9876;nameserver2:9876;nameserver3:9876;nameserver4:9876 #此处为设置的IP别名，多个以；号隔开
defaultTopicQueueNums=4 # 自动创建队列数量（以需求为主）
autoCreateTopicEnbale=true #自动创建标题 正式环境设置为false
autoCreateSubscriptionGroup=true #自动创建组 正式环境设置为false
listenPort=10911  #对外的监听端口
deleteWhen=04  #凌晨4点删除文件
fileReservedTime=120 #文件默认保留时间48h
mapedFileSizeCommitLog=1073741824 #设置文件的容量为1G
mapedFileSizeConsumeQueue=300000 #设置存放的消息条数为30w
storePathRootDir=/www/rocketmq/store #指定目录地址
storePathCommitLog=/www/rocketmq/store/commitlog #指定目录地址
storePathConsumeQueue=/www/rocketmq/store/consumequeue #指定目录地址
storePathIndex=/www/rocketmq/store/index #指定目录地址
storeCheckpoint=/www/rocketmq/store/checkpoint #指定目录地址
abortFile=/www/rocketmq/store/abort #指定目录地址
maxMessageSize=65536 #限制消息的大小
brokerRote=SYNC_MASTER #rocketmq的角色 slave 上设置为SLAVE
flushDiskType=SYNC_FLUSH #刷盘方式

还有很多配置项 具体参考官方文档，
7：配置完成后 启动 ： 先启动4台机器的 nameserver 在启动master 在启动 slave
启动进入bin目录：启动nameserver: nohup sh mqnamesrv &
启动broker(192.168.1.111)：nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a.properties >/dev/null 2>&1 &
启动broker(192.168.1.112)：nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties >/dev/null 2>&1 &
启动broker(192.168.1.113)：nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties >/dev/null 2>&1 &
启动broker(192.168.1.111)：nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties >/dev/null 2>&1 &

启动完毕后 查看: jps

8： 搭建rocketmq 控制台

Github下载rocketmq 源码 进入目录rocketmq-console\WEB-INF 有一个application.propertie修改 rocketmq.config.namesrvAddr= 192.168.1.111:9876; 192.168.1.1119876; 192.168.1.113:9876; 192.168.1.1149876 多个用 ; 号分开 设置好保存 编译 编译好后将class文件放到服务器上的tomcat中 设置webapp下rocketmq的文件名rocketmq-console（此处随便设置） 启动tomccat，

访问: http://localhost:8080/rocketmq-console 便可出现控制台

1 访问后查看部署的集群信息：

2进入主题查看路由 可以看到主从关系及路由

3 进入驾驶舱可以看到集群中主机的动态

9: JAVA API：
1：引入MAVEN包：（本例以4.4.0为主）

<dependency>
  <groupId>org.apache.rocketmq</groupId>
  <artifactId>rocketmq-common</artifactId>
  <version>4.4.0</version>
  <exclusions>
    <exclusion>
      <groupId>io.netty</groupId>
      <artifactId>netty-tcnative</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.rocketmq</groupId>
  <artifactId>rocketmq-client</artifactId>
  <version>4.4.0</version>
</dependency>

<dependency>
  <groupId>io.netty</groupId>
  <artifactId>netty-tcnative</artifactId>
  <version>1.1.33.Fork2</version>
</dependency>

2： producer提供者：(三种方式发送消息)
1 同步发送
1:同步发送
DefaultMQProducer.send(message, timeout)

2:顺序发送
DefaultMQProducer.send(message,new MessageQueueSelector(){
@Override
public MessageQueue select(List list, Message message, Object o)
},订单ID
);
3: 事务发送
TransactionMQProducer.sendMessagenTransaction(message,callBack,String args),
callback : 回调函数 必须实现LocalTransactionExecuter 接口 并重写里面的方法 ，回调函数与发送消息是并行的,事务发送的消息消费者无需做什么改变 大多数使用顺序消费（根据情况而定）

2 异步发送
DefaultMQProducer.send(message, new SendCallback()
{},timeout)

3单点发送
   DefaultMQProducer.Sendoneway();

2: comsumer 消费者
Pull :消费
1 DefaultMQPullConsumer
此方式需要自己提供定时器，让consumer定时去broker拉去消息
2 MQPullConsumerScheduleService
此方法无需自己提供定时器
Push: 消费
建立长连接， 让broker主动把消息推给consumer

1：顺序消费DefaultMQPushConsumer .registerMessageListener(new MessageListenerOrderly(){})
2： 普通消费
consumer.registerMessageListener(new MessageListenerConcurrently(){})

10 消息过滤
1： 使用mqFilfer组件必须要启动mqfilersrv
在2m-2s-sync 的配置文件中 加上配置：
filterServerNums=1
启动方式与启动briker的方式相同
Myfilersrv 放在最后启动
2：新建类 实现messageFilter接口 重写match()方法
注意： 类中不可有中文！！！
3：使用MixAll.File2string() 方法 把类转成字符串
4：consumer.subscribe(A,B,C)
A：消费的主题
B： 是过滤器类的名称
C：是过滤器类转成字符串的值

过滤器可以设置好几个，使用过滤器减少了无用的消息，但也增加broker的负担
11 消息的幂等去重
1 使用Redis 去重 reids的key 天然支持不重复
2 使用redis 和数据库一起去重