阿里的rocketmq

RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:

1、支持严格的消息顺序;

2、支持Topic与Queue两种模式;

3、亿级消息堆积能力;

4、比较友好的分布式特性;

5、同时支持Push与Pull方式消费消息;


https://github.com/alibaba/RocketMQ/releases 最新版本

在生产环境部署Broker,请参考以下软硬件要求

https://github.com/alibaba/RocketMQ/wiki/system_requirements


rabbit不知道,但是rocket的性能是(万条每秒),并且能够横向无限扩展,单机topic数量在256时,性能损失较小。

rocket可以说是kafka的变种,是阿里在充分reviewkafka代码后,开发的metaQ。在不断更新,修补以后,阿里把metaQ3.0更名为rocket,并且rocket是java写的易于维护。

另外就是rocket和kafka有类似无限堆积的能力。想想,断电不丢消息,积压两亿条消息毫无压力,niubility

kafka和rocket性能根本不是你需要考虑的问题


导入本地包

mvn install:install-file -DgroupId=net.java.dev.jna -DartifactId=jna -Dversion=4.2.2 -Dpackaging=jar -Dfile=/root/jna-4.2.2.jar


以下文章非常有用

http://blog.csdn.net/zknxx/article/details/52974189

http://blog.csdn.net/crazyxq/article/details/52870502 


rocketmq3.5.8 编译好的包,自己编译太坑了

http://download.csdn.net/download/zknxx/9668351


生产一般都主主吧

RocketMQ-3.5.8双主双从配置及部署说明  

http://download.csdn.net/download/coffeelifelau/9667849


mkdir -p /var/log/rocketmqlogs

mkdir -p /data/rocketmq/store/commitlog  /data/logs

nohup sh mqnamesrv > /var/log/rocketmqlogs/namesrv.log 2>&1 &


a服务器

nohup sh mqbroker -c ../conf/2m-noslave/broker-a.properties  >/dev/null 2>&1 &


b服务器

nohup sh mqbroker -c ../conf/2m-noslave/broker-b.properties  >/dev/null 2>&1 &


配置文件参考

http://sofar.blog.51cto.com/353572/1540874


配置权限

chown -Rnobody.nobody Application

a.启动NameServer[master-a,master-b]

cd /data/Application/rocketmq/bin

sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqnamesrv &

b.启动BrokerA[master-a]

sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqbroker -c/data/Application/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null2>&1 &

c.启动BrokerB[master-b]

sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqbroker -c/data/Application/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null2>&1 &


关闭nameserver或broker

sh ./mqshutdown

Useage: mqshutdown broker | namesrv


注意:

运行sh os.sh,会发现swap会占用一半,而内存会占用很少。

如果需要恢复成开始的样子,修改os.sh

sudo sysctl -w vm.extra_free_kbytes=0

sudo sysctl -w vm.min_free_kbytes=67584

sudo sysctl -w vm.overcommit_memory=0

sudo sysctl -w vm.drop_caches=0

sudo sysctl -w vm.zone_reclaim_mode=0

sudo sysctl -w vm.max_map_count=65530

sudo sysctl -w vm.dirty_background_ratio=10

sudo sysctl -w vm.dirty_ratio=20

sudo sysctl -w vm.dirty_writeback_centisecs=500

sudo sysctl -w vm.page-cluster=3

sudo sysctl -w vm.swappiness=60

然后重启后者用网上的swap.sh脚本找到占用swap的进程,重启之。

具体os.sh参数的作用

1.控制内存回收 grep low /proc/zoneinfo

这个参数值用来强制linux虚拟内存保留最小值的空闲

vm.extra_free_kbytes

vm.min_free_kbytes  

2.vm.max_map_count 虚拟内存使用

3.vm.swappiness

执行这个脚本出现内存占用的少的原因,估计就是调了控制内存回收

应该是控制broker同步的频率,这样做之后,只有很多的数据,才会同步。


测试

export NAMESRV_ADDR=ip1:9876\;ip2:9876

bash tools.sh com.alibaba.rocketmq.example.quickstart.Producer

bash tools.sh com.alibaba.rocketmq.example.quickstart.Consumer


要解决的问题

1.主主还是多主多从

http://blog.csdn.net/a19881029/article/details/34446629


2.如何顺序消费

RocketMQ消费并行度分两种情况

顺序消费方式并行度同Kafka完全一致

乱序方式并行度取决于Consumer的线程数,如Topic配置10个队列,10台机器消费,每台机器100个线程,那么并行度为1000


rocketmq 顺序消费理解

http://blog.csdn.net/u011686226/article/details/53465357


https://github.com/alibaba/RocketMQ/search?utf8=%E2%9C%93&q=sequence

3.

你是集群消费还是广播消费,集群消费的话每个消费者都会收到对应的消息,广播则不会,另外即使是集群环境下,也有可能重复消费消息,消费者自己要做到幂等

ps:说反了,不好意思,集群消费,只有一次,广播则多次,


目前rocketmq消费是有集群消费和广播消费,上面的楼主说错了,应该是集群消费只能有一个消费者消费一次,而广播消费则是所有的消费者都会消费一次,至于出现重复消费的问题,一种可能的原因是消费者消费完有没有做确认机制.

即使消费者做出了确认消费的标识,消费者还是可能出现重复消费的情况,那是一般在高并发下的出现的,rocketmq有说明,几乎主流的mq都有这种情况,一般的就是消费幂等


4.推荐Filter Server生产环境部署,为Consumer提供任意的服务器消息过滤能力


5.支持Topic与Queue两种模式  不是默认都同时支持的


6.rocketmq使用大内存是靠mmap堆外内存啊,而不是设置大的jvm堆内存的,java的堆最好不要超过10G,要不然性能不行


7.Producer/Consumer指定Name Server地址

通过代码中指定

producer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");

consumer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");

通过Java启动参数中指定

-Drocketmq.namesrv.addr=192.168.0.1:9876;192.168.0.2:9876

通过环境变量指定

exportNAMESRV_ADDR=192.168.0.1:9876;192.168.0.2:9876

8.监控

web平台监控

安装tomcat

这里就省略了。

将war放入webapps下,修改vimWEB-INF/classes/config.properties

rocketmq.namesrv.addr=RocketMQ01:9876   #这里只能写一个

throwDone=true

监控需要自己git后,编译,网上csdn有现成的。

9.benchmark