1.观察消费者延迟消息堆积情况
2.查看单条消息的处理时间,查看启动的实例数,预估下每秒处理数据量
3.适当增加broker的读写队列数,防止,某一broker单条消息堆积引起队列消息总体延迟的情况
4.增加服务实例数量,提高消费能力
5.参数解释:Topic配置中perm的含义?
设置该 Topic 的读写模式
6.扩展:
划个重点:RocketMQ是按照队列进行消息负载的,如果consumer中的一台机器由于机器硬件、系统、远程RPC或者JavaGC等原因导致该机器上的消息队列不能及时处理,整个消息队列的消息都会堆积。
发布方消息负载均衡策略
消息队列RocketMQ 版针对生产者采取的是轮询制,即 Producer 的消息以轮询的方式发送至 消息队列(Queue);
订阅方消息负载均衡策略
消息队列 RocketMQ 版 Broker 会将这些 Queue 再平均分配至属于同一个 Group ID 的订阅方集群。
1.如果消费者consumer机器数量和消息队列相等,则消息队列平均分配到每一个consumer上。
2.如果consumer数量大于消息队列数量,则超出消息队列数量的机器没有可以处理的消息队列。
3.若消息队列数量不是consumer的整数倍,则部分consumer会承担跟多的消息队列的消费任务。
如果其中一台机器处理变慢,可能是机器硬件、系统、远程 RPC 调用或 Java GC 等原因导致分配至此机器上的 Queue 的消息不能及时处理;此外,消息队列 RocketMQ 版的消息负载是按 Queue 为粒度维护,所以,整个 Queue 上的消息都会堆积。
参考博客:RocketMQ常见问题-RocketMQ消息堆积问题-TOPIC队列扩容