消息队列消费模型push pull 消息队列消费方式

转载

mob64ca14154457 2024-04-07 00:01:31

文章标签 后端中间件并行度字段幂等 文章分类 架构后端开发

注意：以RocketMQ为例说明

一、偏移量offset

自动提交offset，消息队列无法做到有且仅消费一次，但是可以保证消息最少消费一次，因此，消费端做好幂等处理即可。

二、消息幂等

RocketMQ无法避免消息重复（Exactly-Once），所以如果业务对消费重复非常敏感，务必要在业务层面进行去重处理。

去重有两种方法：

1、msgId，消息中自带的msgId是全局唯一的
2、消息内容中的业务字段，例如订单Id等

msgId一定是全局唯一标识符，但是实际使用中，可能会存在相同的消息有两个不同msgId的情况（消费者主动重发、因客户端重投机制导致的重复等），这种情况就需要使业务字段进行重复消费。

三、异常处理

a、消息端不要抛出异常，应对异常进行捕获并返回相应的结果
b、如果希望重新消费，则返回ConsumeConcurrentlyStatus.RECONSUME_LATER，否则返回ConsumeConcurrentlyStatus.CONSUME_SUCCESS

四、消费速度慢的处理方式

1、提高消费并行度

绝大部分消息消费行为都属于 IO 密集型，即可能是操作数据库，或者调用 RPC，这类消费行为的消费速度在于后端数据库或者外系统的吞吐量，通过增加消费并行度，可以提高总的消费吞吐量，但是并行度增加到一定程度，反而会下降。所以，应用必须要设置合理的并行度。如下有几种修改消费并行度的方法：

同一个 ConsumerGroup 下，通过增加 Consumer 实例数量来提高并行度（需要注意的是超过订阅队列数的 Consumer 实例无效）。可以通过加机器，或者在已有机器启动多个进程的方式。
提高单个 Consumer 的消费并行线程，通过修改参数 consumeThreadMin、consumeThreadMax实现。

2、批量方式消费

某些业务流程如果支持批量方式消费，则可以很大程度上提高消费吞吐量，例如订单扣款类应用，一次处理一个订单耗时 1 s，一次处理 10 个订单可能也只耗时 2 s，这样即可大幅度提高消费的吞吐量，通过设置 consumer的 consumeMessageBatchMaxSize 返个参数，默认是 1，即一次只消费一条消息，例如设置为 N，那么每次消费的消息数小于等于 N。