下面是可能重复消费的问题。

首先就是比如rabbitMQ、rocketMQ、kafka,都有可能出现重复消费的问题,正常。因为这问题通常不是mq自己保证的,是给你保证的。然后我们挑一个kafka来举个例子,说说怎么重复消费的。

kafka实际上有个offset的概念,就是每个消息写进去,都有一个offset,代表他的序号,然后consumer消费了数据之后,每隔一段时间,会把自己消费过的消息的offset提交一下,代表我已经消费过了,下次我要是重启啥的,你就让我继续从上次消费到的offset来继续消费。

但是凡事总有意外,比如我们之前生产经常遇到的,就是你有时候重启系统,看你怎么重启了,如果刚好碰到消息处理了,还么来得及提交offset,重启之后,少数消息会再次消费一次。

其实重复消费不可怕,可怕的是没考虑到重复消费之后,怎么保证幂等性。

假设我们有个系统,消费一条往数据库插入一条,要是你一个消息重复两次,你不就插入了两条,这数据不就错了。但是你要是消费到第二次的时候,自己判断一下已经消费过了,直接扔了,不就保留了一条数据。

kafka 消费时 如何终止 kafka怎么防止重复消费_幂等性

一条数据重复出现两次,数据库里就只有一条数据,这就保证了系统的幂等性。

幂等性,通俗点来说,就一个数据,或者一个请求,给你重复来多次,你得确定对应的数据是不会改变的,不能出错。

怎么保证消息队列消费的幂等性?

结合业务来思考:

1.比如我们拿个数据写库,我们小根据主键查一下,如果这个数据有了,就不插入,update一下。

2.如果我们是写redis,就没有问题,因为set,天然幂等性。

3.比如我们需要让生产者发送每条数据的时候,里面加一个全局唯一的id,类似订单id之类的东西,然后你这里消费到了之后,先根据这个id去比如redis里查一下,之前消费过吗?如果没有消费过,我们就处理,然后这个id写redis。如果消费过了,就不做处理,保证不要重复处理相同的消息即可。