Kafka消息队列怎么保证exactlyOnce以及顺序消费

  • Kafka的运行机制
  • exactlyOnce的含义
  • 1. At Most Once
  • 2. At Least Once
  • 3. Exactly Once
  • Kafka如何保证exactlyOnce
  • 顺序性消费


Kafka的运行机制

当我们向某个Topic发送消息的时候，在Kafka的Broker上会通过Partition分区的机制来实现消息的物理存储。

kafka配置消费时间段 kafka消费顺序如何保证_幂等性


一个Topic可以有多个Paritition，相当于把一个Topic里面的N个消息数据进行一个分片存储。消费端去消费的时候会从指定的Paritition里面去获取。

在同一个消费组中，一个消费者可以消费多个Partition中的数据。但是消费者的数量只能小于或者等于Partition分区的数量。

exactlyOnce的含义

在MQ的消息传递中有三种语义。

1. At Most Once

消息投递最多一次，可能会丢但不会出现重复。

2. At Least Once

消息投递至少一次，可能会出现重复但不会丢。

3. Exactly Once

消息投递正好一次，不会出现重复也不会丢。

Kafka如何保证exactlyOnce

准确来说，目前市面上MQ产品基本上都没有提供ExactlyOnce的一个语义实现。

我们只能通过一些其他手段去达到ExactlyOnce的一个效果。也就是说确保生产者只发送一次，消费端只接受一次。

  1. 生产者可以采用事务消息的方式，事务可以支持多分区的数据完整性，原子性，并且可以支持跨会话的ExactlyOnce的一个处理语义。即使生产者宕机重启，依旧能够保证数据只处理一次。开启事务首先需要开启幂等性，并设置这样一个参数为true（enable.idempotence）,然后对生产者的消息发送做一个事务控制。如果出现导致生产者重试的错误，这个消息只能写到Kafka broker的日志中一次。
  2. 虽然生产者能够保证在Kafka broker上只记录唯一一条消息，但是由于网络延迟的存在，有可能会导致Broker在投递消息给消费者的时候触发重试，导致投递多次。所以作为消费端可以采用幂等性的机制来避免重试来的的重复消费的问题。

顺序性消费

在Kafka里面，每个Paritition分区的消息本身就是按顺序来存储的。

所以只需要针对Topic设置一个Paritition，这样就可以保证所有消息都能够写入到这个Partition里面。

而消费者这边只需要去消费这个分区，就可以实现消息的顺序处理。