spring cloud 微服务 redis 发布订阅重复消费

原创

mob64ca12f6e9a0 2024-09-21 06:19:24 ©著作权

文章标签 Redis spring redis 文章分类 Redis 数据库

©著作权归作者所有：来自51CTO博客作者mob64ca12f6e9a0的原创作品，请联系作者获取转载授权，否则将追究法律责任

Spring Cloud 微服务中的 Redis 发布订阅机制与重复消费的探讨

引言

在微服务架构中，服务之间的通信和数据同步是至关重要的。为了解决这些问题，Redis 作为一个高性能的内存数据存储，在微服务中扮演了重要的角色。尤其是 Redis 的发布/订阅（Pub/Sub）机制，可以实现在不同服务之间的消息传递。然而，在这种模式下，如何有效地处理重复消费成为了一个值得探讨的话题。

Redis 发布/订阅机制

Redis 的 Pub/Sub 机制允许消息发送者（发布者）和接收者（订阅者）之间的解耦。发布者发送消息时，不需要知道谁在接收，而接收者也无需知道消息的来源。其核心在于频道（Channel）的概念，消息通过频道进行发送和接收。

示例代码

下面是一个简单的 Spring Boot 应用程序示例，演示如何使用 Redis 的发布/订阅功能。

依赖配置

在 pom.xml 中添加 Redis 依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

发布者

发布者使用 RedisTemplate 来发送消息：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class MessagePublisher {

    @Autowired
    private RedisTemplate<String, String> redisTemplate;

    @PostMapping("/publish")
    public void publishMessage(String message) {
        redisTemplate.convertAndSend("myChannel", message);
    }
}

订阅者

订阅者需要实现一个消息监听器:

import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.listener.RedisMessageListenerContainer;
import org.springframework.data.redis.listener.adapter.MessageListenerAdapter;

import javax.annotation.PostConstruct;

@Configuration
public class MessageSubscriber {

    @Autowired
    private RedisMessageListenerContainer redisContainer;

    @PostConstruct
    public void init() {
        redisContainer.addMessageListener(new MessageListenerAdapter(this), new ChannelTopic("myChannel"));
    }

    public void handleMessage(String message) {
        System.out.println("Received Message: " + message);
        // 处理消息
    }
}

序列图

下面的序列图展示了发布/订阅消息的过程：

sequenceDiagram
    participant Publisher
    participant Redis
    participant Subscriber
    Publisher->>Redis: publish(message)
    Redis->>Subscriber: send(message)
    Subscriber-->>Subscriber: handleMessage(message)

重复消费问题

在使用 Redis 的发布/订阅机制时，重复消费的问题可能会出现，尤其是在网络故障或服务重启的情况下。为了避免这种情况，可以使用以下策略：

消息去重：在消息中加入唯一标识符（如UUID），接收方在处理后将已处理的标识存储在 Redis 中。
幂等性设计：确保服务的处理逻辑是幂等的，即多次处理相同的消息不会产生副作用。

去重示例

在上述订阅者的 handleMessage 方法中，可以加入去重逻辑：

import java.util.HashSet;
import java.util.Set;

public class MessageSubscriber {

    private Set<String> processedMessages = new HashSet<>();

    public void handleMessage(String message) {
        String messageId = extractId(message); // 假设从消息中提取ID
        
        if (processedMessages.contains(messageId)) {
            System.out.println("Duplicate Message: " + messageId);
            return;
        }

        processedMessages.add(messageId);
        System.out.println("Processing Message: " + message);
        // 处理消息
    }
}

性能与扩展性

当系统规模变大时，消息的吞吐量和处理能力可能会受到影响。为了提高性能，可以考虑：

异步处理：使消费者异步处理消息。
消息队列：使用消息队列（如 Kafka）替代 Pub/Sub 模式，以支持更高的可伸缩性和持久性。

项目进度甘特图

这里是一个简单的项目进度 Gantt 图，展示了实施 Redis 发布/订阅机制的步骤：

gantt
    title Redis 发布/订阅实现进度
    dateFormat  YYYY-MM-DD
    section 需求分析
    调研需求          :a1, 2023-10-01, 7d
    section 系统设计
    系统架构设计       :a2, 2023-10-08, 5d
    section 开发阶段
    实现发布者        :a3, 2023-10-13, 3d
    实现订阅者        :a4, after a3, 3d
    消息去重实现      :a5, after a4, 2d
    section 测试与上线
    测试               :a6, after a5, 4d
    上线               :a7, after a6, 1d