造成重复消费的原因：MQ向消费者推送message，消费者向MQ返回ack，告知所推送的消息消费成功。但是由于网络波动等原因，可能造成消费者向MQ返回的ack丢失。MQ长时间（一分钟）收不到ack，于是会向消费者再次推送该条message，这样就造成了重复消费。解决重复消费的办法： 用存储（redis或者mysql）记录一下已经消费的message的id，当message被消费前先去存储中查一下消
转载
2023-08-12 01:50:43
1063阅读
RocketMQ高级之事务消息&重复消息解决方案RocketMQ事务消息原理Half(Prepare) Message 指的是暂不能投递给消费者的消息，发送方已经将消息成功发送到了 MQ 服务端，但是服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即
文章目录前言1、方案实践1.1、引入Redis依赖1.2、添加Redis环境配置1.3、编写获取请求唯一ID的接口，同时将唯一ID存入redis1.4、编写服务验证逻辑，通过 aop 代理方式实现1.5、在相关的业务接口上，增加SubmitToken注解即可2、小结 前言在上一篇文章中，我们详细的介绍了对于下单流量不算高的系统，可以通过请求唯一ID+数据表增加唯一索引约束这种方案来实现防止接口重
转载
2023-08-04 16:25:10
181阅读
研究背景：这几天被支付宝充值后通知所产生的重复处理问题搞得焦头烂额， 一周连续发生两次重复充钱的杯具， 发事故邮件发到想吐。。为了挽回程序员的尊严， 我用了Redis的锁机制。事故场景：支付宝下单 -> 客户支付 -> 回调我方接口通知支付结果服务器节点： 2个事故发生原因： 回调我方接口后， 第一次通知还未处理完， 第二次通知又来了（间隔几秒），未对通知进行判定重复，导致两个节点均处
转载
2023-08-01 17:26:05
108阅读
# 用Redis解决RocketMQ重复消费
在微服务架构和分布式系统中，消息队列扮演着至关重要的角色，RocketMQ作为一种高性能、可扩展的消息队列，越来越受到开发者的青睐。然而，RocketMQ在某些场景下可能导致重复消费消息的问题，这会对系统的可靠性和数据的一致性产生影响。本文将探讨如何使用Redis来解决RocketMQ的重复消费问题，并给出相应的代码示例。
## 一、理解重复消费
原创
2024-09-11 07:23:12
137阅读
一、简介幂等性是分布式中比较重要的一个概念，是指在多作业操作时候避免造成重复影响，其实就是保证同一个消息不被消费者重复消费两次，但是可能存在网络波动等问题，生产者无法接受消费者发送的ack信息，因此这条消息将会被重复发送给其他消费者进行消费，实际上这条消息已经被消费过了，这就是重复消费的问题。如何避免重复消费的问题 1.消息全局唯一ID 2.通过redis中的setnx命令，给消息分配一个全局ID
转载
2024-04-10 10:34:59
116阅读
RocketMQ重复消费的症状以及解决方案生产消息时重复症状当一条消息已被成功发送到 消费者 并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时 生产者 意识到消息发送失败并尝试再次发送消息，消费者 后续会收到两条内容相同并且 ID 也相同的消息。方案避免消息重复产生，找到原因，并做代码的限制。消费数据时利用Java代码做ID的重复校验，重复则放弃，并返回异常信
转载
2024-03-21 15:19:28
43阅读
如何解决消息的重复消费面试题引入面试题剖析 面试题引入在消息队列领域，如何解决消息的重复消费是很常见的一个问题。既然是消费消息，那肯定要考虑会不会重复消费？能不能避免重复消费？或者重复消费了也别造成系统异常可以吗？这个是消息队列领域的基本问题，其实本质上还是问你使用消息队列如何保证幂等性，这个是你架构里要考虑的一个问题。面试题剖析 要回答这个问题，首先你别听到重复消费这个事儿，就一无所知吧，你
转载
2024-02-24 17:37:46
74阅读
问题描述：kafka的某些topic在消费完毕后一段时间，重启唯一消费者，offset会重置为最小offset重新消费，一直导致kafka消费的重复消费问题。问题产生原因：是offset信息过期导致的。我一直以为消费者保持在线，最新位移信息是不会过期的。但即使消费者在线，位移信息也会如约过期。配置的数据保留时间log.retention.hours=168小时比位移保留时间offsets.rete
转载
2023-07-04 23:15:23
529阅读
MQ重复消费是指同一个应用的多个实例收到相同的消息，或者同一个实例收到多次相同的消息，若消费者逻辑未做幂等处理，就会造成重复消费。消费者收到消息后，从消息中获取消息标识写入到Redis或数据库，当再次收到该消息时就不作处理。消息重复投递的场景，除重试外，很大一部分来自于负载均衡阶段，前一个监听Queue
转载
2023-09-05 10:22:18
289阅读
Redis怎么保证接口幂等性和消息不被重复消费结合网上下单实例说明如何保证接口幂等性为什么需要将生成的version字段返回给客户端为什么要去做分布式锁如何保证消息不被重复消费为什么需要去做分布式锁处理 结合网上下单实例说明如何保证接口幂等性结合具体的实例来看一下，我们平常用的比较多的就是网上下单。我们在下单的过程中需要把商品添加到购物车，添加购物车之后然后后再提交订单。我们在提交订单这个动作，
转载
2023-09-05 10:12:53
128阅读
叙述平时开发的项目中可能会出现下面这些情况：由于用户误操作，多次点击表单提交按钮。由于网速等原因造成页面卡顿，用户重复刷新提交页面。黑客或恶意用户使用postman等工具重复恶意提交表单（攻击网站）。这些情况都会导致表单重复提交，造成数据重复，增加服务器负载，严重甚至会造成服务器宕机。因此有效防止表单重复提交有一定的必要性。实现原理：自定义防止重复提交标记（@AvoidRepeatableComm
转载
2023-06-09 22:30:43
182阅读
keys命令以遍历的方式迭代整个库，实现的复杂度是 O(n），库中的key越多，速度越慢，由于Redis的单线程处理，阻塞的时间也就越长。smembers也一样，只不过它并不是阻塞整个库，影响只针对单个set，当set过大时会存在同样的问题。scan命令的时间复杂度虽然也是O(N)，但它是分次进行的，不会阻塞线程。scan命令提供了limit参数，可以控制每次返回结果的最大条数。scan命令返回的
转载
2023-08-31 16:26:25
181阅读
处理流程用户访问表单添加页面->spring防重复token拦截器拦截请求url，判断url对应的controller方法是是否注解有生成防重复token的标识->生成防重复token保存到redis中RedisUtil.getRu().setex(“formToken_” + uuid, “1”, 60 * 60);同时将本次生存的防重复token放到session中->跳转到
前言：在系统中，有些接口如果重复提交，可能会造成脏数据或者其他的严重的问题，所以我们一般会对与数据库有交互的接口进行重复处理。我们首先会想到在前端做一层控制。当前端触发操作时，或弹出确认界面，或disable入口并倒计时等等，但是这并不能彻底限制，因此我们这里使用Redis来对某些操作加锁场景：场景一：在网络延迟的情况下让用户有时间点击多次submit按钮导致表单重复提交场景二：表单提交后用户点击
转载
2023-05-25 15:26:34
211阅读
问题描述最近在项目开发过程中遇到了高并发造成的违反业务唯一性的问题。使用了RabbitMQ作为消息中间件，创建消费者应用监听RabbitMQ，获取到消息以后进行业务处理（业务处理时都有通过查询数据库来完成业务唯一性的验证），每个消费者应用限制可以同时处理100条消息，共部署四台消费者应用。因此会产生上限为400的并发。因为业务的原因无法在数据库加唯一索引来限制，所以通过Redis来实现并发锁。实现
转载
2023-08-22 12:30:43
20阅读
1、消息重复消费场景kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后consumer消费了数据之后，每隔一段时间，会把自己消费过的消息的offset提交一下，代表已经消费过了，下次消费时，会继续从上次消费到的最后一次offset来继续消费。但是凡事总有意外，比如我们之前生产经常遇到的，就是你有时候重启系统，看你怎么重启了，如果碰到点着急的，直接k
转载
2023-12-09 15:23:22
194阅读
1. 存在原因：丢失消费/重复消费1 自动提交offset：
1.1 当自动提交时间为1s时，间隔时间达到1s，offset（100）已经提交，但是数据处理尚未完成（只处理了80）出错了（挂了），此时从新启动后会从已经提交的offset（100）开始消费处理，那么81-100这些数据就未处理，导致丢失消费
1.2 当自动提交时间为3s时，数据1s已经处理完了一批,突然挂了，由于提交时间未到，o
转载
2024-07-18 17:06:37
808阅读
前言今天我们聊一个话题，这个话题大家可能在面试过程中，或者是工作当中经常遇到 ? 如何保证 Kafka 消息不重复消费？ 我们在做开发的时候为了程序的健壮性，在使用 Kafka 的时候一般都会设置重试的次数，但是因为网络的一些原因，设置了重试就有可能导致有些消息重复发送了（当然导致消息重复也有可能是其他原因），那么怎么解决消息重复这个问题呢？关于这个问题，我这儿提供了如下三种解决方案，供大家参考。
转载
2024-01-29 06:54:59
158阅读
前言 今天我们聊一个话题，这个话题大家可能在面试过程中，或者是工作当中经常遇到 :point_right: 如何保证 Kafka 消息不重复消费？ 我们在做开发的时候为了程序的健壮性，在使用 Kafka 的时候一般都会设置重试的次数，但是因为网络的一些原因，设置了重试就有可能导致有些消息重复发送了（当然导致消息重复也有可能是其他原因），那么怎么解决消息重复这个问题呢？ 关于这个问题
转载
2024-06-27 22:23:51
55阅读
