一 基于Redis实现1.场景： 电商系统或者购票系统都必须具备订单功能，生成订单后一段时间不支付订单会自动关闭。最简单的想法是设置定时任务轮询， 但是每个订单的创建时间不一样，定时任务的规则无法设定，如果将定时任务执行的间隔设置的过短，太影响效率。还有一种想法，在用户进入订单界面的时候，判断时
转载
2024-06-03 13:00:41
77阅读
使用消息队列，绕不开的一个问题就是如何保证消息不丢失，现在主流的消息中间件都提供了完整的消息可靠性保证机制，可以确保消息的可靠传递，本文以rocketMq为例介绍如何保证消息不丢失，其他消息队列类似消息传递过程基本上所有的消息都划分为三个阶段 生产、存储、消费 ，如下图 生产阶段: 在这个阶段，从消息在 Producer 创建出来，经过网络传输发送到 Broker 端。存储阶段: 在这
面试题如何保证消息的顺序性？面试官心理分析其实这个也是用 MQ 的时候必问的话题，第一看看你了不了解顺序这个事儿？第二看看你有没有办法保证消息是有顺序的？这是生产系统中常见的问题。面试题剖析我举个例子，我们以前做过一个 mysql binlog 同步的系统，压力还是非常大的，日同步数据要达到上亿，就是说数据从一个 mysql 库原封不动地同步到另一个 mysql 库里面去（my
测试目的本次测试目的是 消费 Redis List类型 里的数据 以各种方式来快速消费，得到最佳消费方式。消费框架为 spring boot，消费工具库为 lettuce，结合redisredisTemplate 的 api 来载入和消费数据，消费数据量分别为 1.5w、2w、10w。消费数据会提前加载到 Redis list 中，消费api 为 redisredisTemplate.opsFor
转载
2023-07-13 11:13:50
275阅读
简使用pop，不能保证最少消费一次，比如pop超时可能中途丢失，或者消费者处理过程中异常而未能处理完。解决此问题有多种方法：1) 方法一：使用rpoplpush替代pop这种方法相当于建立了一个回滚，由于操作是在redis端完成的，可保证数据不会丢，当消费者完成业务逻辑后，再清掉lpush的另一队列，这步有点类似于事务的commit提交。如果在处理过程中消费者异常重启，则在重
转载
2023-08-17 16:47:50
945阅读
文章目录前言参考目录代码实现官方文档的demo（比较简单）：框架实现：添加队列数据自定义比较器比较对象设置比较器添加队列数据功能调用源码分析添加数据Lua 脚本分析附文Redis monitor 模式下控制台输出完整内容 前言继上一篇延迟队列之后，这一篇文章来说一下优先队列。不过 Redisson 提供的分布式队列是比较轻量级的，如果需要大量使用队列的场景的话，还是建议用专业的MQ。我个人队列使
转载
2024-10-15 11:42:58
129阅读
1.前提通过RabbitMQ的延时交换器插件实现消息延时触发，延时结束后消息push到队列，消费者开始消费消息。我们项目中的商城模块待支付订单超时修改订单状态为已失效的功能就是通过以上逻辑实现。消息消费完成后采用的是手动ack的方式2.问题描述生产者产生消息正常，通过日志可以证明消费者一直监听不到消息导致超时的订单状态未能及时变更3.问题分析一： 交换器和队列之间没有绑定关系，或者绑定关系错误通过
转载
2023-08-01 17:34:16
175阅读
延迟队列延迟消息队列使用场景定时任务，比如任务A和任务B是同条流水线上的，当任务A完成了，一个小时后执行任务B我们打车，在规定时间内，没有车主接单，那么平台就会推送消息给你，提示暂时没有车主接单。网上支付场景，下单了，如果没有在规定时间付款，平台通常会发消息提示订单在有效期内没有支付完成，此订单自动取消之类的信息。我们买东西，如果在一定时间内，没有对该订单进行评分，这时候平台会给一个默认分数给此订
转载
2024-04-19 16:53:46
90阅读
一、 慢操作五大原因如下图所示，主要分为与操作系统相关以及与Redis集群实例之间与内部相关两个方面1. Redis实例之间以及内部数据传输阻塞（客户端、磁盘、主从通信、切片集群通信）解决方法 — 主从集群时，限制主库RDB文件大小。2. 多CPU多核架构（绑核，绑CPU）解决方法—绑核绑CPU。3. sql语句执行阻塞（慢查询、过期key）解决方法—避免慢查询指令、客户端做聚合、对key设置不同
转载
2023-08-14 13:10:24
110阅读
redis-py的blpop/brpop可能由于网络波动导致收不到信息场景问题解决办法原因 场景业务上有一个需求，是将Redis作为消息队列，然后消费者消费队列中的数据。问题Redis 列表中长时间没有数据，等再有新的数据的时候仍然没有消费到数据，查看Redis，数据是存在的。# 由于只有消费侧有问题，因此只有消费侧的代码
class RedisCli:
# 这个类只是封装了一下redis 连
转载
2023-07-12 14:59:04
323阅读
应用场景理论上任何需要消息队列的场景都可通过此方式实现，笔者的应用场景是一个服务完成一个任务需要经过两个不同的队列，任务经过了第一个队列后，需要重新配置入参放入第二个队列。完成第一个队列后的任务放入一个用redis List模拟的消息队列，由处理方法消费消息并处理后处理放入第二个队列。实现方法redis异步队列常见的实现方式主要有两种：一，新消息rpush进入消息队列，每次lpop消息队列，如果没
转载
2023-06-26 16:03:41
243阅读
Serve 基于Swoole Server 编写的消息队列消费系统已支持功能:支持数据库操作仅支持Redis 作为消息队列允许开启多个 Worker+TaskWorker+Master模式 监控不同队列环境要求：PHP >= 7.2ext-Swooleext-SeasLog (暂时未实现日志，无需安装扩展:后期添加)运行如图：调试模式 "php bin/email_delay.php sta
转载
2024-02-26 20:28:23
35阅读
如何保证消息不被重复消费？ 保证消息不被重复消费的关键是保证消息队列的幂等性，这个问题针对业务场景来答分以下几点： 1.比如，你拿到这个消息做数据库的insert操作。那就容易了，给这个消息做一个唯一主键，那么就算出现重复消费的情况，就会导致主键冲突，避免数据库出现脏数据。 2.再比如，你拿到这个消息做redis的set的操作，那就容易了，不用解决，因为你无论set几次结果都是一样的，set操作本
转载
2023-09-11 11:08:03
110阅读
在消息传递过程中，如果出现传递失败的情况，发送会执行重试，重试可能会产生重复的消息。对系统来说，如果没有对重复消费进行处理，会导致系统数据发生错误。 比如，一个订单系统，订单创建成功后，把数据写入统计数据库，如果发生重复统计，会导致数据库数据错误。解决消息重复消费，其实就是保证消息的消费幂等性。幂等性的定义：多次执行所产生的影响均与一次执行的影响相同。 所以需要从业务逻辑上设计，将消费的业务逻辑设
转载
2024-01-25 09:18:26
61阅读
一般来说，消息队列有两种场景：一种是发布者订阅者模式；一种是生产者消费者模式。利用redis这两种场景的消息队列都能够实现。定义：生产者消费者模式：生产者生产消息放到队列里，多个消费者同时监听队列，谁先抢到消息谁就会从队列中取走消息；即对于每个消息只能被最多一个消费者拥有。（常用于处理高并发写操作）发布者订阅者模式：发布者生产消息放到队列里，多个监听队列的消费者都会收到同一份消息；即正常情况下每
转载
2023-08-18 18:51:49
341阅读
简使用pop，不能保证最少消费一次，比如pop超时可能中途丢失，或者消费者处理过程中异常而未能处理完。解决此问题有多种方法：方法一：使用rpoplpush替代pop这种方法相当于建立了一个回滚，由于操作是在redis端完成的，可保证数据不会丢，当消费者完成业务逻辑后，再清掉lpush的另一队列，这步有点类似于事务的commit提交。如果在处理过程中消费者异常重启，则在重启时先检查lpu
转载
2023-07-28 14:57:05
164阅读
# Redis保证Kafka顺序消费实现指南
## 引言
在实现Kafka顺序消费的过程中，使用Redis作为中间件可以保证消息的有序性。本文将为你提供一种实现方法，以帮助你完成这个任务。
## 任务流程
下面是实现"Redis保证Kafka顺序消费"的整个流程。我们将使用Redis的有序集合（sorted set）来维护消息的顺序。
```mermaid
journey
title
原创
2024-01-10 05:57:35
137阅读
RabbitMQ 延时队列（实现定时任务）1、定时任务的场景购物下单等待支付的订单，超过一定时间后，系统就会自动取消订单并释放占有的资源。常用的解决方案是：使用 Spring 的 Schedule 定时任务轮询数据库。但缺点很大：消耗系统内存、增加了数据库的压力、存在较大的时间误差。较好的解决方案是使用 RabbitMQ 的延时队列：RabbitMQ 消息的 TTL 和死信 Exchange 结合
转载
2024-09-23 12:19:32
111阅读
1 相关概念1.1什么是MQ(message queue)本质是个队列，FIFO先入先出，存放的内容是message，而且还是一种跨进程的通信机制，用于传递上下游消息，在互联网架构中MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务，使用MQ之后，消息发送上游只需要依赖MQ不需要依赖其他服务。1.2.为什么用MQ流量削峰如果系统最多可以处理10000并发量，平时使用肯定时绰绰
转载
2024-09-23 17:16:19
209阅读
如何确保消息不会丢失1.检测消息丢失的方法一般有分布式链路追踪系统可以追踪每一条消息或者可以利用消息队列的有序性来验证是否有消息丢失实现方案在producer端给每个消息增加一个连续递增的序号，consumer端来检查这个序号注意kafka和RocketMQ这样的消息队列，不能保证Topicd上的严格顺序，只能保证分区上的消息是有序的，所以在发消息的时候必须指定分区，单独在每个分区检测消息序号的连
转载
2024-03-17 23:08:31
89阅读
