一、 慢操作五大原因如下图所示，主要分为与操作系统相关以及与Redis集群实例之间与内部相关两个方面1. Redis实例之间以及内部数据传输阻塞（客户端、磁盘、主从通信、切片集群通信）解决方法 — 主从集群时，限制主库RDB文件大小。2. 多CPU多核架构（绑核，绑CPU）解决方法—绑核绑CPU。3. sql语句执行阻塞（慢查询、过期key）解决方法—避免慢查询指令、客户端做聚合、对key设置不同
转载
2023-08-14 13:10:24
114阅读
# 如何实现Node.js Redis消费队列
## 概述
在本文中，我将向您介绍如何使用Node.js和Redis实现一个简单的消费队列。消费队列是一种常见的模式，用于处理任务或消息的异步处理。
## 整体流程
下面是实现Node.js Redis消费队列的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建Redis客户端连接 |
| 2 | 生产者将任务
原创
2023-07-14 05:22:08
262阅读
Node里的事件队列和浏览器中的差异性还是比较大的，但是共同点就是宏任务和微任务的机制，是一样的，如图是关于node的宏任务与微任务分类。 nexttick会在node的每一次事件开启时最先执行（微任务最高优先级）。而关于node事件队列可分为如下6个阶段： 1.timers 阶段：这个阶段执行timer（setTimeout、setInterval）的回调 2.I/O callbacks 阶段：
转载
2023-05-25 14:38:05
208阅读
测试目的本次测试目的是 消费 Redis List类型 里的数据 以各种方式来快速消费，得到最佳消费方式。消费框架为 spring boot，消费工具库为 lettuce，结合redisredisTemplate 的 api 来载入和消费数据，消费数据量分别为 1.5w、2w、10w。消费数据会提前加载到 Redis list 中，消费api 为 redisredisTemplate.opsFor
转载
2023-07-13 11:13:50
275阅读
简使用pop，不能保证最少消费一次，比如pop超时可能中途丢失，或者消费者处理过程中异常而未能处理完。解决此问题有多种方法：1) 方法一：使用rpoplpush替代pop这种方法相当于建立了一个回滚，由于操作是在redis端完成的，可保证数据不会丢，当消费者完成业务逻辑后，再清掉lpush的另一队列，这步有点类似于事务的commit提交。如果在处理过程中消费者异常重启，则在重
转载
2023-08-17 16:47:50
950阅读
redis量个强大的缓存组件，可以部署在windows和linux环境之上，它有五大存储结构，其中有一种为列表list，它可以实现quene和stack的功能，即队列和堆栈的功能。当然使用先安装python、nodejs 这些就先不用说了吧。在node之前client->IIS/apache服务器->2M Thread->redis serv
转载
2023-06-22 22:49:13
105阅读
1.前提通过RabbitMQ的延时交换器插件实现消息延时触发，延时结束后消息push到队列，消费者开始消费消息。我们项目中的商城模块待支付订单超时修改订单状态为已失效的功能就是通过以上逻辑实现。消息消费完成后采用的是手动ack的方式2.问题描述生产者产生消息正常，通过日志可以证明消费者一直监听不到消息导致超时的订单状态未能及时变更3.问题分析一： 交换器和队列之间没有绑定关系，或者绑定关系错误通过
转载
2023-08-01 17:34:16
175阅读
应用场景理论上任何需要消息队列的场景都可通过此方式实现，笔者的应用场景是一个服务完成一个任务需要经过两个不同的队列，任务经过了第一个队列后，需要重新配置入参放入第二个队列。完成第一个队列后的任务放入一个用redis List模拟的消息队列，由处理方法消费消息并处理后处理放入第二个队列。实现方法redis异步队列常见的实现方式主要有两种：一，新消息rpush进入消息队列，每次lpop消息队列，如果没
转载
2023-06-26 16:03:41
245阅读
redis-py的blpop/brpop可能由于网络波动导致收不到信息场景问题解决办法原因 场景业务上有一个需求，是将Redis作为消息队列，然后消费者消费队列中的数据。问题Redis 列表中长时间没有数据，等再有新的数据的时候仍然没有消费到数据，查看Redis，数据是存在的。# 由于只有消费侧有问题，因此只有消费侧的代码
class RedisCli:
# 这个类只是封装了一下redis 连
转载
2023-07-12 14:59:04
323阅读
一 基于Redis实现1.场景： 电商系统或者购票系统都必须具备订单功能，生成订单后一段时间不支付订单会自动关闭。最简单的想法是设置定时任务轮询， 但是每个订单的创建时间不一样，定时任务的规则无法设定，如果将定时任务执行的间隔设置的过短，太影响效率。还有一种想法，在用户进入订单界面的时候，判断时
转载
2024-06-03 13:00:41
77阅读
延迟队列延迟消息队列使用场景定时任务，比如任务A和任务B是同条流水线上的，当任务A完成了，一个小时后执行任务B我们打车，在规定时间内，没有车主接单，那么平台就会推送消息给你，提示暂时没有车主接单。网上支付场景，下单了，如果没有在规定时间付款，平台通常会发消息提示订单在有效期内没有支付完成，此订单自动取消之类的信息。我们买东西，如果在一定时间内，没有对该订单进行评分，这时候平台会给一个默认分数给此订
转载
2024-04-19 16:53:46
90阅读
因为新的项目中使用了redis的消息队列功能去处理一些比较耗时或者耗资源的事情，所以了解了一下redis的消息队列机制。 在redis中这被成为发布(pub)与订阅(sub)。
转载
2023-05-25 11:42:33
80阅读
本文英文链接：https://github.com/OptimalBits/bull/tree/develop/docs 译文：嗨Sirius什么是 Bull?Bull 是一个 Node 库，它基于redis实现了一个快速、健壮的队列系统。尽管可以直接使用 Redis 命令实现队列，但该库提供了一个 API，它处理所有低级细节并丰富了 Redis 基本功能，以便可以轻松处理更复杂的用例。如果您不熟
转载
2024-03-13 19:07:36
58阅读
关于本文 作者：@jrainlau在最近的业务中，接到了一个需要处理约十万条数据的需求。这些数据都以字符串的形式给到，并且处理它们的步骤是异步且耗时的（平均处理一条数据需要 25s 的时间）。如果以串行的方式实现，其耗时是相当长的：总耗时时间 = 数据量 × 单条数据处理时间 T = N * t (N = 100,000; t = 25s)总耗时时间 = 2,500,000 秒 ≈ 695 小时
转载
2024-02-22 10:09:11
269阅读
如何保证消息不被重复消费？ 保证消息不被重复消费的关键是保证消息队列的幂等性，这个问题针对业务场景来答分以下几点： 1.比如，你拿到这个消息做数据库的insert操作。那就容易了，给这个消息做一个唯一主键，那么就算出现重复消费的情况，就会导致主键冲突，避免数据库出现脏数据。 2.再比如，你拿到这个消息做redis的set的操作，那就容易了，不用解决，因为你无论set几次结果都是一样的，set操作本
转载
2023-09-11 11:08:03
110阅读
在上一篇文章在Node.js中使用RabbitMQ系列一 Hello world我有使用一个任务队列，不过当时的场景是将消息发送给一个消费者，本篇文章我将讨论有多个消费者的场景。其实，任务队列最核心解决的问题是避免立即处理那些耗时的任务，也就是避免请求-响应的这种同步模式。取而代之的是我们通过调度算法，让这些耗时的任务之后再执行，也就是采用异步的模式。我们需要将一条消息封装成一个任务，并且将它添加
转载
2023-06-01 18:14:42
130阅读
业务需求大家好，我终于踩坑了哈哈哈哈～～～ 如果服务器是单线程的话 消息推送完全可以用websocket来实现，参考我上一个文章 websocket消息发送 但是呢我这个上到测试环境就出现了问题，推送的消息偶尔能收到，偶尔收不到的情况 ，绞尽脑汁，最后问题是服务器采用集群的模式，是多线程的，所以就--------这时候redis就起作用了 现在的方法就是：通过 redis 来 广播消息，当 后
转载
2023-05-25 13:25:19
225阅读
一. 什么是消息队列？消息（Message）是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取，消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。
转载
2024-03-13 19:56:59
101阅读
前言在最近的业务中，接到了一个需要处理约十万条数据的需求。这些数据都以字符串的形式给到，并且处理它们的步骤是异步且耗时的(平均处理一条数据需要 25s 的时间)。如果以串行的方式实现，其耗时是相当长的：总耗时时间 = 数据量 × 单条数据处理时间T = N * t (N = 100,000; t = 25s)总耗时时间 = 2,500,000 秒 ≈ 695 小时 ≈ 29 天显然，我们
转载
2023-11-17 22:50:51
106阅读
Serve 基于Swoole Server 编写的消息队列消费系统已支持功能:支持数据库操作仅支持Redis 作为消息队列允许开启多个 Worker+TaskWorker+Master模式 监控不同队列环境要求：PHP >= 7.2ext-Swooleext-SeasLog (暂时未实现日志，无需安装扩展:后期添加)运行如图：调试模式 "php bin/email_delay.php sta
转载
2024-02-26 20:28:23
35阅读
