redis量个强大的缓存组件，可以部署在windows和linux环境之上，它有五大存储结构，其中有一种为列表list，它可以实现quene和stack的功能，即队列和堆栈的功能。当然使用先安装python、nodejs 这些就先不用说了吧。在node之前client->IIS/apache服务器->2M Thread->redis serv
转载
2023-06-22 22:49:13
105阅读
前言在最近的业务中，接到了一个需要处理约十万条数据的需求。这些数据都以字符串的形式给到，并且处理它们的步骤是异步且耗时的(平均处理一条数据需要 25s 的时间)。如果以串行的方式实现，其耗时是相当长的：总耗时时间 = 数据量 × 单条数据处理时间T = N * t (N = 100,000; t = 25s)总耗时时间 = 2,500,000 秒 ≈ 695 小时 ≈ 29 天显然，我们
转载
2023-11-17 22:50:51
106阅读
一. 什么是消息队列？消息（Message）是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取，消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。
转载
2024-03-13 19:56:59
101阅读
在上一篇文章在Node.js中使用RabbitMQ系列一 Hello world我有使用一个任务队列，不过当时的场景是将消息发送给一个消费者，本篇文章我将讨论有多个消费者的场景。其实，任务队列最核心解决的问题是避免立即处理那些耗时的任务，也就是避免请求-响应的这种同步模式。取而代之的是我们通过调度算法，让这些耗时的任务之后再执行，也就是采用异步的模式。我们需要将一条消息封装成一个任务，并且将它添加
转载
2023-06-01 18:14:42
130阅读
Node里的事件队列和浏览器中的差异性还是比较大的，但是共同点就是宏任务和微任务的机制，是一样的，如图是关于node的宏任务与微任务分类。 nexttick会在node的每一次事件开启时最先执行（微任务最高优先级）。而关于node事件队列可分为如下6个阶段： 1.timers 阶段：这个阶段执行timer（setTimeout、setInterval）的回调 2.I/O callbacks 阶段：
转载
2023-05-25 14:38:05
208阅读
业务需求大家好，我终于踩坑了哈哈哈哈～～～ 如果服务器是单线程的话 消息推送完全可以用websocket来实现，参考我上一个文章 websocket消息发送 但是呢我这个上到测试环境就出现了问题，推送的消息偶尔能收到，偶尔收不到的情况 ，绞尽脑汁，最后问题是服务器采用集群的模式，是多线程的，所以就--------这时候redis就起作用了 现在的方法就是：通过 redis 来 广播消息，当 后
转载
2023-05-25 13:25:19
225阅读
因为新的项目中使用了redis的消息队列功能去处理一些比较耗时或者耗资源的事情，所以了解了一下redis的消息队列机制。 在redis中这被成为发布(pub)与订阅(sub)。
转载
2023-05-25 11:42:33
80阅读
本文英文链接：https://github.com/OptimalBits/bull/tree/develop/docs 译文：嗨Sirius什么是 Bull?Bull 是一个 Node 库，它基于redis实现了一个快速、健壮的队列系统。尽管可以直接使用 Redis 命令实现队列，但该库提供了一个 API，它处理所有低级细节并丰富了 Redis 基本功能，以便可以轻松处理更复杂的用例。如果您不熟
转载
2024-03-13 19:07:36
58阅读
关于本文 作者：@jrainlau在最近的业务中，接到了一个需要处理约十万条数据的需求。这些数据都以字符串的形式给到，并且处理它们的步骤是异步且耗时的（平均处理一条数据需要 25s 的时间）。如果以串行的方式实现，其耗时是相当长的：总耗时时间 = 数据量 × 单条数据处理时间 T = N * t (N = 100,000; t = 25s)总耗时时间 = 2,500,000 秒 ≈ 695 小时
转载
2024-02-22 10:09:11
269阅读
# 如何实现Node.js Redis消费队列
## 概述
在本文中，我将向您介绍如何使用Node.js和Redis实现一个简单的消费队列。消费队列是一种常见的模式，用于处理任务或消息的异步处理。
## 整体流程
下面是实现Node.js Redis消费队列的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建Redis客户端连接 |
| 2 | 生产者将任务
原创
2023-07-14 05:22:08
260阅读
问题初现某基于node.js开发的业务系统向外提供了一个dubbo服务，提供向第三方缓存查询、设置多项业务数据并聚合操作结果。在QPS达到800时（两台虚拟机，每台机器4Core8G4node进程），在监控平台上出现了非常多的slow rt警告，平均接口响应达到60+ms，请求报警率达到80%+。为找到造成该服务吞吐量过低的罪魁祸首，业务人员在请求日志中打点了所有查询缓存的操作，结果显示每个请求查
转载
2024-06-18 20:46:55
105阅读
为什么写这篇文章现在的面试要求越来越高了，打开看了看几个 BOSS 招聘 Node.js 全栈开发的，其中都有一条“了解 消息队列，并在项目中应用过”，呜呜呜后端开发者应该都知道消息队列，但是一些前端开发者可能知道的并不多，但是你们可能好奇抢票,商品秒杀等功能是如何实现的，其实没有多么高大上，看了消息队列就知道了。文章导图(你能学到)什么是消息队列“消息队列”是在消息的传输过程中保存消息的容器。个
转载
2023-09-15 23:24:03
147阅读
需求：功能 A 需要调用第三方 API 获取数据，而第三方 API 自身是异步处理方式，在调用后会返回数据与状态 { data: "查询结果", "status": "正在异步处理中" }，这样就需要间隔一段时间后再去调用第三方 API 获取数据。为了用户在使用功能 A 时不会因为第三方 API 正在异步处理中而必须等待，将用户请求加入任务队列中，返回部分数据并关闭请求。然后定时从任务队列里中取出
转载
2024-02-08 15:15:26
156阅读
7.1 Redis消息队列-认识消息队列什么是消息队列：字面意思就是存放消息的队列。最简单的消息队列模型包括3个角色：消息队列：存储和管理消息，也被称为消息代理（Message Broker）生产者：发送消息到消息队列消费者：从消息队列获取消息并处理消息使用队列的好处在于 **解耦：**所谓解耦，举一个生活中的例子就是：快递员(生产者)把快递放到快递柜里边(Message Queue)去，我们(消
转载
2023-06-13 20:03:35
686阅读
一、概述众所周知，redis这个强大的中间件经常被用作处理各种分布式的业务，比如分布式锁、消息队列等等，而redis用来处理消息队列的业务时应该使用哪种数据结构呢？在学习stream之前，我的第一反应是list，理由如下list可以采用左进右出的方式保证消息处理的顺序性list可以采取阻塞读取消息方式，不浪费cpu资源list可以借助redis对消息进行持久化综上所述，好像list的确可以作为一种
转载
2023-08-25 11:25:54
21阅读
一、 慢操作五大原因如下图所示，主要分为与操作系统相关以及与Redis集群实例之间与内部相关两个方面1. Redis实例之间以及内部数据传输阻塞（客户端、磁盘、主从通信、切片集群通信）解决方法 — 主从集群时，限制主库RDB文件大小。2. 多CPU多核架构（绑核，绑CPU）解决方法—绑核绑CPU。3. sql语句执行阻塞（慢查询、过期key）解决方法—避免慢查询指令、客户端做聚合、对key设置不同
转载
2023-08-14 13:10:24
110阅读
场景描述redis nodejs的api没有提供pop多个元素的指令redis的smember函数没有办法移除要pop出去的元素，且高并发下可能存在问题使用 async.parallel来实现多个任务并列执行，最终可以一次性得到所有结果避免了nodejs异步编程中无法实现for循环+异步的问题router.post('/pictures_list', function (req, res, nex
转载
2023-05-29 15:21:12
48阅读
需求很简单实时向客户端（目前只有浏览器）推送消息 核心为 rabbitmq + nodejs的socket.io + redis 做消息中心后端的消息中间件必不可少，当初考虑是从rabbitmq和redis选一个。 redis现在很火支持消息订阅性能也非常不错可惜它对消息这块支持的相对弱功能比较少，像消息的过期、ack
转载
2024-05-11 19:43:09
48阅读
安装方法安装redis方法请自行百度，用npm方法，安装nodejs的redis模块 npm install redis 实战 var redis = require("redis") ,
client = redis.createClient();
client.on("error", function (err) {
console.log("Error " + err);
转载
2023-05-25 13:04:05
109阅读
5.4 Node.js与RedisRedis入门指南Redis官方推荐的Node.js客户端是node_redis1。5.4.1 安装使用npm install redis命令安装最新版本的node_redis，目前版本是0.8.2。5.4.2 使用方法首先加载node_redis模块：
var redis = require('redis');下面的代码将创建一个默认连接到地址127.0.0.
转载
2023-10-11 23:21:54
146阅读
