前言在最近的业务中，接到了一个需要处理约十万条数据的需求。这些数据都以字符串的形式给到，并且处理它们的步骤是异步且耗时的(平均处理一条数据需要 25s 的时间)。如果以串行的方式实现，其耗时是相当长的：总耗时时间 = 数据量 × 单条数据处理时间T = N * t (N = 100,000; t = 25s)总耗时时间 = 2,500,000 秒 ≈ 695 小时 ≈ 29 天显然，我们
转载
2023-11-17 22:50:51
106阅读
要学会使用Redis数据库，总的先有个可用的数据库吧。这个只有大家自己想办法了，我用的是SAP云平台上的Redis实例，很多其他的云平台比如GCP，微软的Azure和亚马逊的AWS也都有Redis服务。 在nodejs应用里操作Redis很简单，使用nodejs的redis module即可，在package.json里引入Redis的依赖。 使用如下代码在nodejs应用
转载
2023-06-01 09:20:33
146阅读
# Node.js Redis 并发锁：控制并发访问的利器
在现代的分布式系统中，确保数据的一致性和避免并发冲突是至关重要的。尤其是当多个进程或线程同时访问共享资源时，如何有效地管理并发访问就显得尤为重要。Redis 提供了一种高效的机制，称为“分布式锁”，我们可以利用 Node.js 来实现这一功能。本文将介绍如何使用 Redis 构建并发锁，并提供代码示例。
## 什么是分布式锁？
分布
原创
2024-09-21 05:33:12
86阅读
Nodejs运行机制1. V8引擎解析JavaScript脚本 1. 解析后的代码，调用Node API 1. libuv库负责Node API的执行。它将不同的任务分配给不同的线程，形成一个Event Loop(事件循环)，以异步的方式将任务的执行结果返回给V8引擎 1. V8引擎再将结果返回给用户Node.js的单线程指的是主线程是“单线程”，由主要线程去按照编码顺序一步步执行程序代码，假如遇
之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。还有就是我们通过访问链接下载图片的时候，是一张一张来下的，如果图片数量太多的话，真的是会下到你睡完觉它还在下。这次的的爬虫是上次那个的升级版，爬虫代码在我的gi
转载
2024-06-11 17:31:20
36阅读
简介Node.js 有多重并发的能力，包括单线程异步、多线程、多进程等，这些能力可以根据业务进行不同选择，帮助提高代码的运行效率。本文希望通过读 p-limit、pm2 和 worker_threads 的一些代码，来了解 Node.js 的并发能力。版本说明Node.js 15.4.0Npm: 7.0.15异步Node.js 最常用的并发手段就是异步，不因为资源的消耗而阻塞程序的执行。什么样的并
转载
2024-07-26 13:00:31
473阅读
1.高并发一般来说，高并发的解决方案就是多线程模型，服务器为每个客户端请求分配一个线程，使用同步I/O，系统通过线程切换来弥补同步I/O调用的时间开销，比如Apache就是这种策略，由于I/O一般都是耗时操作，因此这种策略很难实现高性能，但非常简单，可以实现复杂的交互逻辑。而事实上，大多数网站的服务器端都不会做太多的计算，它们只是接收请求，交给其它服务（比如从数据库读取数据），然后等着结果返回再发
转载
2024-04-18 12:45:39
568阅读
最近在了解Nodejs，发现其异步操作特点，在解决高并发问题方面，具有优势。 在以往的高并发问题处理中，多线程是重要的解决方式，但这种方式会有一系列问题，比如线程阻塞，虽然可以通过锁的方式来解决，但锁用起来还是比较麻烦的，而采用异步的方式，就显得很方便了。 js的异步核心在于，所有异步操作会被挂起，在执行完同步操作后，再去执行异步操作。 在Node中，异步操作更加常见，也是其核心所在。这里我手写两
转载
2023-11-14 03:36:42
140阅读
Node.js是全球领先的用JavaScript——世界上最流行的编程语言创建服务器应用程序的工具。提供web服务器和应用服务器的功能，Node.js被认为是各种以微服务为基础的开发和交付的关键工具。Node.js可以替代或增强Java和.NET用于后端应用程序的开发。Node.js是单线程的，并且使用非阻塞I / O，允许它扩展并支持数以万计的并行操作。它和NGINX共享这些架构特性，并解决C1
本文翻译自：How, in general, does Node.js handle 10,000 concurrent requests?I understand that Node.js uses a single-thread and an event loop to process requests only processing one at a time (which is non-b
这里说并发异步，并不准确，应该说连续异步。NodeJs单线程异步的特性，直接导致多个异步同时进行时，无法确定最后的执行结果来回调。举个简单的例子：for(var i = 0; i < 5; i++) {
fs.readFile('file', 'utf-8', function(error, data){});
}连续发起了5次读文件的异步操作，很简单，那么问题来了，我怎么确定所有异
转载
2024-01-03 22:01:44
66阅读
一直都说nodejs是可以支持高并发的，但是是nodejs不是单进程单线程模式吗？那它的高并发到底是怎么回事呢？nodejs单进程单线程事件驱动Node遵循的是单线程单进程的模式，node的单线程是指js的引擎只有一个实例，且在nodejs的主线程中执行，同时node以事件驱动的方式处理IO等异步操作。node的单线程模式，只维持一个主线程，大大减少了线程间切换的开销，但是会有多个worker线程
转载
2023-12-10 02:11:24
165阅读
node js 操作redis promise
连接redis = require('redis')
var client = redis.createClient('6379', '127.0.0.1');
client.on('connect', function() {
console.log('connected');
});基础操作/**
* 1、字符串数据类型
*/
转载
2023-06-28 15:40:32
121阅读
脱离带宽内存与计算量来讨论并发是没有意义的。因为并发数受带宽及其它很多因素影响，不能单就node.js来说并发多高。如果无限带宽，无限计算力，无限存……你可以认为node.js并发数也是无限的，但这没有意义，在同样的情况下，就算是IIS，并发数也可以认为是无限的。node.js的优势严格来说不是并发而是“非阻塞”。它是通过非阻塞来达到高并发的目标的，我们用node.js也是用它的非阻塞这个特点。在
转载
2023-09-26 12:17:58
164阅读
在项目上遇到一个需要对一个接口做200的编发测试，本来享用Postman来进行并发测试但是从网上看到这个工具好像并不具有编发测试的功能。考虑到Node.js天生的异步特性就想到了用Node.js写来进行一个并发的测试。这里考虑到了一个数据多个请求的并发（例如查询），以及每个请求都不同数据。不管是这两种情况的那种，我们的接口数据类型都是相对固定的，所以在下面的代码中的一个思路就是，每次请求体中的
转载
2024-06-29 08:05:38
97阅读
一、准备数据库表创建商品库存表 db_stock ，插入一条数据DROP TABLE IF EXISTS `db_stock`;
CREATE TABLE `db_stock` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`goods_id` varchar(255) CHARACTER SET utf8 COLLATE utf8_gene
转载
2024-04-29 21:25:08
47阅读
一、nodejs连接mysql数据库1. 安装mysqlnpm install mysql --save2.创建数据库进入mysql，运行以下命令行创建数据库todoappcreate table books(
id int not null auto_increment primary key,
isbn varchar(20) not null,
openid varchar(50) not
转载
2023-08-15 08:43:53
131阅读
.env 配置连接REDIS_DB=[{"host":"10.0.11.10","port":6379}，{"host":"10.0.11.10","port":6378}，{"host":"10.0.11.11","port":6379}，{"host":"10.0.11.10","port":6378}]使用ioredis库进行连接import Redis from 'ioredis';
//
转载
2023-05-22 16:20:24
409阅读
node.js - redis - mq - 并发控制并发场景秒杀秒杀系统是可以笼统的称为多用户对同一资源发起请求，正确响应次数少于用户请求量。此时最安全的做法是使用悲观锁，数据级层面的锁，例如oracle的sql:select for update.但是悲观锁的缺点在高并发场景也是很明显，就是允许的并发量低，容易造成504，就像安检一样，一次只能通过一个人，效率和体验都十分低下。 所以应该使用乐
转载
2024-04-07 19:01:29
21阅读
本次实验项目为：QQ用户交互系统，添加好友，创建聊天室，用于用户交流，用户登陆注册，两人私聊或多人交流，发送消息，图片等 该系统基于node.js+express+Bootstrap+Mysql+Redis缓存技术+Vue2.6+layui+JQ框架 文章目录前言一、项目运行，及结果演示1.cmd运行2.打开（多个）浏览器输入127.0.0.1:30103.可登入不同账号（测试账号[密码与账号相同
