爬虫流程看到了最终结果，那么我们接下来看看该如何一步一步通过一个简单的 nodejs 爬虫拿到我们想要的数据，首先简单科普一下爬虫的流程，要完成一个爬虫，主要的步骤分为：抓取爬虫爬虫，最重要的步骤就是如何把想要的页面抓取回来。并且能兼顾时间效率，能够并发的同时爬取多个页面。同时，要获取目标内容，需要我们分析页面结构，因为 ajax 的盛行，许多页面内容并非是一个url就能请
node:worker_threads 模块允许使用多线程并行执行JS代码。快速引用如下: const worker = require('node:worker_threads'); Workers (线程，下面不再注释) 在处理一些CPU密集型操作上非常有用。 但是对IO密集型操作则不适用。这是因为Node.js自带的IO多线程异步（Event loop）能力已经比 Workers 要更加强大
转载
2024-04-23 13:02:46
563阅读
编程问题中的相当一大部分都可以通过顺序编程来解决。然而，对于某些问题，如果能够并行的执行程序中的多个部分，则会变得非常方便甚至非常必要，这些部分要么可以并发执行，要么在多处理器环境下可以同时执行。并发编程可以使程序执行速度得到极大的提高，或者为设计某些类型的程序提供更简单的模型。学习并发编程就像进入一个全新的领域，有点类似于学习一门新的编程语言，或者是学习一整套新的语言概念。要理解并发编程与理解面
libcurl是一个不错的socket库，而且又是开源的。如果仅仅是简单的HTTP请求，那么只需要几行代码就能轻松实现。不过要用libcurl实现高效、高频率的HTTP请求就需要对libcurl有深入的了解才行。如果阅读英文无障碍的话，那么libcurl自带的示例程序和帮助文档就是最好的老师。一、多线程HTTP请求libcurl提供多线程和异步请求来实现大批量HTTP请求，可参见multithre
文章目录1.继承thread类2.实现runnable接口3.匿名内部类方式4.使用线程池方式启动.5.实现Callable接口启动线程知识补充：综合测试方法如下： 1.继承thread类public class Mythread extends Thread {
@Override
public void run(){
System.out.println("1
转载
2024-10-12 12:59:20
78阅读
目录1、@Transactional的使用1.1、实践2、@Transactional原理分析2.1、初始化阶段2.1.1、@Import和[@ImportSelector + @ImportBeanDefinitionRegistor ]2.1.2、InfrastructureAdvisorAutoProxyCreator组件2.1.3、ProxyTransactionManagementCon
Node.js 是如何工作的？Node.js 的主要思路是：使用非阻塞的，事件驱动的 I/O 操作来保持在处理跨平台 (across distributed devices) 数据密集型实时应用时的轻巧高效。这听起来有点绕口。它的真正含义是，Node.js 不是一个即将主导Web开发的世界的银弹级的平台。相反，它是一个满足特别需求的平台。你肯定不会希望使用 Node.js 去做 CPU密集型操作。
多线程线程与进程的概念在程序执行过程中，一个应用程序就是一个进程，在这个进行运行过程中可能根据不同的功能创建多个线程创建线程创建获取线程的方式有四种，但是常用方式两种1)继承Thread类重写run方法2)实现runnable接口实现run方法jdk1.5以后额外新增两种方法3)实现callable接口实现call方法4)线程池创建继承Thread类重写run方法public class MyTh
转载
2024-04-15 22:31:17
26阅读
首先说，javascript没有多线程这样一个说法，我说的只是类似那种效果。其次，不建议使用这种方式解决问题，多线程应该交给后台去做。但是，如果非要这样用，有什么方法呢？我在工作中就遇到了这样的问题，由于功能等着急用，整体改进会涉及到前后台，改动会非常大，所以先想了一个临时性的解决方法。问题场景是：后台管理系统中有一个表格界面，有一千多条记录，需要为这一千多条记录每条记录生成一堆关联数据，通过多选
转载
2024-07-02 21:15:27
24阅读
一：进程与线程
进程：每个进程都有独立的代码和数据空间（进程上下文），进程间的切换会有较大的开销，一个进程包含1--n个线程。（进程是资源分配的最小单位）
线程：同一类线程共享代码和数据空间，每个线程有独立的运行栈和程序计数器(
转载
2024-04-14 00:15:13
107阅读
Node.js的基本概念Node.js是编写高性能网络服务器的Javascript工具包（用JS开发服务端程序）。特点：单线程、异步、事件驱动；举个Apache服务器运行方式的例子，比如线程池里面有150个线程，当有大量的并发产生的时候（有大量的访问者涌入去访问服务器），会去线程池里面去取线程，其中线程操作有可能是读库或者写入等，线程执行完毕返回给客户端结果之后，线程会继续放回线程池，此时，线程又
但实际上是这样的，它的这个多线程只是一个线程池，去执行一部分计算的任务。EventLoop和IO的处理部分始终是单线程的，在任务线程中不能调用异步接口，只能计算或者执行阻塞IO。除了tagg之外，Node.js还有child_process，cluster等扩展可以实现多进程。但这里的多进程也不知真正意义上的子进程。而是node的另外一个实例。它无法继承使用父进程的任何资源。
注：有
转载
2024-01-17 06:58:41
184阅读
背景Node在V8引擎之上构建，其模型与浏览器类似，js将会运行在单个进程的单个线程上好处：程序状态是单一的，不存在多线程情况下的锁、线程同步的问题，操作系统在调度时因为较少上下文的切换，可以很好的提高CPU的使用率缺点： ①如今CPU基本是多核的，一个Node进程只能用一个核（如何充分利用多核CPU服务器） ②Node执行在单线程上，一但单线程上抛出的异常没有被捕获，将会引起整个进程的奔溃（如何
转载
2024-02-23 16:57:46
57阅读
· ExpressExpress是一个基于Node.js平台的Web应用开发框架。它提供了各种模块，可以快速地创建各种Web和移动应用。1、http模块Express框架在node.js的http模块之上，对http模块进行了封装，相对于加了一个中间层。使用Node.js的http模块创建服务器：使用Express框架
安装 假设您已经安装了 Node.js，创建目录以保存应用程序，并将其设置为工作目录。$ mkdir myapp$ cd myapp使用 npm init 命令为应用程序创建 package.json 文件。 有关 package.json 工作方式的更多信息，请参阅 Specifics of np
原创
2022-12-19 11:05:27
102阅读
原创
2021-05-25 11:50:22
279阅读
初识express什么是express？官方给出的概念：express是基于Node.js平台，快速、开放、极简的web开发框架。通俗的理解：express的作用和Node.js内置的http模块类似，是专门用来创建web服务器的。express的本质：就是一个npm上的第三方包，提供了快速创建web服务器的便捷的方法。安装在项目所处的目录中，运行如下的终端命令，即可将express安装到项目中使
转载
2024-04-05 08:28:26
256阅读
什么是 Express官方给出的概念：Express 是基于 Node.js 平台，快速、开放、极简的 Web 开发框架。通俗的理解：Express 的作用和 Node.js 内置的 http 模块类似，是专门用来创建 Web 服务器的。Express 的本质：就是一个 npm 上的第三方包，提供了快速创建 Web 服务器的便捷方法。Express 的中文官网： http://www.expres
转载
2024-07-06 06:12:14
58阅读
Express基础 文章目录Express基础一.前言基于Node.js平台,快速,开放,极简的Web开发框架1.框架的作用2.Node相关的框架二.Express简介三.安装Express四,使用,搭建一个express的服务五.路由1.路由的基本语法2.请求参数的获取1.query参数(?号传参)2.body参数 (请求体传参)注意,req.body需要设置中间件3. params 参数（动态
转载
2024-06-13 20:11:02
54阅读
一.Express的基本使用1.什么是expressExpress是基于Node.js平台，快速、开放、极简的Web开发框架。2.安装在项目终端执行：npm i express@4.11.13.导入const express = require('express')4.创建web服务器const app = express()5.监听请求//GET请求
app.get(url,(req,res)
转载
2024-04-22 10:12:30
82阅读
