cookie 虽然很方便，但是使用 cookie 有一个很大的弊端，cookie 中的所有数据在客户端就可以被修改，数据非常容易被伪造，那么一些重要的数据就不能存放在 cookie 中了，而且如果 cookie 中数据字段太多会影响传输效率。为了解决这些问题，就产生了 session，session 中的数据是保留在服务器端的。 session 的运作通过一个 session_
转载
2024-04-05 22:33:23
47阅读
寻找爬取的目标首先我们需要一个坚定的目标,于是找个一个比较好看一些网站,将一些信息统计一下,比如 url/tag/title/number...等信息init(1, 2); //设置页数,现在是1-2页
async function init(startPage, endPage) {
for (let i = startPage; i <= endPage; i++) {
a
转载
2024-01-11 20:51:37
53阅读
node是服务器端的语言，所以可以像python一样对网站进行爬取，下面就使用node对博客园进行爬取，得到其中所有的章节信息。 第一步： 建立crawl文件，然后npm init。 第二步： 建立crawl.js文件，一个简单的爬取整个页面的代码如下所示： 即引入模块，然后利用对象
转载
2017-02-23 11:44:00
106阅读
2评论
/** * 目标：爬取北京大学软件与微电子学院的所有新闻，并将内容及图片存储到本地。
原创
2022-09-13 12:09:58
80阅读
node是服务器端的语言，所以可以像python一样对网站进行爬取，下面就使用node对博客园进行爬取，得到其中所有的章节信息。 第一步： 建立crawl文件，然后npm init。 第二步： 建立crawl.js文件，一个简单的爬取整个页面的代码如下所示：var http = require("http");var url&
原创
2017-05-03 16:01:41
945阅读
说到爬虫大家可能会觉得很NB的东西，可以爬小电影，羞羞图，没错就是这样的。在node爬虫方面，我也是个新人，这篇文章主要是给大家分享几种实现node爬虫的方式。第一种方式，采用node,js中的 superagent+request + cheerio。cheerio是必须的，它相当于node版的jQuery，用过jQuery的同学会非常容易上手。它主要是用来获取抓取到的页面元素和其中的数据信
Egg.js是什么快速入门快速初始化使用脚本快速生成项目mkdir egg-example && cd egg-example
npm init egg --type=simple
npm i启动项目npm run dev访问http://localhost:7001即可逐步搭建1.初始化项目$ mkdir egg-example
$ cd egg-example
$ npm in
# Node爬虫和Python爬虫 - 了解并比较两种常用的网络爬虫工具
网络爬虫是一种自动化的程序，通过从互联网上抓取信息来收集数据。它们在数据挖掘、机器学习、市场研究等领域广泛应用。而在构建网络爬虫时，Node.js和Python是两个常用的工具。本文将介绍Node爬虫和Python爬虫的特点，并通过代码示例来比较它们的用法和性能。
## Node爬虫
Node.js是一个基于Chrom
原创
2023-07-22 18:53:24
441阅读
一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高，之所以爬虫程序的串行低效，是因为爬虫程序是明显的IO密集型程序。那么该如何提高爬取性能呢？二 同步、异步、回调机制1、同步调用：
由于考虑到很多的小伙伴对爬虫有诸多的不理解和疑问，那么本篇文章就对http进行简单的介绍。HTTP 的全称是 Hyper Text Transfer Protocol，中文名叫作超文本传输协议。我们废话不多说，直接上图片 + 解析。右单击选择“检查”即可进入开发者工具。在Network下，总共有7项，分别是：Name(请求的名称，一般将url的最后一部分作为名称)Status(响应状态码)Type
# Node Axios爬虫实现流程
## 介绍
本文将介绍如何使用Node.js和Axios库实现一个简单的爬虫。如果你是一名刚入行的开发者，不知道如何实现“Node Axios爬虫”，请继续阅读。
## 整体流程
以下是实现Node Axios爬虫的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 安装Node.js和Axios |
| 步骤二 | 创建爬虫
原创
2023-10-22 06:43:44
155阅读
爬虫的原理很好理解，就是在服务端请求另一个服务器的资源，前端有跨域问题，而服务端没有，这是天然优势。掌握node的前端可以为所欲为了。1 首先，根据请求资源的协议选择合适的模块，比如csdn是https协议，就用https的方法取请求，之前没有注意到这个问题。var https = require('https');2 用get方法请求需要抓去内容的网页地址，试过用request方法，没有反应。
原创
2019-07-04 14:26:39
991阅读
# 使用 Node 和 Python 实现网页爬虫的完整指南
网页爬虫是一种自动访问网站并提取页面数据的程序。本文将指导您使用 Node.js 和 Python 构建一个简单的爬虫。通过以下步骤，您将掌握爬虫的基本实现流程。
## 整体流程
在开始编写代码之前，我们先来了解一下构建爬虫的整体步骤。下表总结了我们将要进行的步骤：
| 步骤 | 描述 |
|------|------|
| 1
做node爬虫，首先像如何的去做这个爬虫，首先先想下思路，我这里要爬取一个页面的数据，要调取网页的数据，转换成页面格式（html+div）格式，然后提取里面独特的属性值，再把你提取的值，传送给你的页面上，在你前端页面显示，或者让你的前端页面能够去调取这些返回的值。首先要安装以下的依赖// 调取
npm install --save request-promise
// 转换成页面格式
npm in
转载
2023-05-23 14:02:38
113阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言
一、必要工具安装
二、爬取前操作三、爬取新闻数据四、建立个人网页展示爬取内容总结 前言网络爬虫是按照一定规则自动获取网络信息数据的一种程序本次爬虫实验项目目标是选取新闻网站建立爬虫，对新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息并存储在数据库中，再建立个人
转载
2023-08-18 19:41:56
363阅读
Session 和 Cookie我们先介绍 Session 和 Cookie 的区别：Cookie在网站中，http 请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。cookie 的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动的把上次请求
转载
2023-12-14 10:05:55
82阅读
摘要本文作者：崔庆才GitHub地址：https://github.com/Python3WebSpider/CookiesPool很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做SEO，不会对所有页面都设置登录限制。但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。设置了登录限制的页面无法爬取。比如论坛，博客等等如果没有登录请求频繁
转载
2024-05-15 13:29:31
46阅读
什么是身份认证
身份认证指通过一定的手段，完成对用户身份的确认。
web开发中常见的身份认证：手机验证码登录、邮箱密码登录、二维码登录等。
不同开发模式进行身份认证
服务端渲染推荐使用 Session 认证机制
前后端分离推荐使用 JWT 认证机制
1 Session认证机制
HTTP协议的无状态性
HTTP协议的无状态性，指的是客户端的每次HTTP请求都是独立的，连续多个请求之间的没有直接的
session的使用 1 第一步安装 npm install express-session --save 2第二步引入 在app.js中 var session = require("express-session"); 4:app.js中配置中间件 供给其他方法使用 设置以后可以在req中调用 ...
转载
2021-08-30 17:43:00
266阅读
2评论
今天捣鼓自己的后台项目的时候有一个登录验证码的功能需要实现，开个坑记录下。完整功能界面: 实现实现这里的图形验证码我是用的node里svg-captcha模块,可以全部支持字符和数字，全平台支持，用起来很简单。1.安装cnpm i svg-captcha --save
复制代码2.在使用的地方导入var svgCaptcha = require('svg-captcha');
复制代码3.获取验
转载
2024-02-11 12:02:06
50阅读
