一.增量式爬虫 概念：通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。
如何进行增量式的爬取工作：
在发送请求之前判断这个URL是不是之前爬取过
在解析内容后判断这部分内容是不是之前爬取过
写入存储介质时判断内容是不是已经在介质中存在
分析：
不难发现，其实增量爬取的核心是去重， 至于去重的操作在哪个步骤起作用，只能说
# Redis 新增命令及其用法
## 介绍
Redis 是一个开源的内存数据结构存储系统，它通过提供高效的键值对存储和多种数据结构支持，使得开发人员可以更方便地构建各种应用。除了基本的数据结构操作之外，Redis 还不断增加新的命令来满足不同场景下的需求。本文将介绍一些较新的 Redis 命令及其使用方法。
## 新增命令一：BZPOPMIN 和 BZPOPMAX
BZPOPMIN 和
原创
2024-02-12 06:05:46
172阅读
Redis支持五种数据类型：string(字符串)，hash(哈希)，list(列表)，set(集合)及zset(sorted set：有序集合)。(推荐学习：Redis视频教程)String(字符串)string 是 redis 最基本的类型，你可以理解成与 Memcached 一模一样的类型，一个 key 对应一个 value。string 类型是二进制安全的。意思是 redis 的 stri
转载
2024-06-25 08:36:35
22阅读
启动redis服务redis-server指定配置文件启动redis-serverredis-server /etc/redis.conf连接redis服务器redis-cli远程连接redis服务器redis-cli -h 127.0.0.1 -p 6379获取配置信息CONFIG GET ${config_name}获取所有配置CONFIG GET *设置值CONFIG SET ${confi
转载
2024-06-03 21:13:40
78阅读
# Redis 新增值命令详解
Redis 是一个开源的键值数据库，因其高性能和灵活性而广受欢迎。随着版本的不断更新，Redis 功能愈加丰富。本文将专注于 Redis 中的新增值命令，帮助开发者更好地利用 Redis 的强大功能。
## Redis 新增值命令概述
在最新版本的 Redis 中，新增了多种命令来处理不同数据类型和场景。以下是一些重要的新增值命令：
- `HSET`
- `
原创
2024-09-17 06:09:43
38阅读
;
2.get:获取键
$redis->get('mykey');
3.del:删除键
$redis->del('mykey');
4.append
转载
2023-07-07 11:03:10
65阅读
文章目录redis命令redis基本数据结构redis连接客户端命令通用命令(关于键的)String类型命令key的层级Hash类型的命令List类型的命令Set类型命令SortedSet类型命令 redis命令redis命令参考地址：https://redis.io/commands/、http://redisdoc.com/expire/expire.html 、https://www.js
转载
2023-06-13 16:32:20
65阅读
list性能总结： 它是一个字符串链表，left、rigth都可以插入、添加 如果键不存在，创建新的链表 如果键已存在，新增内容 若果值全部移除，对应的键也消失。list常用命令： lrange key 0 -1:按栈的形式输出list列表 lpush key 值(可以是一个或多个)：从左往右入栈，存入列表（栈先入后出） 例如： lpush list01
转载
2023-06-28 16:36:32
68阅读
日常工作中使用的Redis集群是一主多从的架构模型（如下图，主1+主2组成一套完整的数据），当主1发生宕机时，会切写到从（为了方便制作预案主1主2会同时切，分别切向从1从2作为新的主），此时面临的问题是主2没有宕机，如果直接写从2，那写进从2的数据会不会被主2重新覆盖（主2没有宕机）？针对以上问题引申出Redis主从同步的机制问题，学习了解后记录如下：Redis主从同步分为两种机制：全量同步、增量
转载
2024-06-09 22:07:58
28阅读
Lists特点：元素有序可重复命令一览：RPUSH、LPUSH、LRANGE、LPOP、RPOP、LLEN、LINDEX 、LSET、LREM、LTRIM、RPOPLPUSH一、RPUSH1、操作对象：Lists2、用法：RPUSH key value1 value2 ... valueN3、时间复杂度：O(1)4、作用：向指定名为key的List的尾部添加一个或多个String类型的value，
转载
2023-08-25 11:39:42
92阅读
# 如何实现“redis列表根据id新增删除”
## 一、整体流程
首先我们来看一下整个实现的流程，可以使用以下表格展示步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 连接Redis数据库 |
| 2 | 向Redis列表中添加元素 |
| 3 | 从Redis列表中删除元素 |
## 二、具体操作步骤及代码
### 步骤1：连接Redis数据库
首先我们需要连接到
原创
2024-07-03 03:35:08
18阅读
这里主要是运用到了redis中的两个命令，请看一、SETBIT key offset value对 key 所储存的字符串值，设置或清除指定偏移量上的位(bit)。位的设置或清除取决于 value 参数，可以是 0 也可以是 1 。当 key 不存在时，自动生成一个新的字符串值。字符串会进行伸展(grown)以确保它可以将 value 保存在指定的偏移量上。当字符串值进行伸展时，空白位
转载
2024-04-21 17:36:08
31阅读
列表类型命令向列表两端增加元素lpush key val val1 ...向列表左端增加元素rpush key val val1 ...向列表右端增加元素两个操作的返回
原创
2022-12-14 14:53:10
55阅读
# Redis查看列表命令
Redis是一种由Salvatore Sanfilippo开发的高性能键值存储系统，它支持各种数据结构，其中之一就是列表（list）。在Redis中，列表为一个有序的字符串列表，可以包含重复的值。在实际开发中，我们有时需要查看列表中的元素，这时就需要使用一些Redis的列表查看命令。
## 列表命令
Redis提供了一些命令用于查看和操作列表，以下是一些常用的列表
原创
2024-04-09 04:46:18
71阅读
Redis列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）一个列表最多可以包含 232- 1 个
原创
2023-09-25 11:28:10
60阅读
# Redis 查询列表命令
## 1. 简介
Redis是一种开源的数据结构服务器，通过提供高效的键值存储和查询功能，被广泛应用于缓存、队列、排行榜等场景。其中，列表（List）是Redis中常用的数据类型之一，它可以存储有序、可重复的元素集合。本文将介绍Redis中常用的查询列表命令，并通过代码示例展示其用法。
## 2. 列表的常用命令
### 2.1 LPUSH
LPUSH命令用
原创
2024-01-20 09:50:10
34阅读
## Redis List 命令行新增
### 什么是 Redis List？
在 Redis 中，List 是一个双向链表，可以存储多个字符串值。List 允许重复的元素，并且可以在两端进行快速的插入和删除操作。在实际应用中，List 常用于实现队列、栈等数据结构。
### Redis List 命令行新增
#### LPUSH：在列表的左侧插入一个或多个值
LPUSH 命令可以将一个
原创
2024-05-20 06:20:14
19阅读
Redis 5 已经发布了，对有序集合新增了4个命令：ZPOPMAXZPOPMINBZPOPMAXBZPOPMIN下面看一下这几个命令的作用和用法。ZPOPMAX命令：ZPOPMAX key [count]作用：从指定集合中删除并返回 count 个 score 值最高的元素。如果没有指定 count，默认值为 1。如果 count 大于 1，返回值按 score 排序，score 最大的第一个返
原创
2021-04-21 14:42:07
818阅读
Redis不是简单的键值存储数据库，它实际上是一个支持不同类型值的数据结构服务器。Redis支持的数据类型包括：String字符串、List列表、Set集合、ZSet有序集合、Hash哈希、BitMaps位图、HyperLogLogs、Streams1. String字符串string是Redis最基本的数据类型，一个key对应一个valuevalue可以是每种类型的字符串，其大小不能大于512M
转载
2024-06-30 16:34:48
40阅读
