# Redis作延时队列
在实际软件开发中，延时队列是一个常见的需求，用于处理一些需要延迟执行的任务，例如发送定时提醒、定时任务等。Redis是一个快速、高效的内存数据库，也可以用来实现延时队列功能。
## Redis的zset数据结构
Redis中的有序集合（zset）是一种有序的字符串集合，每个成员都关联一个浮点分数（score），通过score的大小来排序。这个特性使得zset非常适合
原创
2024-04-23 03:20:56
16阅读
目录一、业务场景1.1 实践场景1.2 实现方式二、Redis延时队列2.1 Redis列表实现2.2 Redis集合实现一、业务场景所谓延时队列就是延时的消息队列，下面说一下一些业务场景比较好理解1.1 实践场景订单支付失败，每隔一段时间提醒用户用户并发量的情况，可以延时2分钟给用户发短信...1.2 实现方式这些情况都可以使用延时队列来做，实现延时队列比较场景的有使用消息队列MQ来实现，比如R
转载
2023-08-22 23:51:20
232阅读
python入门爬虫小案例一.爬虫基础按使用场景中的分类：通用爬虫、聚焦爬虫、增量爬虫。其中增量式爬虫是检测网站中数据更新的情况，只会抓取网站中最新更新出来的数据。反爬机制 robots.txt协议：君子协议，规定了网站中哪些数据可以被爬取，哪些数据不可以被爬取。http协议：服务器和客户端进行数据交互的一种形式。常用请求头信息 user-Agent：请求载体的身份标识。 connection：请
转载
2023-07-05 00:58:49
25阅读
前言 Redis 5 新特性中，Streams 数据结构的引入，可以说它是在本次迭代中最大特性。它使本次 5.x 版本迭代中，Redis 作为消息队列使用时，得到更完善，更强大的原生支持，其中尤为明显的是持久化消息队列。同时，stream 借鉴了 kafka 的消费组模型概念和设计，使消费消息处理上 ...
转载
2021-05-14 23:29:10
150阅读
2评论
大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从reque
转载
2023-06-16 10:41:39
85阅读
Redis 5 新特性中，Streams 数据结构的引入，可以说它是在本次迭代中最大特性。它使本次 5.x 版本迭代中，Redis 作为消息队列使用时，得到更完善，更强大的原生支持。
转载
2021-09-16 13:59:37
147阅读
Tabula是专门用来提取PDF表格数据的，同时支持PDF导出CSV、Excel格式。首先安装tabula-py:tabula-py依赖库包括Java、pandas、numpy所以需要保证运行环境中安装了这些库。在Python中配置好Java后看能否正常运行把PDF中爬取出来的数据制成表格，需要加载openpyxl：需要读取平均页数有二三百多页的PDF文件数据，爬取出需求数据，以及按需求格式制成不
转载
2023-07-05 22:19:49
79阅读
为什么用RabbitMQ作消息队列而不用Redis
## 引言
在现代的软件开发中，消息队列（Message Queue）是一种常见的通信模式，用于解耦和优化系统之间的通信。它能够提供可靠的消息传递机制，以及高可用性和可扩展性的特性。在选择消息队列工具时，开发者往往会面临选择使用RabbitMQ还是Redis的问题。本文将介绍什么是消息队列，以及为什么在某些情况下选择RabbitMQ比使用Re
原创
2023-09-12 06:58:43
142阅读
操作 redis import redis
redispool = redis.connectionpool(host='192.168.100.50', port=6379, db=8)
redis= redis.redis(connection_pool=redispool)
redis.set('key','values')
redis.get('com')
redis.appe
转载
2023-08-01 19:44:32
497阅读
文章中出现的任何错误，请大家直言相告，一定及时改正文章的排版，自成体系，不足之处请大家指出 文章目录Redis服务器搭建操作指南1. 什么是Redis2. Redis的安装与连接2.1. 下载与安装2.2. Redis服务两种启动模式2.2.1 前端启动2.2.2 后台启动2.3. 服务的连接与关闭2.3.1 连接Redis服务2.3.2 关闭Redis服务3. Redis的两种持久化方案3.1.
转载
2024-09-05 10:01:49
4阅读
## 用Python实现Redis队列
### 介绍
在现代的大型应用程序中，常常需要使用消息队列来解耦不同的组件，使其能够独立运行和扩展。Redis是一个高性能的内存数据库，也可以被用作消息队列的后端存储。在本文中，我们将使用Python语言来实现Redis队列。
### 流程
下面是实现Python Redis队列的步骤：
| 步骤 | 描述 |
|:----:|:----:|
| 1
原创
2024-05-29 10:54:20
82阅读
# Redis 在用户鉴权中的应用
随着互联网应用的快速发展，用户身份鉴权成为了一项至关重要的安全措施。Redis 作为一种高性能、开源的内存数据库，常常被用来增强鉴权系统的效率和速度。本文将介绍如何使用 Redis 进行用户鉴权，并提供相关的代码示例。
## Redis 在鉴权中的优势
1. **高效存储**：Redis 使用内存进行数据存储，相比传统数据库响应速度更快。
2. **数据结
一、 什么样的爬虫是非法的？爬虫不能涉及个人隐私！如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号、财产状况、行踪轨迹等，并将之用于非法途径的，则肯定构成非法获取公民的违法行为。也就是说你爬虫爬取信息没有问题，但不能涉及到个人的隐私问题，如果涉及了并且通过非法途径收益了，那肯定是违法行为。另外，还有下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：爬虫程
转载
2023-05-25 16:24:45
153阅读
1.前提通过RabbitMQ的延时交换器插件实现消息延时触发，延时结束后消息push到队列，消费者开始消费消息。我们项目中的商城模块待支付订单超时修改订单状态为已失效的功能就是通过以上逻辑实现。消息消费完成后采用的是手动ack的方式2.问题描述生产者产生消息正常，通过日志可以证明消费者一直监听不到消息导致超时的订单状态未能及时变更3.问题分析一： 交换器和队列之间没有绑定关系，或者绑定关系错误通过
转载
2023-08-01 17:34:16
175阅读
1. 延时队列我们平时习惯于使用 Rabbitmq 、RocketMQ和 Kafka 作为消息队列中间件，来给应用程序之间增加异步消息传递功能。这两个中间件都是专业的消息队列中间件，特性之多超出了大多数人的理解能力。使用过 Rabbitmq 的同学知道它使用起来有多复杂，发消息之前要创建 Exchange，再创建 Queue，还要将 Queue 和 Exchange 通过某种规则绑定起来，发消息的
转载
2023-07-09 14:43:19
98阅读
Redis之消息队列的实现消息队列一直是中间件三剑客（Redis、MQ、MySQL）中的重要一环，它能够实现异步、削峰、解耦等功能，特别在一些分布式系统架构中优势发挥的淋漓尽致，目前比较成熟的消息中间件种类很多如RabbitMQ、RocketMQ、ActiveMQ、Kafka等，而我们的缓存利器Redis也有对于消息队列的实现，简单概括为一种模式两种数据类型，一种模式指的是发布订阅模式（pub/s
转载
2023-05-25 13:29:32
865阅读
说明之前搭建的时候大概只花了2天，有些地方研究不是很透，这边就对使用后的一些效果做跟踪和改进。内容以QA的方式来看：Q1: 发现有消息遗漏，怎么回事 ? resp = req.get('http://%s:20000/descrbie_Qs/' % remote_ip)
A1: 大约调用了30万次,其中有一条消息没有处理，并且一直留在队列中。
怀疑是某一次的删除指令丢失了从这个角度上，也可以
转载
2024-02-29 23:30:33
35阅读
一、redis在Python下的基本使用1）安装 pip install redis2） 简单的使用测试import redis
r = redis.Redis(host='127.0.0.1', port=6379)
r.set('foo', 'Bar')
print(r.get('foo'))3）使用连接池。使用connection pool来管理对一个redis server的所有连接，避
转载
2023-06-29 13:48:17
167阅读
原标题：Python使用redis的消息队列
Redis 服务
1、安装
yum install redis
2、 python安装支持模块
/opt/python2.7.13/bin/pip install redis
3、 和redis的简单直接交互
In [1]: import redis
In [2]: rc = redis.Redis(host='192.168.8.237',port
转载
2023-08-09 15:30:55
94阅读
## Python 存储 Redis 队列
Redis 是一个基于内存的键值存储数据库，它支持多种数据结构，包括字符串、列表、哈希、集合和有序集合。其中，列表的一个重要应用场景是作为队列使用。
在这篇文章中，我们将介绍如何使用 Python 将数据存储到 Redis 队列中，并提供相应的代码示例。
### Redis 队列简介
队列是一种先进先出（First In First Out, F
原创
2024-01-22 08:02:44
25阅读
