redis延时队列zset如何实现

精选原创

xiongood 2024-08-06 15:19:22 博主文章分类：周边 ©著作权

文章标签 Lua Redis 时间戳 文章分类 MySQL 数据库 yyds干货盘点

©著作权归作者所有：来自51CTO博客作者xiongood的原创作品，请联系作者获取转载授权，否则将追究法律责任

Redis延时队列zset如何实现

在分布式系统中，延时队列是一种常用的设计模式，用于处理那些需要在未来某个时间点执行的任务，如订单超时未支付自动取消、消息延迟发送等场景。Redis作为高性能的内存数据结构存储系统，通过其有序集合（Sorted Set，简称zset）数据类型可以非常方便地实现延时队列。本文将深入探讨如何使用Redis的zset来构建一个高效的延时队列，并辅以详细的代码样例。

Redis ZSet 基础

在Redis中，ZSet是一个有序集合，每个成员（Member）都会关联一个double类型的分数（Score），Redis正是通过分数来为集合中的成员进行从小到大的排序。这使得ZSet非常适合用来实现延时队列，其中成员可以代表任务，分数可以代表任务应该被执行的时间戳（通常是Unix时间戳，即自1970年1月1日以来的秒数）。

延时队列的实现步骤

1. 添加任务到延时队列

当需要添加一个延时任务时，我们将其成员（比如任务ID或唯一标识）和对应的执行时间（转换为时间戳）作为分数添加到ZSet中。

import redis  
 import time  
   
 # 连接到Redis  
 r = redis.Redis(host='localhost', port=6379, db=0)  
   
 # 假设有一个任务需要在30秒后执行  
 task_id = 'task_123'  
 execute_at = int(time.time()) + 30  # 当前时间加上延时秒数  
   
 # 将任务添加到ZSet中  
 r.zadd('delay_queue', {task_id: execute_at})

2. 定期检查并执行到期的任务

为了执行到期的任务，我们需要定期检查ZSet中分数最小（即最早应该被执行）的成员，如果其分数小于或等于当前时间戳，则将其从ZSet中移除并执行。

def process_delay_queue(r, queue_key):  
     # 获取当前时间戳  
     now = int(time.time())  
       
     # 使用ZRANGEBYSCORE和ZREM命令结合Lua脚本来原子性地检查并移除到期的任务  
     # 这里为了简化，直接用Python代码模拟，实际生产环境建议使用Lua脚本以保证原子性  
     while True:  
         # 查找并移除分数小于等于当前时间戳的任务  
         # 注意：这里ZRANGEBYSCORE返回的是成员列表，需要再调用ZREM移除  
         # 但由于ZRANGEBYSCORE+ZREM不是原子操作，实际使用时推荐使用Lua脚本  
         ready_tasks = r.zrangebyscore(queue_key, 0, now, withscores=True)  
         if not ready_tasks:  
             break  # 没有到期的任务，跳出循环  
   
         for task_id, _ in ready_tasks:  
             # 假设这里执行任务  
             print(f"Executing task: {task_id}")  
               
             # 移除已执行的任务  
             r.zrem(queue_key, task_id)  
   
 # 调用函数处理延时队列  
 process_delay_queue(r, 'delay_queue')

注意：上述代码示例中，zrangebyscore 和 zrem 操作不是原子性的，可能会导致在并发环境下出现竞态条件。为了解决这个问题，可以使用Redis的Lua脚本来执行这两个操作，确保它们的原子性。

3. 使用Lua脚本保证原子性

-- Lua脚本，用于原子性地查找并移除到期的任务  
 local queue_key = KEYS[1]  
 local now = ARGV[1]  
   
 -- 使用redis.call执行Redis命令  
 local ready_tasks = redis.call('ZRANGEBYSCORE', queue_key, 0, now)  
 if #ready_tasks > 0 then  
     redis.call('ZREM', queue_key, unpack(ready_tasks))  
     -- 这里可以添加逻辑来实际执行任务，但Lua脚本中通常不推荐进行复杂的逻辑处理  
     -- 可以将任务ID返回给客户端，由客户端执行具体的任务逻辑  
     return ready_tasks  
 else  
     return nil  
 end

在Python中使用这个Lua脚本：

# 加载并执行Lua脚本（略去具体加载脚本的代码）  
 # ...  
   
 # 调用Lua脚本处理延时队列  
 now = int(time.time())  
 script_result = r.eval（script, 1, 'delay_queue', now)  
 if script_result:  
     # 处理返回的到期任务列表  
     for task_id in script_result:  
         print(f"Executing task (Lua script): {task_id}")