redis list 消息丢失

转载

时光机3号 2024-10-14 12:01:03

文章标签 redis list 消息丢失 redis 链表客户端 文章分类 Redis 数据库

作者：锐玩道

一、List类型使用说明

list类型是用来存储多个有序的字符串的，支持存储2^32次方-1个元素。
redis可以从链表的两端进行插入(pubsh)和弹出(pop)元素,充当队列或者栈
支持读取指定范围的元素集
读取指定下标的元素等

注意它是链表而不是数组。这意味着 list 的插入和删除操作非常快，时间复杂度为 O(1)，但是索引定位很慢，时间复杂度为 O(n)

另外当列表弹出了最后一个元素之后，该数据结构自动被删除，内存被回收。

二、String类型常用命令：

右边进左边出：队列

# 进入队列> rpush books python java golang(integer) 3# 队列长度> llen books(integer) 3# 取出队列> lpop books"python"> lpop books"java"> lpop books"golang"> lpop books(nil)

右边进右边出：栈

# 入栈> rpush books python java golang(integer) 3# 出栈> rpop books"golang"> rpop books"java"> rpop books"python"> rpop books(nil)

慢操作

lindex 相当于 Java 链表的get(int index)方法，它需要对链表进行遍历，性能随着参数index增大而变差。

redis list 消息丢失_客户端

ltrim 和字面意思不太一样，与其说去除不如说保留。

因为 ltrim 两个参数start_index和end_index定义了一个区间内的值将被保留下来。这使它非常适合实现一个定长的链表。扩展：Redis面试连环问，快看看你能走到哪一步！

三、使用场景：链表用来做异步队列

链表常用来做异步队列使用

将需要延后处理的任务结构体序列化(JSON)成字符串塞进 Redis 的列表
另一个线程从这个列表中轮询数据进行处理。
lpush + lpop = stack 先进后出的栈
lpush + rpop = queue 先进先出的队列
lpush + ltrim = capped collection 有限集合
lpush + brpop = message queue 消息队列

Redis 队列绕不开的消息丢失问题

一般借助List来实现消息队列:

通过命令LPUSH(BLPUSH)把消息入队
通过命令RPOP(BRPOP)获取消息。

但这种方式实现的队列是不安全的。

因为RPOP(BRPOP)命令的特性：

移除list的队尾元素(消息)并返回给客户端。这时该元素只存在于客户端的上下文中，redis服务器中没有这个元素.
如果客户端在处理元素的过程崩溃了，那么这个元素就永远丢失了。这种情况导致：客户端虽然成功收到了消息，但是却没有处理它。

试图抢救一下

那怎么来实现一个更安全的队列呢？

可以试试redis的RPOPLPUSH (或者其阻塞版本的 BRPOPLPUSH)命令。

具体是操作是：

在A队列推出元素(并删除)时，保存元素到 B队列。
如果处理元素的客户端奔溃了，还可以在B队列找到

redis> RPUSH mylist "one"(integer) 1redis> RPUSH mylist "two"(integer) 2redis> RPUSH mylist "three"(integer) 3redis> RPOPLPUSH mylist myotherlist"three"redis> LRANGE mylist 0 -11) "one"2) "two"redis> LRANGE myotherlist 0 -11) "three"redis>

这种方法存在两个问题，

多个消费者同时将消息转存入第二个队列，第二队列会出现( 已执行、未执行 )消息堆积
假设你的消息很特别，内容不会重复，你可以通过lrem a 0 "元素"函数找到并删除消息，另外启动的那个专门处理第二个队列的client面对的队列中的信息数量必须很小，如果很大client处理不过来又不能使用并发，因为使用并发必须将消息pop出队列2，如果pop出队列2，那就又回到了我们本来要绕开的问题。