目录一、redis消息队列1.什么是消息队列2.为什么使用消息队列3.消息队列产品4.Redis发布消息-任务队列模式（queuing）5.Redis发布消息-发布-订阅模式(publish-subscribe)6.订阅模式实践1）订阅单个频道2）订阅多个频道二、Redis事务1.MySQL事务2.redis事务命令3.事务的示例4.注意一、redis消息队列1.什么是消息队列在生活中，其实有很多
转载
2023-07-06 16:54:19
10阅读
# 解决Redis List队列数据丢失问题
在使用Redis作为消息队列时，有时候会遇到队列中的数据丢失的问题。这种情况可能会发生在Redis实例重启、网络故障或程序异常等情况下。因此，我们需要采取一些措施来避免数据丢失并确保数据的可靠性。
## 问题分析
Redis List是一个常用的数据结构，可以用来实现队列功能。当我们将数据放入Redis List中时，如果Redis实例在接收到数
原创
2024-07-14 08:00:34
167阅读
如果master还没有同步到slave业务读取脏数据问题问题阐述：master用来写，slave用来读，当master还没有同步到slave这时候我们读slave出现了脏数据解决方案：在redis缓存中增加标记.A发起写请求，更新了主库，但在缓存中设置一个标记，代表此数据已经更新，标记格式（业务代号：数据库：表：主键ID）根据自己业务场景。 2.设置此标记，要加上过期时间，可以为预估的主库和从库同
转载
2023-08-15 13:59:38
124阅读
1 案例主从集群有1个主库、5个从库和3个哨兵实例，突然发现客户端发送的一些数据丢了，直接影响业务层数据可靠性。最终排查发现是主从集群中的脑裂问题导致：主从集群中，同时有两个主节点都能接收写请求。影响客户端不知道应往哪个主节点写数据，导致不同客户端往不同主节点写数据。严重的，脑裂会进一步导致数据丢失。2 脑裂原因最初问题：在主从集群中，客户端发送的数据丢失了。2.1 为什么数据会丢失？① 确认数据
转载
2023-09-19 12:12:36
127阅读
一、消息队列MQ的三个阶段1、生产者发送消息到MQ2、MQ存储消息到内存或者硬盘3、消费者消费消息由于网络的原因、服务器的原因、程序的原因等等，在每个阶段都有可能引起消息的丢失：1、生产者发送消息到MQ：这个阶段可能由于网络延迟导致mq消息丢失2、MQ存储消息到内存或者硬盘：Broker将消息先放到内存，然后根据刷盘策略持久化到硬盘上，但是刚收到消息，还没持久化到硬盘服务器宕机了，消息就会丢失3、
转载
2023-12-06 16:25:38
67阅读
异步消息队列说道消息队列，你肯定会想到Kafka、Rabbitmq等消息中间件，这些专业的消息中间件提供了很多功能特性，当然他的部署使用维护都是比较麻烦的。如果你对消息队列没那么高要求，想要轻量级的，使用Redis就没错啦。Redis通过list数据结构来实现消息队列.主要使用到如下命令：lpush和rpush入队列lpop和rpop出队列blpop和brpop阻塞式出队列 上代码：
转载
2023-06-21 22:36:17
169阅读
rabbitmq作为优秀的消息队列中间件，估计大家都会用到。但是在实际过程中，生产者会存在消息丢失的情况。 如下示例，总共发送了30W条消息，队列里却只有299954条信息，丢失了46条，对于精度要求很高的应用，这是不可接受的：logger.info("start");
for (int i = 0; i < 300000; i++) {
Rabbit
转载
2024-03-31 08:53:55
77阅读
什么是延迟队列延迟队列（Delay Queue）是一种存储消息并在特定延迟时间后将其投递到消费者的队列机制。在传统消息队列中，消息会立即被推送给消费者进行处理，但在某些场景下，我们希望消息在一段时间后再被消费者处理。延迟队列的工作原理延迟队列的工作原理通常是将消息先存储在队列中，消息的投递时间会被延迟，直到延迟时间到达时才将消息投递给消费者进行处理。这种机制保证了消息能够在指定的延迟时间后才会被处
转载
2024-06-26 10:37:59
151阅读
Java面试笔试面经、Java技术每天学习一点 作者：kaito在后端服务中，经常有这样一种场景，写数据库操作在异步队列中执行，且这个异步队列是多进程运行的，这时如果对同一资源进行写库操作，很有可能产生数据被覆盖等问题，于是就需要业务层在更新数据库之前进行加锁，这样保证在更改同一资源时，没有其他更新操作干涉，保证数据一致性。但如果在更新前对数据库更新加锁，那此时又来了新的更新数据库的请求，但这个更
转载
2023-08-23 10:58:52
407阅读
1、使用List实现使用LPUSH(RPUSH)入队，然后使用BRPOP(BLPOP)出队。存在的问题：空闲连接的问题：如果线程一直阻塞在那里，Redis客户端的连接就成了闲置连接，闲置过久，服务器一般会主动断开连接，减少闲置资源占用，这个时候BRPOP和BLPOP或抛出异常。不能重复消费没有广播模式（同一个消息，多个消费者同时消费）无消息确认机制2、使用发布与订阅实现存在的问题：消费者必须先订阅
转载
2023-07-07 14:20:53
320阅读
你会把 Redis 用在什么业务场景下？我想你大概率会说：“我会把它当作缓存使用，因为它把后端数据库中的数据存储在内存中，然后直接从内存中读取数据，响应速度会非常快。”没错，这确实是 Redis 的一个普遍使用场景但是，这里也有一个绝对不能忽略的问题：
一旦服务器宕机，内存中的数据将全部丢失。服务器宕机，内存数据丢失我们很容易想到的一个解决方案：从后端数据库恢复这些数据，但这种方式存在两个问
转载
2023-07-15 02:36:30
178阅读
在Linux系统中，Redis本来是有数据的，但在Linux系统重启后，Redis中的数据全部丢失。经过几次测试都一样，只有在Linux系统重启才会丢失，Redis重启应该是没有问题的。
这个问题只在Linux系统才存在，在Windows系统是没有问题的。
二、解决方案
在Linux系统设置一个参数（vm.overcommit_memory）即可解决。
步骤如下：
1、编辑 sysctl.co
转载
2023-06-08 14:28:11
142阅读
这周五周六经历一次严重的redis宕机导致数据丢失的严重生产数据，并导致了10小时的停服。算是工作以来经历的最大生产事故，今天做一个全面总结，也算是吃一堑长一智。事情经过随着我们业务量不断增加，我们线上环境的redis内存逐渐吃紧。然后（2022-07-22）周五的时候，运维说他们要进行redis升级，他们先升级从库，以前为了提升主库性能，他们把redis的数据rdb备份放在了从库。因为放在主库的
转载
2023-07-11 16:53:45
193阅读
1 数据丢失情况1.1 异步复制导致的数据丢失因为master -> slave的复制是异步的，所以可能有部分数据还没复制到slave，master就宕机了，此时这些部分数据就丢失了。1.2 脑裂导致的数据丢失脑裂，也就是说，某个master所在机器突然脱离了正常的网络，跟其他slave机器不能连接，但是实际上master还运行着。此时哨兵可能就会认为master宕机了，然后开启选举，将其他
转载
2023-05-30 15:43:52
583阅读
Linux Redis 重启数据丢失解决方案，Linux重启后Redis数据丢失解决方案>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>一、问题说明在Linux系统中，Redis本来是有数据的
转载
2023-05-30 14:41:24
157阅读
延时队列
通过redis中的zset我们可以实现一个简单的延时队列。通过将score设置为时间，然后多线程轮训的去查询是否有到期的可以执行的任务。考虑到多线程并发，使用zrem去保证每一个任务只会被执行1次，这里也可以使用lua脚本来优化，减少空取的情况。代码实现package com.xliu.chapter1;
import com.alibaba.fastjson.JSON;
imp
转载
2023-06-26 16:03:00
135阅读
通过部署多个实例，就形成了一个哨兵集群，哨兵集群中的多个实例共同判断，可以降低对主库下线的误判率。考虑一个问题：如果有哨兵实例在运行时发生了故障，主从库还能正常切换吗？实际上，一旦多个实例组成了哨兵集群，即使有哨兵实例出现故障挂掉了，其他哨兵还能继续协作完成主从库切换的工作，包括判定主库是不是处于下线状态，选择新主库，以及通知从库和客户端。支持哨兵集群关键机制，包括：基于 pub/sub 机制的哨
转载
2023-11-06 17:36:42
51阅读
## 如何实现redisson延迟队列丢失数据？
### 引言
在日常的开发工作中，我们可能会遇到使用延迟队列的场景，而redisson是一个常用的实现延迟队列的工具。但是，有时候我们可能会遇到延迟队列丢失数据的情况。本文将指导一位刚入行的小白开发者如何实现避免redisson延迟队列丢失数据。
### 整体流程
首先，让我们来看一下整个实现过程的流程图：
```mermaid
journe
原创
2024-06-28 06:05:53
212阅读
其实这类服务还一样， server , client 两端。。。 WIN 和 linux 均可，开源发现源码还是 C 看来 C 还是王者哦。。。后悔没深入学Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。命令redis-cli 默认连接本地 redis server
若要连接远程需要指定 host
转载
2024-07-01 17:34:46
48阅读
宕机了，Redis如何避免数据丢失？（一：AOF）缓存吗，数据搞内存里了，一旦服务器宕机，内存中的数据将全部丢失，毋庸置疑啊。如何避免？：从后端数据库恢复这些数据 频繁访问数据库，会给数据库带来巨大的压力；这些数据是从慢速数据库中读取出来的，性能肯定比不上从 Redis 中读取，导致使用这些数据本该快速相应的应用程序响应变慢了；此方法不太可取。Redis 的持久化主要有两大机制，即 AOF（App
转载
2023-05-25 13:03:07
263阅读
