1. 认识Redis Cluster1. 集群所解决的问题：提供极高的并发量，即使单个Redis的并发处理量已经很多，但是在大型应用系统中，仍然远远不足，集群提高了并发处理量能存储更多的数据，单台Redis机器的内存大小有限制，可以通过增加内存条来解决但仍然有限制，集群就可以更好的解决2. 数据分布：对于一份全量数据，如果其大小超过机器内存，就需要将数据按照分区规则分布式存储在一个个节点
转载
2023-12-27 10:51:21
62阅读
# Redis Key Slot 分配详解
在分布式系统中，高效地管理和存储数据是一个核心问题。Redis，这一内存数据存储方案，实现了高性能和高可用性，尤其是在集群模式下，通过引入“Key Slot”分配的机制来做到这一点。本文将详细介绍Redis的Key Slot分配机制，包括其工作原理、优势、以及代码示例，帮助您深入理解Redis在高并发场景中的高性能表现。
## 一、什么是 Key S
redis分布式架构cluster(一)优势：解决单机的内存，并发，流量瓶颈一、数据分布理论redis cluster 的数据分布规则： 哈希–虚拟槽分区集群功能限制 a. 批量操作例如mget、mset只支持在一个槽中的keys，只支持多key在同一节点的事务功能 b. 不支持多数据库空间，仅一个库 db 0 c. 复制结构只支持一层，不能嵌套树状复制结构常见的分区理论： 顺序分区、哈希分区哈希
转载
2023-10-19 12:17:47
73阅读
1 数据分布1.1 数据分布理论分布式数据库首先要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整体数据的一个子集常见的分区规则有哈希分区和顺序分区两种，区别如下分区方式特点代表产品哈希分区离散度好 数据分布和业务无关 无法顺序访问Redis Cluster Cassandra Dynamo顺序分区离散度容易倾斜 数据分布和业务有关 可顺序访问Bigta
转载
2023-11-23 13:48:45
198阅读
NoSQL 开发中或多或少都会用到，也是面试必问知识点。最近这几天的面试每一场都问到了，但是感觉回答的并不好，还有很多需要梳理的知识点，这里通过几篇 Redis 笔记整个梳理一遍。Redis 的八大数据类型官网可查看命令：http://www.redis.cn/commands.htmlRedis-key127.0.0.1:6379> keys *
(empty list or set)
1
&nbs
转载
2023-07-28 17:16:05
99阅读
正文在从服务器的配置文件中设置主服务器slaveof 或者使用Redis命令动态设置从服务器SLAVEOF 步骤3：处理网络断开和自动重连 Redis复制是具备断开自动重连的，一旦网络恢复，从服务器会尝试连接主服务器并同步任何丢失的数据。步骤4：处理故障转移 如果主服务器宕机，需要人工或借助Redis Sentinel等工具来升级一个从服务器为新的主服务器。主从复制的高级特性部分重同步（PSYNC
转载
2024-09-29 10:22:07
47阅读
1、redis的数据类型StringLists 底层数据结构是linked listsSets 不重复的String 类型元素的集合Sorted Sets 和Sets类似，但是每个元素都绑定了一个score，用来排序Hashes 底层是一个map,包含了多个field和value对Bitmaps 这个其实还是str
转载
2023-09-23 13:29:51
177阅读
需求是在缓存最近一周内用户所有消息列表，考虑用Redis 存储；为每个存储一个独立Sorted Set，value 为消息体，Score 为MessageId，用以实现增量消息同步。 问题就来了：Sorted Set 怎么清理？ -设计内存容量只允许放一周内最新的，太久了缓存意义不大，太浪费。 -再者存在百万级/s群发请求，不允许写入时触发清理。 理想模型：如果使用磁盘则使用M
转载
2023-08-22 16:22:19
75阅读
问题描述项目中使用了redis集群，但是生产上发现redisKey 80%都被分配到了同一个节点，导致该节点磁盘容量报警，其余节点闲置的情况问题定位项目中为了保持数据的准确性，当系统发送异常时使用了LUA脚本对本次请求的redis操作进行了批量回滚（可实现redis批量操作的原子性）LUA脚本仅支持对同一节点上的Key批量操作，所以redisKey使用了统一的前置{redisClusterPref
转载
2023-05-25 16:34:42
746阅读
目录一、背景二、集群中的主从复制三、部署redis集群1、环境搭建2、集群结点规划四、 部署结果验证五、注意事项一、背景1、redis的主从和mysql很像，但是配置很简单。slaveof 192.168.80.126 6379然后启动主从便可以了。但是如果redis主节点发生故障，不会自动切换，需要借助redis的sentinel或者keepalive来实现主的故障转移。（故而可以使用Senti
转载
2023-09-22 18:45:00
91阅读
1、redis 总体概况Redis在内存分配方面，仅仅是对系统的malloc/free做了一层简单的封装，然后加上了异常处理功能和内存统计功能。其实现主要在zmalloc.c和zmalloc.h文件中2、功能函数void *zmalloc(size_t size); // 调用zmalloc函数，申请size大小的空间
void *zcalloc(size_t size); // 调用系统函数ca
转载
2023-08-30 13:21:16
118阅读
Redis集群通过分片的方式来保存数据库的键值对：集群的整个数据库被分为16384个槽，数据库中的每个键都输入这16384个槽其中的一个，集群中的每个节点都可以处理0-16384个槽。当数据库中的16384个槽都有节点在处理时，集群处于上线状态；如果有任何一个槽没有得到处理，那么集群处于下线状态。 //通过向节点发送CLUSTER ADDSLOTS 命令，可以将一个或者多个槽指派给节点负责
CLU
转载
2023-06-06 07:11:40
205阅读
文章目录为什么要有这个插槽算法为什么插槽只有16384，而不是更多插槽算法的是如何实现的，怎么去验证他啦 在redis集群的时候使用的是总共有插槽数16384，会根据key值分配不同的插槽，由此我们产生了一下疑问 1、插槽是什么，为什么要有这个插槽算法 2、为什么插槽只有16384，而不是更多 3、插槽算法的是如何实现的，怎么去验证他啦 为什么要有这个插槽算法虚拟槽分区是 redis c
转载
2023-07-06 23:24:12
104阅读
因为开发需要，在本地虚拟机搭建了9个节点的redis集群，使用的版本是redis 3.2。最近由于几次强制关闭虚拟机，导致虚拟机里的redis 集群出现问题，查看节点日志，提示Unrecoverable error: corrupted cluster config file., 搜索网上资料，原来是强制关机把redis 集群节点的配置文件给搞坏了。
转载
2023-05-25 10:21:24
341阅读
字符串优化 字符串预分配每次并不都是翻倍扩容，空间预分配规则如下：第一次创建len属性等于数据实际大 小，free等于0，不做预分配。修改后如果已有free空间不够且数据小于1M，每次预分配一倍容量。 如原有len=60byte，free=0，再追加60byte，预分配120byte，总占用空间：60byte+60byte+120byte +1byte。修改后如果已有free空间不够且数据大于1M
转载
2023-05-25 15:54:28
195阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言1 maxmemory配置2 数据淘汰策略3 LRU 算法4 LFU算法5 数据过期删除策略6 主从架构和数据持久化对数据过期的处理7 内存碎片7.1 Redis内存碎片的形成7.2 内存使用情况7.3 清理内存碎片 前言本章主要内容：数据逐出策略LRU算法LFU算法Redis内存碎片管理当Redis作为缓存时，通常在添
转载
2023-08-06 10:30:11
195阅读
redis cluster：（1）自动将数据进行分片，每个master上放一部分数据（2）提供内置的高可用支持，部分master不可用时，还是可以继续工作的 分片算法：hash算法 -> 一致性hash算法（memcached） -> redis cluster，hash slot算法 1、hash算法和弊端（大量缓存重建）2、一致性hash
转载
2023-06-29 11:54:13
143阅读
1、背景 作为时下热门的存储系统，Redis在系统扮演重要角色。不管是 session 存储还是热点数据的缓存，还是其他场景，都会用到 Redis。在生产环境我们偶尔会遇到 Redis 服务器内存不够的情况，那对于这种情况 Redis 的内存是如何回收处理的呢？ 2、Redis 内存设置 我们都知道如果我们要设置 Redis 的最大内存大小只需要在配置文件redis.conf 中配置一行 maxm
转载
2024-04-10 09:11:15
75阅读
内存分配对于C程序来说是一个核心问题，许多开源软件都会针对自己软件的需要定制自己的内存分配策略，redis也不例外。然而总的来说，redis并不是专门去管内存分配的东西，它的内存分配策略的最大特点在于加上了统计信息，这一点很重要。毕竟，redis是一个内存数据库，知道自己用了多少内存，还有多少内存可用是它非常需要关注的问题。我们来看zmalloc里面的内容。首先在zmalloc.h里面#if de
转载
2024-03-05 10:19:52
64阅读
