redis-cluster是redis官方提供的分布式数据库解决方案,集群通过分片进行数据共享,并提供复制和故障转移功能。

    redis集群主要分为主节点和从节点。主节点用于处理槽,而从节点用于复制某个主节点,并在被复制的主节点下线时,代替主节点继续处理命令请求。

 

Redis分区规则

 

    redis cluster 采用虚拟槽分区,所有的键根据哈希函数映射到0-16383整数槽内,每一个节点负责维护一部分槽以及槽所映射的键值数据。槽是集群内数据管理和迁移的基本单位。

redis虚拟槽分区的特点:

  • 解耦数据与节点之间的关系,简化了节点扩容和收缩难度。

  • 节点自身维护槽的映射关系,无需客户端维护槽分区元数据。

  • 支持节点、槽、键之间的映射查询,用于数据路由、在线伸缩等场景。

  • 当数据库中的16384个槽都有节点在处理时,集群处于上线状态,否则集群处于下线状态。

     

集群搭建

 

    redis集群节点数量至少为6个才能保证组成完整的高可用集群,我们在一台服务器上启动6个redis进程来模拟3主3从的redis集群。

1. 节点配置

集群模式需要开启cluster-enabled yes参数,使其在集群模式下运行。集群相关配置如下:

  •  
#端口port 6379#开启集群模式cluster-enabled yes#集群内部配置文件cluster-config-file "/data/6379-cluster/nodes-6379.conf"#节点超时时间,单位毫秒cluster-node-timeout 15000#本地数据库存放目录dir "/data/6379-cluster/6379-cluster"#日志输出的路径及文件名称logfile "/data/6379-cluster/log/redis_6379-cluster.log"

配置完之后复制配置文件,复制多份,并且修改配置文件中的端口、数据库存放路径、log路径等参数。

  •  
cp redis_6379.conf redis_6380.conf cp redis_6379.conf redis_6381.conf cp redis_6379.conf redis_6382.conf cp redis_6379.conf redis_6383.conf cp redis_6379.conf redis_6384.conf
2. 分别启动redis服务进程
  •  
redis-server redis_6379.conf redis-server redis_6380.conf redis-server redis_6381.conf redis-server redis_6382.conf redis-server redis_6383.conf redis-server redis_6384.conf
3. 节点握手

节点握手是指一批运行在集群模式下的节点通过Gossip协议彼此通讯,到达互相感知的过程。握手命令:cluster meet {IP} {PORT}

  •  
127.0.0.1:6379> cluster meet 127.0.0.1 6380127.0.0.1:6379> cluster meet 127.0.0.1 6381127.0.0.1:6379> cluster meet 127.0.0.1 6382127.0.0.1:6379> cluster meet 127.0.0.1 6383127.0.0.1:6379> cluster meet 127.0.0.1 6384
4. 查看当前集群组件情况
  •  
127.0.0.1:6379> cluster nodesa0b3d847f634588eeaad7e1dea844a1371bb3bd2 127.0.0.1:6380@16380 master - 0 1596595676362 1 connected2b06b51b6453cd75e8ca24687668f6caf9f51bb2 127.0.0.1:6381@16381 master - 0 1596595674320 2 connectedc2f93c56c33cd4532effb92f8cb4d578fbfdb6f5 127.0.0.1:6384@16384 master - 0 1596595675000 4 connectedc0c09a5689f7b5eb3c1e4621cc048c7863605c61 127.0.0.1:6382@16382 master - 0 1596595674000 3 connected67a80941bef448769a3777018c00360f05bc030c 127.0.0.1:6383@16383 master - 0 1596595675344 5 connectedde08278d07ef9c2e5f863614c45352f1deb04797 127.0.0.1:6379@16379 myself,master - 0 1596595674000 0 connected
5. 查看集群状态

现在的集群状态还是fail,是因为集群还没有完成槽到节点的映射。

  •  
127.0.0.1:6379> cluster infocluster_state:failcluster_slots_assigned:0cluster_slots_ok:0cluster_slots_pfail:0cluster_slots_fail:0cluster_known_nodes:6cluster_size:0cluster_current_epoch:5cluster_my_epoch:0cluster_stats_messages_ping_sent:626cluster_stats_messages_pong_sent:386cluster_stats_messages_meet_sent:9cluster_stats_messages_sent:1021cluster_stats_messages_ping_received:386cluster_stats_messages_pong_received:341cluster_stats_messages_received:727
6. 分配槽

redis集群需要把所有数据映射到16384个槽内,每个key会映射为一个固定的槽,只有节点分配了槽才能响应和槽关联的键命令。

  •  
[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6379 cluster addslots {0..5461}OK[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6381 cluster addslots {5462..10922}OK[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6383 cluster addslots {10923..16383}OK
7. 加入从库

第六步我们已经为三个主节点分配了槽,接下来为三个主节点分配从节点。使用cluster replicate {nodeID}命令,命令必须在从节点执行,nodeID是主节点ID。

  •  
127.0.0.1:6380> cluster replicate de08278d07ef9c2e5f863614c45352f1deb04797OK127.0.0.1:6382> cluster replicate 2b06b51b6453cd75e8ca24687668f6caf9f51bb2OK127.0.0.1:6384> cluster replicate 67a80941bef448769a3777018c00360f05bc030cOK
8. 查看集群状态

通过cluster info和cluster nodes命令查看集群状态和复制关系。

 

redis-trib.rb搭建集群

 

    redis-trib.rb是redis官方推出的管理redis集群的工具,集成在redis的源码src目录下,是基于redis提供的集群命令封装成简单、便捷、使用的操作工具,可以实现集群的创建、检查、槽迁移和均衡等常见运维操作。

1. 环境准备

安装ruby

  •  
tar -zxvf ruby-2.6.5.tar.tar./configure -prefix=/usr/local/rubymakemake installcd /usr/local/ruby/cp bin/ruby /usr/local/bincp bin/gem /usr/local/bin/#安装rubygem redis依赖gem install -l redis-4.1.0.gem#安装redis-trib.rbcp /usr/local/redis/src/redis-trib.rb /usr/local/bin/
2. 创建集群

首先是修改conf配置文件以及启动redis,步骤同上一章的前两步一致,这里就先忽略,我们用redis-trib.rb创建集群。

  •  
[redis@node1 ~]$ redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384
3. check检查集群
  •  
[redis@node1 ~]$ redis-trib.rb check 127.0.0.1:6379
4. info查看集群信息
  •  
[redis@node1 ~]$ redis-trib.rb info 127.0.0.1:6379

 

redis-trib.rb管理集群

 

上面我们介绍了用redis-trib.rb如何搭建集群,现在我们来演示下如何通过redis-trib.rb管理集群。

 

1. 添加master节点

 

首先启动一个新的实例。

  •  
redis-server redis_6385.conf

将该节点加入到集群中

  •  
redis-trib.rb add-node 127.0.0.1:6385 127.0.0.1:6379

为新节点分配slot

  •  
redis-trib.rb reshard 127.0.0.1:6385How many slots do you want to move (from 1 to 16384)? 300 //移动多少槽What is the receiving node ID? 629c52d1a6cb53e220ad58a864a7f00acbc12831 //接收槽的节点Please enter all the source node IDs.  Type 'all' to use all the nodes as source nodes for the hash slots. //all代表从所有master重新分配  Type 'done' once you entered all the source nodes IDs. //从指定节点分配槽,最后用done结束。Source node #1:777ead5811e3da124ddfa141decfebed2d7a56b6 //源Source node #2:done
2. 添加slave节点

前两步操作同添加master一样。

redis-cli连接上新节点,输入命令:cluster replicate对应的master的mode-id

3. 从集群中删除节点

针对于非空master,首先需要迁移slots,我么把127.0.0.1:6385迁移到127.0.0.1:6379

  •  
redis-trib.rb reshard 127.0.0.1:6379

删除空的master节点

  •  
redis-trib.rb del-node 127.0.0.1:6379 629c52d1a6cb53e220ad58a864a7f00acbc12831