Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。 Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误. Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势: 自动分割数据到不同的节点上。 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。
Reids集群准备知识:
(1)Redis集群介绍
Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。
Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.
Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:
自动分割数据到不同的节点上。
整个集群的部分节点失败或者不可达的情况下能够继续处理命令。
(2)Redis 集群的数据分片
Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.
Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:
节点
节点
节点
这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我像移除节点A,需要将A中得槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.
(3)Redis 集群的主从复制模型
为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品.
在我们例子中具有A,B,C三个节点的集群,在没有复制模型的情况下,如果节点B失败了,那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.
然而如果在集群创建的时候(或者过一段时间)我们为每个节点添加一个从节点A1,B1,C1,那么整个集群便有三个master节点和三个slave节点组成,这样在节点B失败后,集群便会选举B1为新的主节点继续服务,整个集群便不会因为槽找不到而不可用了
不过当B和B1 都失败后,集群是不可用的.
(4)Redis 一致性保证
Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.
第一个原因是因为集群是用了异步复制. 写操作过程:
客户端向主节点B写入一条命令.
主节点B向客户端回复命令状态.
主节点将写操作复制给他得从节点
主节点对命令的复制工作发生在返回命令回复之后, 因为如果每次处理命令请求都需要等待复制操作完成的话, 那么主节点处理命令请求的速度将极大地降低
举个例子 假设集群包含
Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master,那么Z1写入B中得数据便丢失了.
注意, 在网络分裂出现期间, 客户端
搭建并使用Redis集群
Redis官方文档翻译:http://wiki.jikexueyuan.com/project/redis-guide/
1.下载redis wget http://download.redis.io/releases/redis-3.2.8.tar.gz
2.安装VWware,并在VWware上安装三台CentOS服务器(CentOS 7),ip地址分别是:
192.9.200.240,192.9.200.241,192.9.200.242
3.分别在CentOS服务器上的/user/local文件中下载,解压,安装redis
(1) redis wget http://download.redis.io/releases/redis-3.2.8.tar.gz
(2) tar xf redis-3.2.8.tar.gz
cd redis-3.2.8
make && make install
(3) mkdir /data/cluster -p
cd /data/cluster
mkdir 7000 7001
(4) cp redis-3.2.8/redis.conf /data/cluster/7000/
(5) 修改配置文件中下面选项
port 7000
daemonize yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
bind 0.0.0.0
文件中的
修改完成后,把修改完成的redis.conf复制到7001-7005目录下,并且端口修改成和文件夹对应。
(6) 分别启2个redis实例。
cd /data/cluster/7000
redis-server redis.conf
cd /data/cluster/7001
redis-server redis.conf
(7) 查看进程否存在。
ps -ef | grep redis
注意:每台服务器上分别启动两个redis服务
如何通过客户端连接服务器
redis-cli -h 127.0.0.1 -p 7004
4. 安装ruby的运行环境
yum install ruby rubygems -y
5. 安装gem-redis
下载地址:https://rubygems.org/gems/redis/versions/3.0.0
gem install redis -v 3.0.0
6. 复制集群管理程序到/usr/local/bin
cp redis-3.0.0/src/redis-trib.rb /usr/local/bin/redis-trib
7. 创建集群:
redis-trib create --replicas 1 192.9.200.240:7000 192.9.200.240:7001 192.9.200.241:7004 192.9.200.241:7005 192.9.200.242:7003 192.9.200.242:7002
注意:关于端口不通的解决方案
命令的意义如下:
给定
选项
之后跟着的其他参数则是实例的地址列表, 我们希望程序使用这些地址所指示的实例来创建新集群。
简单来说, 以上命令的意思就是让
接着,
输入
一切正常输出以下信息:
注意:
(1) 一定要在iptables防火请中开发六个节点对应的六个集群中线端口,这六个端口分别是客户端连接端口+10000,不这样做创建集群会一直等待不成功
(2)如果第一次创建集群未成功,可能会出现以下错误:
解决方法:
8 测试 Redis 集群比较简单的办法就是使用 redis-rb-cluster 或者 redis-cli , 接下来我们将使用 redis-cli 为例来进行演示:
通过客户端连接reids集群,设置ky值时集群会计算放置的位置,这是会发生重定向。Ip和端口会发生变化,这是集群配置成功了!
检查集群状态