Redis集群介绍
- Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。
- Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.
- Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令.
Redis 集群的优势:
- 自动分割数据到不同的节点上。
- 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。
Redis 集群的数据分片
Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.
Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:节点 A 包含 0 到 5500号哈希槽.节点 B 包含5501 到 11000 号哈希槽.节点 C 包含11001 到 16384号哈希槽.
这种结构很容易添加或者删除节点.
比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.
Redis 一致性保证
Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.
第一个原因是因为集群是用了异步复制. 写操作过程:客户端向主节点B写入一条命令.主节点B向客户端回复命令状态.主节点将写操作复制给他得从节点 B1, B2 和 B3.
主节点对命令的复制工作发生在返回命令回复之后， 因为如果每次处理命令请求都需要等待复制操作完成的话， 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。
注意：Redis 集群可能会在将来提供同步写的方法。
Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区， 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。
举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点， 其中 A 、B 、C 为主节点， A1 、B1 、C1 为A，B，C的从节点， 还有一个客户端 Z1 假设集群中发生网络分区，那么集群可能会分为两方，大部分的一方包含节点 A 、C 、A1 、B1和 C1 ，小部分的一方则包含节点 B 和客户端 Z1 .Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master，那么Z1写入B中得数据便丢失了.
注意
搭建并使用Redis集群
搭建集群的第一件事情我们需要一些运行在 集群模式的Redis实例. 这意味这集群并不是由一些普通的Redis实例组成的，集群模式需要通过配置启用，开启集群模式后的Redis实例便可以使用集群特有的命令和特性了.
redis集群部署
手动创建集群节点
首先， 让我们进入一个新目录， 并创建六个以端口号为名字的子目录， 稍后我们在将每个目录中运行一个 Redis 实例：
1. [root@server1 ~]# cd /usr/local/
2. [root@server1 local]# mkdir rediscluster
3. [root@server1 rediscluster]# mkdir 700{1..6}
在文件夹 7001中创建一个 redis.conf 文件
[root@server1 rediscluster]# cd 7001
[root@server1 7001]# vim redis.conf
文件的内容可以使用下面的示例配置文件
port 7001
cluster-enabled yes #用于开实例的集群模式
cluster-config-file nodes.conf #设定了保存节点配置文件的路径
cluster-node-timeout 5000 #设置集群超时时间
appendonly yes
然后redis-server redis.conf运行一下，会出现下面的情况：
这是因为 redis.conf配置文件里没有设置在后端运行，所以运行过程显示在了前端，为了解决这种情况，我们需要修改配置文件的内容
port 7001
cluster-enabled yes #用于开实例的集群模式
cluster-config-file nodes.conf #设定了保存节点配置文件的路径
cluster-node-timeout 5000 #设置集群超时时间
appendonly yes
daemonize yes #是否在后端运行
redis-server redis.conf #运行一下
然后需要给7002至 7005 中， 各创建一个 redis.conf 文件， 文件的内容可以使用上面的示例配置文件， 但记得将配置中的端口号从 7001 改为与文件夹名字相同的号码。
为了修改方便，我直接把7001的redis.conf 复制到了其他节点下
[root@server1 7001]# cp redis.conf ../7002/
[root@server1 7001]# cp redis.conf ../7003/
[root@server1 7001]# cp redis.conf ../7004/
[root@server1 7001]# cp redis.conf ../7005/
[root@server1 7001]# cp redis.conf ../7006/
因为都是类似的，所以我在这里就举一个例子，其他的参考这个进行：
然后ps ax查看进程，看服务是否都开启了
- 搭建集群
现在我们已经有了六个正在运行中的 Redis 实例， 接下来我们需要使用这些实例来创建集群， 并为每个节点编写配置文件。
[root@server1 ~]# redis-cli --cluster create \
>--cluster-replicas 1 \
>127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 \
> 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006
#这个命令在这里用于创建一个新的集群, 选项–replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
$ redis-cli -c -p 7001
redis 127.0.0.1:7000> set boo bar
-> Redirected to slot [12182] located at 127.0.0.1:7003
OK
redis 127.0.0.1:7002> set hello world
-> Redirected to slot [866] located at 127.0.0.1:7001
OK
redis 127.0.0.1:7000> get boo
-> Redirected to slot [12182] located at 127.0.0.1:7003
"bar"
redis 127.0.0.1:7000> get hello
-> Redirected to slot [866] located at 127.0.0.1:7001
"world"
$ redis-cli -c -p 7001
redis 127.0.0.1:7000> info显示集群的信息：
在7001目录下查看相应的文件appendonly.aof发现数据已经写到7001
自动脚本添加
- 添加节点
注：使用脚本创建的集群节点，那么默认端口可能是从30001开始 - 创建集群
注：这里可以通过号码判断谁是谁的salve，谁是谁的master 我的30001是master，30004是它的slave，30002是master，30005是它的slave 30003是master，30006是它的slave
比较简单的办法就是redis-rb-cluster或者redis-cli（我采用的是redis-cli），我用redis-cli来进行演示：
ps ax查看进程（发现节点都开启了）
关于集群的一些测试：
shutdown一个节点30002
redis-cli -p 30002 shutdown
ps ax 查看发现30002节点确实已经被shutdown
