1. 集群简介
在上一章学习了主从复制之后,思考两个问题:容量不够,redis如何进行扩容?并发写操作, redis如何分摊?
另外,主从模式,薪火相传模式,主机宕机,导致ip地址发生变化,应用程序中配置需要修改对应的主机地址、端口等信息。
之前通过代理主机来解决,但是redis3.0中提供了解决方案。就是无中心化集群配置,无中心化集群配置就是任何一个redis节点都可以作为集群的入口,并且节点之间可以相互访问。
什么是Redis集群:
Redis 集群实现了对 Redis 的水平扩容,即启动 N 个 redis 节点,将整个数据库分布存储在这 N 个节点中,每个节点存储总数据的 1/N。
Redis 集群通过分区(partition)来提供一定程度的可用性(availability):即使集群中有一部分节点失效或者无法进行通讯, 集群也可以继续处理命令请求。
2. 集群案例
2.1 案例
下面是一个6台redis搭建的集群案例(注意实际工作中一个redis服务会占用一台Linux机器,这里只是学习,所以6个redis都在一台机器的不同端口):
1、仍然在 /myredis 目录下进行操作,首先要删除持久化数据,即删除 rdb 和 aof 文件:
2、创建6个redis实例,端口号分别是 6379、6380、6381、6389、6390、6391:
- 首先修改一下 redis6379.conf 配置文件如下:
说明:上面配置文件前四行就不多说了,主从复制章节讲过。后面三行配置:
cluster-enabled yes 打开集群模式
cluster-config-file nodes-6379.conf 设定节点配置文件名
cluster-node-timeout 15000 设定节点失联时间,超过该时间(毫秒),集群自动进行主从切换。
然后将配置文件复制5份:
将每个端口对应的配置文件的端口号改成相对应的值,比如 redis6380.conf 里面的端口号都改为 6380.
3、启动6个redis服务,将这6个节点合成一个集群:
- 启动6个redis服务:
- 将6个节点合成一个集群:
先进入到 redis 安装目录的 src 目录下:
在 src 目录下执行命令:
redis-cli --cluster create --cluster-replicas 1 192.168.88.130:6379 192.168.88.130:6380 192.168.88.130:6381 192.168.88.130:6389 192.168.88.130:6390 192.168.88.130:6391
此处不要用 127.0.0.1, 请用真实IP地址 192.168.88.130。–replicas 1 表示采用最简单的方式配置集群,即一台主机一台从机为一组,这里一共6台,正好三组。
输入yes后,显示如下表示完成了:
4、通过集群登录方式连接集群:
- 输入命令
redis-cli -c -p 端口号
连接集群(任何一个redis节点都可以作为集群的入口),并通过cluster nodes
命令查看集群信息:
2.2 如何分配这6个节点
一个集群至少要有三个主节点。
2.1执行的命令中,选项 --cluster-replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
分配原则尽量保证每个主数据库运行在不同的IP地址,每个从库和主库不在一个IP地址上。
因为一个IP对应一个Linux系统,假如所有主服务器都在一个IP上,那么这台机器故障了,所有的主服务器都挂掉了,同理如果主服务器和从服务器都在同一个IP上,那么这台机器故障了就没有从服务器来顶替它了。
2.3 什么是 slots
在上上图中,集群配置完成后可以看到显示了一个:All 16384 slots covered。slot 意为插槽。一个 Redis 集群包含 16384 个哈希插槽(hash slot),数据库中的每个键都属于这 16384 个插槽的其中一个。集群使用公式 CRC16(key)%16384 来计算键 key 属于哪个槽, 其中CRC16(key)语句用于计算键 key的 CRC16 校验和 。
集群中的每个节点负责处理一部分插槽。比如在上述2.1案例中,由上图和上上上图可以看出:
- 6379端口的节点负责处理 0 号至 5460 号插槽。
- 6380端口的节点负责处理 5461 号至 10922 号插槽。
- 6381端口的节点负责处理 10923 号至 16383 号插槽。
案例如下:
可以看到在 6379 端口登录,写入一个键 k1,因为 CRC16(k1)%16384 = 12706,而 12706 号插槽是由 6381 端口的redis节点负责处理的,所以将 k1-v1 重定向到 6381端口的redis 进行存储。这个机制的好处是插槽会把数据分担到了不同的主机中存储。
2.4 在集群中录入值
1、在 redis-cli 每次录入、查询键值,redis都会计算出该key应该送往的插槽,如果不是该客户端对应服务器的插槽,redis会报错,并告知应前往的redis实例地址和端口。如下:
redis-cli 客户端提供了 –c 参数实现自动重定向。如 redis-cli -c –p 6379 登入后,再录入、查询键值对可以自动重定向。如下:
2、不在一个slot(插槽)下的键值,是不能使用 mget,mset 等多键操作。比如键 k1 和 k2 经过计算不是同一个 slot,那么他们就不能通过 mset 来操作,如下:
可以通过 {} 来定义组的概念,从而使key中 {} 内相同内容的键值对放到一个slot中去。如下:
2.5 查询集群中的值
2.6 故障恢复
在集群中,如果主节点下线,从节点自动升为主节点。原主节点恢复后,原主节点变成现主节点的从机。案例如下:
如果所有某一段插槽的主从节点都宕掉,redis服务是否还能继续?
- redis.conf 中有参数 cluster-require-full-coverage。
如果某一段插槽的主从都挂掉,而cluster-require-full-coverage 为yes ,那么 ,整个集群都挂掉。
如果某一段插槽的主从都挂掉,而cluster-require-full-coverage 为no ,那么,该插槽数据全都不能使用,也无法存储,其他插槽依然能进行服务。
3. 集群的Jedis开发
使用java来操作redis集群。
在项目 jedis_demo1 中创建一个类 RedisClusterDemo,如下:
public class RedisClusterDemo {
public static void main(String[] args) {
//创建对象
HostAndPort hostAndPort = new HostAndPort("192.168.88.130", 6379); //访问集群的任何一个节点即可(主机从机都可)
JedisCluster jedisCluster = new JedisCluster(hostAndPort);
//进行操作
jedisCluster.set("k1", "v1");
String value = jedisCluster.get("k1");
System.out.println(value);
jedisCluster.close();
}
}
执行后控制台输出 “v1”,并且redis集群中有数据:
注意:如果上述代码执行出现问题如下:
4. 总结
集群的优点:
- 实现扩容。比如redis写不进去了,可以用集群来扩容。
- 分摊压力。用多台机器来分担某一台机器的压力。
- 无中心化配置。任何一个节点都能进入集群,并且他们之间可以相互切换。
集群的缺点:
- 多键操作是不被支持的
- 多键的Redis事务是不被支持的。lua脚本不被支持
4. 总结
集群的优点:
- 实现扩容。比如redis写不进去了,可以用集群来扩容。
- 分摊压力。用多台机器来分担某一台机器的压力。
- 无中心化配置。任何一个节点都能进入集群,并且他们之间可以相互切换。
集群的缺点:
- 多键操作是不被支持的
- 多键的Redis事务是不被支持的。lua脚本不被支持
- 由于集群方案出现较晚,很多公司已经采用了其他的集群方案,而代理或者客户端分片的方案想要迁移至redis cluster,需要整体迁移而不是逐步过渡,复杂度较大。