概述

Redis作为基于键值对的NoSQL数据库，具有高性能、丰富的数据结构、持久化、高可用、分布式等特性，同时Redis本身非常稳定，已经得到业界的广泛认可和使用。
在Redis中，集群的解决方案有三种

  1. 主从复制
  2. 哨兵机制
  3. Cluster

Redis Cluster是Redis的分布式解决方案，在 3.0 版本正式推出。

集群方案的对比

1. 主从复制

同Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，读写分离。一个Master可以有多个Slaves。

dockers 清redis缓存 docker redis 性能_Redis

优点

  • 数据备份
  • 读写分离，提高服务器性能

缺点

  • 不能自动故障恢复,RedisHA系统（需要开发）
  • 无法实现动态扩容

2. 哨兵机制

Redis Sentinel是社区版本推出的原生高可用解决方案，其部署架构主要包括两部分：Redis Sentinel集群和Redis数据集群。

其中Redis Sentinel集群是由若干Sentinel节点组成的分布式集群，可以实现故障发现、故障自动转移、配置中心和客户端通知。Redis Sentinel的节点数量要满足2n+1（n>=1）的奇数个。

dockers 清redis缓存 docker redis 性能_docker_02

优点

自动化故障恢复

缺点

  • Redis 数据节点中 slave 节点作为备份节点不提供服务
  • 无法实现动态扩容

3. Redis-Cluster

Redis Cluster是社区版推出的Redis分布式集群解决方案，主要解决Redis分布式方面的需求，比如，当遇到单机内存，并发和流量等瓶颈的时候，Redis Cluster能起到很好的负载均衡的目的。

Redis Cluster着眼于提高并发量。

群集至少需要3主3从，且每个实例使用不同的配置文件。

在redis-cluster架构中，redis-master节点一般用于接收读写，而redis-slave节点则一般只用于备份， 其与对应的master拥有相同的slot集合，若某个redis-master意外失效，则再将其对应的slave进行升级为临时redis-master。

在redis的官方文档中，对redis-cluster架构上，有这样的说明：在cluster架构下，默认的，一般redis-master用于接收读写，而redis-slave则用于备份，当有请求是在向slave发起时，会直接重定向到对应key所在的master来处理。 但如果不介意读取的是redis-cluster中有可能过期的数据并且对写请求不感兴趣时，则亦可通过readonly命令，将slave设置成可读，然后通过slave获取相关的key，达到读写分离。具体可以参阅redis官方文档等相关内容

dockers 清redis缓存 docker redis 性能_dockers 清redis缓存_03

优点

  • 解决分布式负载均衡的问题。具体解决方案是分片/虚拟槽slot。
  • 可实现动态扩容
  • P2P模式，无中心化

缺点

  • 为了性能提升，客户端需要缓存路由表信息
  • Slave在集群中充当“冷备”，不能缓解读压力

网络规划

这里没有搭建虚拟机环境，全部在本地部署。本机的ip为 192.168.1.10

IP

port

192.168.1.10

7001

192.168.1.10

7002

192.168.1.10

7003

192.168.1.10

7004

192.168.1.10

7005

192.168.1.10

7006

Redis配置文件

在docker环境中，配置文件映射宿主机的时候，(宿主机)必须有配置文件。大家可以根据自己的需求定制配置文件。
下边是我的配置文件 redis-cluster.tmpl

# redis端口
port ${PORT}
#redis 访问密码
requirepass 123456
#redis 访问Master节点密码
masterauth 123456
# 关闭保护模式
protected-mode no
# 开启集群
cluster-enabled yes
# 集群节点配置
cluster-config-file nodes.conf
# 超时
cluster-node-timeout 5000
# 集群节点IP host模式为宿主机IP
cluster-announce-ip 192.168.1.10
# 集群节点端口 7001 - 7006
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
# 开启 appendonly 备份模式
appendonly yes
# 每秒钟备份
appendfsync everysec
# 对aof文件进行压缩时，是否执行同步操作
no-appendfsync-on-rewrite no
# 当目前aof文件大小超过上一次重写时的aof文件大小的100%时会再次进行重写
auto-aof-rewrite-percentage 100
# 重写前AOF文件的大小最小值 默认 64mb
auto-aof-rewrite-min-size 64mb

# 日志配置
# debug:会打印生成大量信息，适用于开发/测试阶段
# verbose:包含很多不太有用的信息，但是不像debug级别那么混乱
# notice:适度冗长，适用于生产环境
# warning:仅记录非常重要、关键的警告消息
loglevel notice
# 日志文件路径
logfile "/data/redis.log"

由于节点IP相同，只有端口上的差别，现在通过脚本 redis-cluster-config.sh 批量生成配置文件

for port in `seq 7001 7006`; do \
  mkdir -p ./${port}/conf \
  && PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf \
  && mkdir -p ./${port}/data; \
done

生成的配置文件如下图

dockers 清redis缓存 docker redis 性能_docker_04

Docker环境搭建

这里还是通过docker-compose进行测试环境的docker编排。

version: '3.7'

services:
  redis7001:
    image: redis:6
    container_name: redis7001
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./7001/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./7001/data:/data
    ports:
      - "7001:7001"
      - "17001:17001"
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    logging:
      options:
        max-size: '100m'
        max-file: '10'

  redis7002:
    image: redis:6
    container_name: redis7002
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./7002/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./7002/data:/data
    ports:
      - "7002:7002"
      - "17002:17002"
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    logging:
      options:
        max-size: '100m'
        max-file: '10'

  redis7003:
    image: redis:6
    container_name: redis7003
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./7003/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./7003/data:/data
    ports:
      - "7003:7003"
      - "17003:17003"
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    logging:
      options:
        max-size: '100m'
        max-file: '10'

  redis7004:
    image: redis:6
    container_name: redis7004
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./7004/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./7004/data:/data
    ports:
      - "7004:7004"
      - "17004:17004"
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    logging:
      options:
        max-size: '100m'
        max-file: '10'

  redis7005:
    image: redis:6
    container_name: redis7005
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./7005/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./7005/data:/data
    ports:
      - "7005:7005"
      - "17005:17005"
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    logging:
      options:
        max-size: '100m'
        max-file: '10'

  redis7006:
    image: redis:6
    container_name: redis7006
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./7006/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./7006/data:/data
    ports:
      - "7006:7006"
      - "17006:17006"
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    logging:
      options:
        max-size: '100m'
        max-file: '10'
        
networks:
  app_net:
    external: true

注意：
Redis版本需要指定为redis 6 版本
端口需要映射出来两个，一个是服务端口，另一个是集群总线端口，默认为服务端口 + 10000
例如：redis端口为6379，则集群总线端口为16379
所有服务器的点需要开通redis的客户端连接端口和集群总线端口，firewall上要开放集群服务端口和集群总线端口，如果有安全组，也要放开这两个端口

启动结果如图

dockers 清redis缓存 docker redis 性能_Redis_05

集群配置

redis集群官方提供了配置脚本，4.x和6.x略有不同，以下是以6.x为例；
下边是我自己的环境

docker exec -it redis7001 redis-cli -p 7001 -a 123456 --cluster create 192.168.1.10:7001 192.168.1.10:7002 192.168.1.10:7003 192.168.1.10:7004 192.168.1.10:7005 192.168.1.10:7006 --cluster-replicas 1

dockers 清redis缓存 docker redis 性能_redis_06

集群测试

接下来进行一些集群的基本测试

1. 查看集群通信是否正常

redis7001主节点对它的副本节点redis7005进行ping操作。

-h host -p port -a pwd

docker docker exec -it redis7001 redis-cli -h 192.168.1.10 -p 7005 -a 123456 ping

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
PONG

2. 测试简单存储

redis7001主节点客户端操作redis7003主节点

ocker docker exec -it redis7001 redis-cli -h 192.168.1.10 -p 7003 -a 123456

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.1.10:7003> set name admin
(error) MOVED 5798 192.168.1.10:7002

由于Redis Cluster会根据key进行hash运算，然后将key分散到不同slots，name的hash运算结果在redis7002节点上的slots中。所以我们操作redis7003写操作会自动路由到7002。然而error提示无法路由？没关系，差一个 -c 参数而已。

再次运行查看结果如下:

docker docker exec -it redis7001 redis-cli -h 192.168.1.10 -p 7003 -a 123456 -c

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.1.10:7003> set name admin
-> Redirected to slot [5798] located at 192.168.1.10:7002
OK
192.168.1.10:7002> get name
"admin"
192.168.1.10:7002>

3. 查看集群状态

cluster nodes

dockers 清redis缓存 docker redis 性能_docker_07

4. 查看slots分片

cluster slots

dockers 清redis缓存 docker redis 性能_dockers 清redis缓存_08

5. 查看集群信息

cluster info

dockers 清redis缓存 docker redis 性能_dockers 清redis缓存_09

容灾演练

现在我们杀掉主节点redis7001，看从节点redis7005是否会接替它的位置。

docker stop redis7001

如果出现NOAUTH错误

MASTER aborted replication with an error: NOAUTH Authentication required

则是因为没有设置master节点的访问密码导致的。需要在redis.conf中设置masterauth 123456

dockers 清redis缓存 docker redis 性能_Redis_10

总结

通过以上演示，基本上可以在本地环境下用我们的Redis Cluster集群了。最后再上一张本地映射文件的最终样子，帮助大家了解Redis持久化及集群相关的东西。感兴趣的小伙伴可以自行测试并查看其中的内容。

dockers 清redis缓存 docker redis 性能_dockers 清redis缓存_11