理论简介

定义

吹哨人巡查监控后台master主机是否故障,如果故障了根据投票数自动将某一个从库转换为新主库,继续对外服务。

作用:

  1. 监控redis运行状态,包括master和slave
  2. 当master down机,能自动将slave切换成新master

哨兵可以类比为无人值守的运维。

redis查询哨兵信息 redis查看哨兵状态_服务器

功能

主从监控

监控主从redis库运行是否正常

消息通知

哨兵可以将故障转移的结果发送给客户端

故障转移

如果Master异常,则会进行主从切换,将其中一个Slave作约新Master

配置中心

客户端通过连接哨兵来获得当前Redis服务的主节点地址

redis查询哨兵信息 redis查看哨兵状态_服务器_02

案例实操

架构说明

3个哨兵

自动监控和维护集群,不存放数据,只是吹哨人

redis查询哨兵信息 redis查看哨兵状态_服务器_03

1主2从

用于数据读取和存放

步骤

/myredis目录下新建或者拷贝sentinel.conf文件,名字绝不能错

先看看/opt目录下默认的sentinel.conf文件的内容

  • 重点参数项说明
    sentinel monitor <master-name> <ip> <redis-port> <quorum>设置要监控的master服务器
    quorum表示最少有几个哨兵认可客观下线,同意故障迁移的法定票数。

网络是不可靠的,有时候一个sentinel会因为网络堵塞而误以为一个master redis已经死掉了,在sentinel集群环境下需要多个sentinel互相沟通来确认某个master是否真的死了,quorum这个参数是进行客观下线的一个依据,意思是至少有quorum个sentinel认为这个master有故障,才会对这个master进行下线以及故障转移。因为有的时候,某个sentinel节点可能因为自身网络原因,导致无法连接master,而此时master1没有出现故障,所以,这就需要多个sentinel都一致认为该master有问题,才可以进行下一步操作,这就保证了公平性和高可用。

  • sentinel auth-pass <master-name> <password>master设置了密码,连接master服务的密码
sentinel down-after-milliseconds <master-name> <milliseconds>
# 指定多少毫秒之后,主节点没有应答哨兵,此时哨兵主观上认为主节点下线

sentinel parallel-syncs <master-name> <nums>
# 表示允许并行同步的slave个数,当Master挂了后,哨兵会选出新的Master,此时,剩余的slave会向新的master发起同步数据

sentinel failover-timeout <master-name> <milliseconds>
# 故障转移的超时时间,进行故障转移时,如果超过设置的毫秒,表示故障转移失败

sentinel notification-script <master-name> <script-path>
# 配置当某一事件发生时所需要执行的脚本

sentinel client-reconfig-script <master-name> <script-path> 
# 客户端重新配置主节点参数脚本
  • 本次案例哨兵sentinel文件通用配置
    由于机器硬件关系,我们的3个哨兵都同时配置进192.168.111.169同一台机器sentinel26379.conf、sentinel26380.conf 、sentinel26381.conf
  • redis查询哨兵信息 redis查看哨兵状态_学习_04

  • 先启动一主二从3个redis实例,测试正常的主从复制
    架构说明

3台不同的虚拟机实例,启动三部真实机器实例并连接,配置并观察文件内容

以下是哨兵内容部分

  • 再启动3个哨兵,完成监控
redis-sentinel sentinel26379.conf --sentinel
redis-sentinel sentinei26380.conf --sentinel
redis-sentinel sentinel26381.conf --sentinel

redis查询哨兵信息 redis查看哨兵状态_sentinel_05

  • 启动3个哨兵监控后再测试一次主从复制
    岁月静好一切OK
  • 原有的master挂了
    手动关闭6379服务器,模拟master挂了
  • 问题思考
    两台从机数据是否OK?——Y
    是否会从剩下的2台机器上选出新的master?——Y
    之前down机的master机器重启回来,谁将会是新老大?——node02
    会不会双master冲突?——N
  • 揭晓答案
    数据OK,了解Broken Pipe

投票新选

  • 谁是master,限本次案例
    6381被选为新master,上位成功
    以前的6379从master降级变成了slave
    6380还是slave,只不过换了个新老大6381(6379变6381)
  • 对比配置文件
    vim sentinel26379.conf

老master,vim redis6379.conf

redis查询哨兵信息 redis查看哨兵状态_redis查询哨兵信息_06

新master,vim redis6381.conf

redis查询哨兵信息 redis查看哨兵状态_redis查询哨兵信息_07

  • 结论
    文件的内容,在运行期间会被sentinel动态进行更改
    Master-Slave切换后,master_redis.conf、slave_redis.conf和sentinel.conf的内容都会发生,即master_redis.conf中会多一行slaveof的配置,sentinel.conf的监控目标会随之调换。

其它备注

生产都是不同机房不同服务器,很少出现3个哨兵全挂掉的情况

可以同时监控多个master,一行一个

运行流程

当一个主从配置中的master失效之后,sentinel可以选举出一个新的master用于自动接替原master的工作,主从配置中的其他redis服务器自动指向新的master同步数据。一般建议sentinel采取奇数台,防止某台sentinel无法连接到master导致误切换。

故障切换

三个哨兵监控一主二从,正常运行中…

  • SDown主观下线(Subjectively Down)
    SDOWN(主观不可用)是单个sentinel自己主观上检测到的关于master的状态,从sentinel的角度来看,如果发送了PING心跳后,在一定时间内没有收到合法的回复,就达到了SDOWN的条件。
    sentinel配置文件中的down-after-milliseconds设置了判断主观下线的时间长度(默认30s)
  • ODown客观下线(Objectively Down)
    ODOWN需要一定数量的sentinel,多个哨兵达成一致意见才能认为一个master客观上已经宕掉

redis查询哨兵信息 redis查看哨兵状态_服务器_08

  • 选举出领导者哨兵(哨兵中选出兵王)
    当主节点被判断客观下线以后,各个哨兵节点会进行协商,先选举出一个**领导者哨兵节点(兵王)**并由该领导者节点,也即被选举出的兵王进行failover(故障迁移。
    哨兵领导者,兵王如何选出来的?——Raft算法

由兵王开始推动故障切换流程并选出一个新master

选举算法

新主登基

某个Slave被选中成为新Master

选出新master的规则,剩余slave节点健康前提下,执行如下规则:

redis查询哨兵信息 redis查看哨兵状态_学习_09

redis.conf文件中,优先级slave-priority或者replica-priority最高的从节点(数字越小优先级越高) →

复制偏移位置**offset(同步数据最多)**最大的从节点 →

最小Run ID的从节点字典顺序,ASCII码

群臣俯首

一朝天子一朝臣,换个码头重新拜

  • 执行slaveof no one命令让选出来的从节点成为新的主节点,并通过slaveof命令让其他节点成为其从节点
    Sentinel leader会对选举出的新master执行slaveof no one操作,将其提升为master节点
    Sentinel leader向其它slave发送命令,让剩余的slave成为新的master节点的slave

旧主拜服

老master回来也认怂

将之前已下线的老master设置为新选出的新master的从节点,当老master重新上线后,它会成为新master的从节点。

entinel leader会让原来的master降级为slave并恢复正常工作。

小结

上述的failover操作均由sentinel自己独自完成,完全无需人工干预。

redis查询哨兵信息 redis查看哨兵状态_redis查询哨兵信息_10

使用建议

哨兵节点的数量应为多个,哨兵本身应该集群,保证高可用

哨兵节点的数量应该是奇数

各个哨兵节点的配置应一致

如果哨兵节点部署在Docker等容器里面,尤其要注意端口的正确映射

哨兵集群+主从复制,并不能保证数据零丢失 ——集群