一、redis哨兵多个核心底层原理

1、sdown和odown转换机制

判断宕机的两种状态sdown和odown

  • sdown是主观宕机,就一个哨兵如果自己觉得一个master宕机了,那么就是主观宕机,如果一个哨兵ping一个master,超过了is-master-down-after-milliseconds指定的毫秒数之后,就主观认为master宕机
  • odown是客观宕机,如果quorum数量的哨兵都觉得一个master宕机了,那么就是客观宕机,如果一个哨兵在指定时间内,收到了quorum指定数量的,其他哨兵也认为那个master是sdown了,那么就认为是odown了,客观认为master宕机

2、哨兵集群的自动互相发现机制

哨兵互相之间的发现,是通过redis的pub/sub系统实现的,每个哨兵都会往(哨兵的一个交互圈子)__ sentinel __:hello这个channel里发送一个消息,这时候所有其他哨兵都可以消费到这个消息,并感知到其他的哨兵的存在

每隔两秒钟,每个哨兵都会往自己监控的某个master+slaves对应的**__ sentinel __**:hello channel里发送一个消息,内容是自己的host、ip和runid还有对这个master的监控配置

每个哨兵也会去监听自己监控的每个master+slaves对应的**__ sentinel __**:hello channel,然后去感知到同样在监听这个master+slaves的其他哨兵的存在

每个哨兵还会跟其他哨兵交换对master的监控配置,互相进行监控配置的同步

3、slave配置的自动纠正

哨兵会负责自动纠正slave的一些配置,比如slave如果要成为潜在的master候选人,哨兵会确保slave在复制现有master的数据; 如果slave连接到了一个错误的master上,比如故障转移之后,那么哨兵会确保它们连接到正确的master上

4、slave->master选举算法

如果一个master被认为odown了,而且majority哨兵都允许了主备切换,那么某个哨兵就会执行主备切换操作,此时首先要选举一个slave来

会考虑slave的一些信息

(1)跟master断开连接的时长

(2)slave优先级

(3)复制offset

(4)run id

如果一个slave跟master断开连接已经超过了down-after-milliseconds的10倍,外加master宕机的时长,那么slave就被认为不适合选举为master

#公式
(down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state

接下来会对slave进行排序,规则如下

(1)按照slave优先级进行排序,slave priority越低,优先级就越高

(2)如果slave priority相同,那么看replica offset,哪个slave复制了越多的数据,offset越靠后,优先级就越高

(3)如果上面两个条件都相同,那么选择一个run id比较小的那个slave


slave-priority:slave的优先级值,值越小,优先级越高

redis 哨兵如何下线_redis 哨兵如何下线

5、quorum和majority

quorum:几个哨兵认为这个master宕机sdown后,转换成odown的数量

majority:需要几个哨兵授权他才能做故障转移

每次一个哨兵要做主备切换,首先需要quorum数量的哨兵认为odown,然后选举出一个哨兵来做切换,这个哨兵还得得到majority哨兵的授权,才能正式执行切换

如果quorum < majority,比如5个哨兵,majority就是3,quorum设置为2,那么就3个哨兵授权就可以执行切换

但是如果quorum >= majority,那么必须quorum数量的哨兵都授权,比如5个哨兵,quorum是5,那么必须5个哨兵都同意授权,才能执行切换

6、configuration epoch配置版本

哨兵会对一套redis master+slave进行监控,有相应的监控的配置

执行切换的那个哨兵,会从要切换到的新master(salve->master)那里得到一个configuration epoch,这就是一个version号,每次切换的version号都必须是唯一的

如果第一个选举出的哨兵切换失败了,那么其他哨兵,会等待failover-timeout时间,然后接替继续执行切换,此时会重新获取一个新的configuration epoch,作为新的version号

7、configuraiton传播

哨兵完成切换之后,会在自己本地更新生成最新的master配置,然后同步给其他的哨兵,就是通过之前说的pub/sub消息机制

这里之前的version号就很重要了,因为各种消息都是通过一个channel去发布和监听的,所以一个哨兵完成一次新的切换之后,新的master配置是跟着新的version号的

其他的哨兵都是根据版本号的大小来更新自己的master配置的


二、项目中以经典的3节点方式部署哨兵集群

1、哨兵的配置文件

  • sentinel.conf

redis的根目录下就有这个模版文件

redis 哨兵如何下线_集群_02

最小的配置

每一个哨兵都可以去监控多个maser-slaves的主从架构

因为可能你的公司里,为不同的项目,部署了多个master-slaves的redis主从集群

相同的一套哨兵集群,就可以去监控不同的多个redis主从集群

你自己给每个redis主从集群分配一个逻辑的名称:< mymaster >、< resque >

#[sentinel monitor master名称 masterIP master端口 quorum]
#指定对一个master的监控,给监控的master指定的一个名称
sentinel monitor <mymaster> 127.0.0.1 6379 2 
#哨兵会去监控与master断开XXX毫秒就认为这个master宕机==>sdown
sentinel down-after-milliseconds <mymaster> 60000
#如果第一个选举出的哨兵切换失败了,那么其他哨兵,会等待failover-timeout时间,然后接替继续执行切换
sentinel failover-timeout <mymaster> 180000
#新的master切换之后,同时有多少个slave被切换到去连接新master,重新做同步,数字越低,花费的时间越多
sentinel parallel-syncs <mymaster> 1

sentinel monitor <resque> 192.168.1.3 6380 4
sentinel down-after-milliseconds <resque> 10000
sentinel failover-timeout <resque> 180000
sentinel parallel-syncs <resque> 5

sentinel monitor <mymaster> 127.0.0.1 6379

类似这种配置,来指定对一个master的监控,给监控的master指定的一个名称,因为后面分布式集群架构里会讲解,可以配置多个master做数据拆分

sentinel down-after-milliseconds mymaster 60000
sentinel failover-timeout mymaster 180000
sentinel parallel-syncs mymaster 1

上面的三个配置,都是针对某个监控的master配置的,给其指定上面分配的名称即可

上面这段配置,就监控了两个master node

这是最小的哨兵配置,如果发生了master-slave故障转移,或者新的哨兵进程加入哨兵集群,那么哨兵会自动更新自己的配置文件

sentinel monitor master-group-name hostname port quorum

quorum的解释如下

作用:设置需要多少个哨兵,认为这个master宕机sdown,后转换成odown的数量

(1)至少多少个哨兵要一致同意,master进程挂掉了,或者slave进程挂掉了,或者要启动一个故障转移操作

(2)quorum是用来识别故障的,真正执行故障转移的时候,还是要在哨兵集群执行选举,选举一个哨兵进程出来执行故障转移操作

(3)假设有5个哨兵,quorum设置了2,那么如果5个哨兵中的2个都认为master挂掉了; 2个哨兵中的一个就会做一个选举,选举一个哨兵出来,执行故障转移; 如果5个哨兵中有3个哨兵都是运行的,那么故障转移就会被允许执行


down-after-milliseconds,超过多少毫秒跟一个redis实例断了连接,哨兵就可能认为这个redis实例挂了

parallel-syncs,新的master别切换之后,同时有多少个slave被切换到去连接新master,重新做同步,数字越低,花费的时间越多


例子

假设你的redis是1个master,4个slave

然后master宕机了,4个slave中有1个切换成了master,剩下3个slave就要挂到新的master上面去

这个时候,如果parallel-syncs是1,那么3个slave,一个一个地挂接到新的master上面去,1个挂接完,而且从新的master sync完数据之后,再挂接下一个

如果parallel-syncs是3,那么一次性就会把所有slave挂接到新的master上去


failover-timeout,执行故障转移的timeout超时时长

2、在s3上再部署一个redis

只要安装redis就可以了,不需要去部署redis实例的启动

wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz

tar -xzvf tcl8.6.1-src.tar.gz

cd /usr/local/tcl8.6.1/unix/

./configure 

make && make install

使用redis-3.2.8.tar.gz(截止2017年4月的最新稳定版)

tar -zxvf redis-3.2.8.tar.gz

cd redis-3.2.8

make && make test

make install

3、正式的配置

哨兵默认用26379端口,默认不能跟其他机器在指定端口连通,只能在本地访问

在三台虚拟机上都配置下面对应的配置

#创建对应配置文件的文件夹
mkdir /etc/sentinal
mkdir -p /var/sentinal/5000
/etc/sentinal/5000.conf

 
#s1
port 5000
bind 192.168.109.101
dir /var/sentinal/5000
sentinel monitor mymaster 192.168.109.101 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel failover-timeout mymaster 60000
sentinel parallel-syncs mymaster 1

 
#s2
port 5000
bind 192.168.109.102
dir /var/sentinal/5000
sentinel monitor mymaster 192.168.109.101 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel failover-timeout mymaster 60000
sentinel parallel-syncs mymaster 1

 
#s3
port 5000
bind 192.168.109.103
dir /var/sentinal/5000
sentinel monitor mymaster 192.168.109.101 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel failover-timeout mymaster 60000
sentinel parallel-syncs mymaster 1

redis 哨兵如何下线_分布式_03

redis 哨兵如何下线_redis_04

redis 哨兵如何下线_分布式_05

redis 哨兵如何下线_集群_06

redis 哨兵如何下线_分布式_07

4、启动哨兵进程

在s1、s2、s3三台机器上,分别启动三个哨兵进程,组成一个集群,观察一下日志的输出

redis-sentinel /etc/sentinal/5000.conf

redis-server /etc/sentinal/5000.conf --sentinel

日志里会显示出来,每个哨兵都能去监控到对应的redis master,并能够自动发现对应的slave

哨兵之间,互相会自动进行发现,用的就是之前说的pub/sub,消息发布和订阅channel消息系统和机制

redis 哨兵如何下线_分布式_08

5、检查哨兵状态

redis-cli -h 192.168.109.101 -p 5000

sentinel master mymaster #查看master信息
SENTINEL slaves mymaster #查看master下面挂着slave信息
SENTINEL sentinels mymaster #查看master下面挂着对应哨兵信息

SENTINEL get-master-addr-by-name mymaster #查看当前mymaster主从架构集群信息

这里阿昌遇到了问题

就是哨兵集群之间无法感知对应哨兵的存在,很奇怪