提前备好两台服务器(主:192.168.2.34,备:192.168.2.24),并安装好nginx,nginx安装此文不做赘述

1、下载keepAlived至/usr/local并解压

wget --no-check-certificate https://www.keepalived.org/software/keepalived-2.2.7.tar.gz
tar -zxvf keepalived-2.2.7.tar.gz

2、安装

#创建安装目录
mkdir /usr/local/keepalived
#安装
cd keepalived-2.2.7/
./configure --prefix=/usr/local/keepalived --sysconf=/etc ##此处指定安装目录以及配置文件路径
make && make install

 3、此时/usr/local 目录下会有三个文件,除了安装目录(keepalived)其余两个都可以删除

KeepAlived + Nginx 实现高可用_高可用

 4、新增配置文件。

#我们安装时就指定了配置文件所在目录/etc/keepalived下
cd /etc/keepalived
#拷贝一个新的配置文件
cp keepalived.conf.sample keepalived.conf

KeepAlived + Nginx 实现高可用_服务器_02

 samples下为一些常用的配置文件示例。

 5、修改配置文件

##主
vrrp_instance VI_1 {
state MASTER ##主机为MASTER 备机为BACKUP
interface ens160 ##物理网卡名称
virtual_router_id 1 ##虚拟路由ID,如果是一组虚拟路由就定义一个ID,如果是多组就要定义多个,而且这个虚拟ID还是虚拟MAC最后一段地址信息,取值范围0~255
priority 100 ##节点优先级,主 > 备
advert_int 1 ##主备间心跳检查时间间隔,单位:s
authentication { ##校验方式,主要有AUTH和PASS两种,主备通信时使用,通常使用PASS
auth_type PASS
auth_pass 123456 ##主备密码必须相同
}
virtual_ipaddress {
192.168.2.111 ##虚拟ip,主备必须相同
}
}

##备
vrrp_instance VI_1 {
state BACKUP ##主机为MASTER 备机为BACKUP
interface ens160 ##物理网卡名称
virtual_router_id 1##虚拟路由ID,如果是一组虚拟路由就定义一个ID,如果是多组就要定义多个,而且这个虚拟ID还是虚拟MAC最后一段地址信息,取值范围0~255
priority 80 ##节点优先级,主 > 备
advert_int 1 ##主备间心跳检查时间间隔,单位:s
authentication { ##校验方式,主要有AUTH和PASS两种,主备通信时使用,通常使用PASS
auth_type PASS
auth_pass 123456 ##主备密码必须相同
}
virtual_ipaddress {
192.168.2.111 ##虚拟ip,主备必须相同
}
}

6、将keepalived加入系统服务

cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/sbin/keepalived /etc/init.d/
##刷新系统进程
systemctl daemon-reload
##启动、终止、查看状态、重启
systemctl start keepalived.service
systemctl stop keepalived.service
systemctl status keepalived.service
systemctl restart keepalived.service

7、启动keepalived服务(主备都启)

KeepAlived + Nginx 实现高可用_配置文件_03

 8、查看网卡ip

[root@data-anal keepalived]# ip addr 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:0c:29:6e:9b:d2 brd ff:ff:ff:ff:ff:ff
inet 192.168.2.34/24 brd 192.168.2.255 scope global noprefixroute ens160
valid_lft forever preferred_lft forever
inet 192.168.2.111/32 scope global ens160
valid_lft forever preferred_lft forever
inet6 fe80::716c:e679:1315:14/64 scope link noprefixroute
valid_lft forever preferred_lft forever

先在主服务器(192.168.2.34)上查看,可以看到我们配置的网卡上多出来一个虚拟ip:192.168.2.111,反观备服务器(192.168.2.24)上是没有的。

如果都有的话,可能是配置文件中的虚拟路由id(virtual_router_i)不相同,导致分成了两个虚拟路由

9、通过虚拟ip访问我们提前装好的nginx,我们安装好的两个nginx分别做了区分

  • 主服务器(192.168.2.34)nginx欢迎页

KeepAlived + Nginx 实现高可用_keepalived_04

  • 备服务器(192.168.2.24)nginx欢迎页

KeepAlived + Nginx 实现高可用_配置文件_05

10、通过我们的VIP(192.168.2.111)访问nginx,此时我们看到是主服务器(192.168.2.34)在响应。

 KeepAlived + Nginx 实现高可用_配置文件_06

11、我们关停主服务器keepalive服务,同时监控备服务器日志信息(默认在 /var/log/messages ),可以看到备服务器同步已经注册了虚拟ip(192.168.2.111),同时通过 ip addr 查看,发现主服务器的虚拟ip已经剔除。

systemctl stop keepalived.service

KeepAlived + Nginx 实现高可用_nginx_07

12、此时通过虚拟ip再进行访问,发现已经是备服务器(192.168.2.24)在响应,此时已经实现了keepAlived的高可用。高并发时备服务器可以有多个。

KeepAlived + Nginx 实现高可用_keepalived_08

 13、keepalived的高可用为了保证其他服务的正常使用,如果keepalived可用,但应用服务不可用那就是个假象。所以检测其他服务的功能也是必备的,此处我们以检测nginx服务为例(两台服务器都做配置)

  • 在/etc/keepalived目录增加nginx检测脚本chk_nginx.sh,并赋权可执行chmod +x chk_nginx.sh
#!/bin/bash
## 查看某个名称的进程个数 ps -C nginx --no-header |wc -l
A=`netstat -tnlp | grep 80 | grep nginx | wc -l`
if [ $A -eq 0 ];then
/usr/local/nginx/sbin/nginx
sleep 2
if [ `netstat -tnlp | grep 80 | grep nginx | wc -l` -eq 0 ];then
systemctl stop keepalived.service
fi
fi


  • 在keepalived.conf中增加检测。两点要求:vrr_script 在vrrp_instance 之前track_script 在virtual_ipaddress之前
vrrp_script chk_nginx {
script "/etc/keepalived/chk_nginx.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface ens160
virtual_router_id 1
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
192.168.2.111
}
track_script {
chk_nginx
}
}

 14、重启keepalived服务,保证主备keepalived服务正常,此时34服务器为主,24服务器为备,且虚拟ip在34服务器上,此时关停主服务器nginx,再查进程时发现nginx依然服务正常且 PID 已变,说明已经被keepalived重新拉起

KeepAlived + Nginx 实现高可用_keepalived_09

15、此处我们假设一下nginx拉不起来的场景,在脚本中注释拉起nginx的语句,此处不用重启keepalived。

KeepAlived + Nginx 实现高可用_nginx_10

 16、我们停掉nginx,同时我们在备服务器上可以看到,虚拟ip已经漂移至备服务器,同时主keepalived服务已经被停掉

/usr/local/nginx/sbin/nginx -s stop

停之前主keepalived进程

KeepAlived + Nginx 实现高可用_keepalived_11

备服务日志

 KeepAlived + Nginx 实现高可用_keepalived_12

停止后keepalived进程

KeepAlived + Nginx 实现高可用_配置文件_13

17、此时我们keepalived + Nginx高可用已经实现。

PS:实操过程中有几个要点:

  • 设置网卡时,使用 ip addr 查看绑定网卡信息
  • 设置虚拟ip时,一定要设置当前网络环境没有被分配的ip,已经分配的ip,启动服务也不会报错,但访问不到。可以用局域网ip扫描工具扫描下。KeepAlived + Nginx 实现高可用_keepalived_14
  • chk_nginx.sh中检测间隔时间(sleep 1)一定要比keepalived.conf中配置的检测间隔时间(interval 2)要短,不然会出现一直到不了停keepalived进程