架构
双机高可用方法目前分为两种:
1)Nginx+keepalived 双机主从模式:即前端使用两台服务器,一台主服务器和一台热备服务器,正常情况下,主服务器绑定一个公网虚拟IP,提供负载均衡服务,热备服务器处于空闲状态;当主服务器发生故障时,热备服务器接管主服务器的公网虚拟IP,提供负载均衡服务;但是热备服务器在主机器不出现故障的时候,永远处于浪费状态,对于服务器不多的网站,该方案不经济实惠。
2)Nginx+keepalived 双机主主模式:即前端使用两台负载均衡服务器,互为主备,且都处于活动状态,同时各自绑定一个公网虚拟IP,提供负载均衡服务;当其中一台发生故障时,另一台接管发生故障服务器的公网虚拟IP(这时由非故障机器一台负担所有的请求)。这种方案,经济实惠。
下面分别是两种模式对应的架构示意图。需要说明的是,虽然每台服务器都配置了VIP,但正常情况下,对于每个VIP,同时只会有一台机器实际占用。
- 安装nginx
省略 - 安装keepalived
安装步骤
说明:本文主要介绍安装keepalived时遇到的问题及解决办法,所以没有只用了两台机器,并没有介绍后端服务。另外这里只介绍了主从模式。
主要的问题归纳:
1. 需要从解压后的源码包去找 服务脚本,这是2.0之后的变化
cp keepalived-2.0.15/keepalived/etc/init.d/keepalived /etc/init.d/
2. 这个脚本里的默认路径配置不正确,需要针ubuntu做处理
3. 这个脚本里的命令有问题,需要修改
#解压并安装
wget http://www.keepalived.org/software/keepalived-2.0.5.tar.gz
tar zxvf keepalived-2.0.15.tar.gz
cp -r keepalived-2.0.15 /usr/local/src
cd /usr/local/src/keepalived-2.0.15/
./configure --prefix=/usr/local/keepalived
make && make install
#使keepalived命令能直接使用
cp /usr/local/keepalived/sbin/keepalived /sbin/
创建配置文件并修改
mkdir -p /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
vim /etc/keepalived/keepalived.conf
为了测试方便,我的配置文件比较简单:
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
! Configuration File for keepalived
global_defs {
router_id kp_s1 #在一个网络应该是唯一的
}
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh" #定时检查nginx是否正常运行的脚本
interval 2 #脚本执行间隔,每2s检测一次
weight -5 #脚本结果导致的优先级变更,检测失败(脚本返回非0)则优先级 -5
fall 2 #检测连续2次失败才算确定是真失败。会用weight减少优先级(1-255之间)
rise 1 #检测1次成功就算成功。但不修改优先级
}
vrrp_instance VI_1 {
#指定keepalived的角色,这里指定的不一定就是MASTER,实际会根据优先级调整,另一台为BACKUP
state MASTER
interface ens33 #当前进行vrrp通讯的网卡
virtual_router_id 200 #虚拟路由编号(数字1-255),主从要一致
# mcast_src_ip 192.168.79.191 #
priority 100 #定义优先级,数字越大,优先级越高,MASTER的优先级必须大于BACKUP的优先级
nopreempt
advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
authentication {
auth_type PASS
auth_pass 2222
}
#执行监控的服务。注意这个设置不能紧挨着写在vrrp_script配置块的后面(实验中碰过的坑),
#否则nginx监控失效!!
track_script {
chk_nginx #引用VRRP脚本,即在 vrrp_script 部分指定的名字。
#定期运行它们来改变优先级,并最终引发主备切换。
}
virtual_ipaddress {#VRRP HA 虚拟地址 如果有多个VIP,继续换行填写
192.168.79.210
}
}
#创建检查nginx状态的脚本
安装 systemctl
sudo apt-get install --reinstall systemd
vim /etc/keepalived/nginx_check.sh
脚本的内容如下(检查nginx运行):
#!/bin/bash
counter=`ps -C nginx --no-heading|wc -l`
echo "$counter"
if [ "${counter}" = 0 ]; then
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
sleep 2
counter=`ps -C nginx --no-heading|wc -l`
if [ "${counter}" = 0 ]; then
/etc/init.d/keepalived stop
fi
fi
#修改脚本权限,使其可以被执行
chmod +x /etc/keepalived/nginx_check.sh
3. 设置服务启动
复制服务脚本
cp keepalived-2.0.15/keepalived/etc/init.d/keepalived /etc/init.d/
#注意:上面的服务启动脚本是在源文件目录,而不是安装目录(/usr/local/keepalived)下,这是2.0之后的变化。
修正相关配置问题
vim /etc/init.d/keepalived 可以看到下图内容,其中有3个地方有问题。
图中 由于 ubuntu下没有 /etc/rc.d/init.d/functions,需要为其建立软链接
mkdir -p /etc/rc.d/init.d
ln -s /lib/lsb/init-functions /etc/rc.d/init.d/functions
图中:拷贝相应文件的源配置文件
注释内容有介绍 ,这个源配置文件(在里面设置keepalived启动参数)
mkdir /etc/sysconfig
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
图中3:安装daemon,并修改命令
1. 安装 daemon: apt install daemon
- 图中3的命令 修改为daemon – keepalived ${KEEPALIVED_OPTIONS} #加了一个“–”
说明:命令里的变量 ${KEEPALIVED_OPTIONS} 是在/etc/sysconfig/keepalived里设置的,默认内容如图。
这里的-D 代表记录详细日志。那么命令 daemon keepalived ${KEEPALIVED_OPTIONS}的结果是
daemon keepalived -D
这个命令是有问题的,其中的-D本来是给keepalived用的,但这样组合后被认为是daemon命令的参数。这会导致服务不能启动。 如果不修改,会提示启动失败,但却不输出具体信息。但可以通过查看 /var/log/syslog 找到错误信息
$Starting keepalived: daemon: option requires an argument – ‘D’ 。这是一个底层错误,所以只在系统日志里看到。
执行 daemon --help, 可以看到帮助信息
注意:每次修改/etc/init.d/keepalived后,需要重新运行 systemctl daemon-reload 重新加载服务脚本
启动测试(两台都启动)
systemctl daemon-reload #重新加载服务
service keepalived start #启动keealived服务
service keepalived status #可以查看运行状态
ip a #查看是否占用了VIP,只有主服务器可以占用,主有问题时,才会漂移到从服务器,并且从服务器状态变为MASTER
如果启动出现问题,除了这里的输出信息,还可以通过 /var/log/syslog来查看问题
正常状态是
1) 在任意一台服务器上关闭nginx,会发现keepalived自动重启nginx
2) 关闭任意一台服务器,VIP漂移到另一台服务器
最终实现效果如下:
初始:
单点故障时:
小结:
模拟的时候先关闭keepalived,然后在关闭nginx;keepalived会不去检测nginx的状态,当其不再运行的时候就会去重启nginx,然后在检测是否为0,当重启失败的话,就关闭keepalived。然后另外一台接管。
两台机器在使用keepalived会产生脑裂现象,后续有机会在查找资料看下