7月3日

18.1 集群介绍

集群介绍

 根据功能划分为两大类：高可用和负载均衡

 高可用集群，即“HA"集群，也常称作“双机热备”，用于关键业务。核心原理都是通过心跳线连接两台服务器，一台用于提供服务，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务,实现高可用的开源软件有：heartbeat、keepalived。

 负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2台，实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler。

18.2 keepalived介绍

Keepalived介绍

 在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果。

 keepalived通过VRRP（Virtual Router Redundancy Protocl，虚拟路由冗余协议）来实现高可用。

 它是实现路由高可用的一种通信协议，在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。

 master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。

 Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

 

 

18.3-18.4-18.5 用keepalived配置高可用集群

用Keepalived配置高可用集群

生产环境中，很多企业把Nginx作为负载均衡器来用，它的重要性很高，一旦宕机会导致整个站点不能访问，所以有必要再准备一台备用Nginx，Keepalived用在这种场景下非常合适。

1.准备工作

 准备两台机器10和11，10作为master，11作为backup。

 定义一个VIP：172.16.111.150

VIP的英文名字是“Virtual IP",即“虚拟IP",也有人把它叫作“浮动IP”，因为这个IP是由Keepalived给服务器配置上的，服务器靠这个VIP对外提供服务，当master机器宕机，VIP被分配到backup上，这样用户看来是无感知的。

 两台机器都执行yum install -y keepalived

 两台机器都安装nginx，其中10上已经使用源码包编译安装过nginx，11上需要yum安装nginx，命令yum install -y nginx

 直接通过 yum install nginx 肯定是不行的,因为yum没有nginx，所以首先把 nginx 的源加入 yum 中。

 将nginx放到yum repro库中，如下：

 rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

3。使用yum安装ngnix ，yum install -y nginx

4。查看nginx信息 yum info nginx

5。启动nginx service nginx start

6。查看nginx版本 nginx -v

 

2.编辑master机器ip10的keepalived配置文件

 ls /etc/keepalived/keepalived.conf

vi /etc/keepalived/keepalived.conf

> !$         //清空配置文件内容

vim /etc/keepalived/keepalived.conf

配置网址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf

增加如下配置内容，按需求更改部分配置： global_defs {                   //全局定义参数    notification_email {      [e-mail]          //定义接收告警的人    }    notification_email_from [e-mail]  //定义发邮件地址（实际上没用）    smtp_server 127.0.0.1  //定义发邮件地址，若为127.0.0.1则使用本机自带邮件服务器发送    smtp_connect_timeout 30    router_id LVS_DEVEL } vrrp_script chk_nginx {      //chk_nginx为自定义名字，后面还会用到它     script "/usr/local/sbin/check_ng.sh"  //自定义脚本，该脚本为监控nginx服务的脚本     interval 3   //每隔3S执行一次该脚本 } vrrp_instance VI_1 {     state MASTER         //角色为master     interface ens33        //针对哪个网卡监听VIP     virtual_router_id 51     priority 100            //权重为100，master要比backup大     advert_int 1        authentication {                                 auth_type PASS         auth_pass aminglinux>com       //定义密码，这个密码自定义     }     virtual_ipaddress {         192.168.3.100    //定义VIP，主从两台都要设置的共有IP     }     track_script {         chk_nginx     //定义监控脚本，这里和上面vrr_script后面的字符串保持一致     } }

3.编辑master机器的监控脚本

 vim /usr/local/sbin/check_ng.sh    //脚本名字是自定义的，与keepalived配置文件要一致

脚本网址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh

编辑脚本增加如下内容： #!/bin/bash #时间变量，用于记录日志 d=`date --date today +%Y%m%d_%H:%M:%S` #计算nginx进程数量 n=`ps -C nginx --no-heading|wc -l` #如果进程为0，则启动nginx，并且再次检测nginx进程数量， #如果还为0，说明nginx无法启动，此时需要关闭keepalived if [ $n -eq "0" ]; then         /etc/init.d/nginx start         n2=`ps -C nginx --no-heading|wc -l`         if [ $n2 -eq "0"  ]; then                 echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log                 systemctl stop keepalived         fi fi

 

3.1给脚本755权限，需要给它权限，否则无法被keepalived调用加载

chmod 755 /usr/local/sbin/check_ng.sh  

3.2 启动master上的keepalived，如果nginx服务没有启动，它会自动拉起来，并监听VIP

systemctl start keepalived

 ip addr    //master上已经自动配置了192.168.3.100这个IP

 ps aux |grep keep

 ps aux |grep nginx

less /var/log/messages    //查看日志

 

 

 

4.两台机器都查看防火墙及SElinux是否开启，开启需要关闭

iptables -nvL    //查看防火墙

systemctl stop firewalld   //关闭防火墙

getenforce   //查看SElinux是否关闭

setenforce 0  //临时关闭SELinux //开机关闭SELinux 编辑/etc/selinux/config文件，将SELINUX的值设置为disabled

 

5.编辑backup的Keepalived配置文件

ls /etc/keepalived/keepalived.conf

vi /etc/keepalived/keepalived.conf

> !$         //清空配置文件内容

vim /etc/keepalived/keepalived.conf

添加配置内容网址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf

 

编辑增加如下配置内容： global_defs {    notification_email {      [e-mail]    }    notification_email_from [e-mail]    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id LVS_DEVEL } vrrp_script chk_nginx {     script "/usr/local/sbin/check_ng.sh"  //检测脚本     interval 3 } vrrp_instance VI_1 {     state BACKUP      //这个需要改，说明是从的状态     interface ens33     virtual_router_id 51     priority 90      //这个权重比master少     advert_int 1     authentication {         auth_type PASS         auth_pass aminglinux>com     }     virtual_ipaddress {         192.168.3.100   //VIP这个跟master一样     }     track_script {         chk_nginx     } }

6.编辑backup机器的监控脚本

vim /usr/local/sbin/check_ng.sh

内容网址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh

编辑增加如下配置内容： #时间变量，用于记录日志 d=`date --date today +%Y%m%d_%H:%M:%S` #计算nginx进程数量 n=`ps -C nginx --no-heading|wc -l` #如果进程为0，则启动nginx，并且再次检测nginx进程数量， #如果还为0，说明nginx无法启动，此时需要关闭keepalived if [ $n -eq "0" ]; then         systemctl start nginx         n2=`ps -C nginx --no-heading|wc -l`         if [ $n2 -eq "0"  ]; then                 echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log                 systemctl stop keepalived         fi fi

6.1 给脚本755权限，需要给它权限，否则无法被keepalived调用加载

chmod 755 /usr/local/sbin/check_ng.sh  

6.2 启动backup上的keepalived，如果nginx服务没有启动，它会自动拉起来，并监听VIP

systemctl start keepalived

ip addr

ps aux |grep keep

 ps aux |grep nginx

 

 

 

7.测试高可用

 确定好两台机器上nginx差异,通过curl -I 来查看nginx版本

7.1测试master机器ip192.168.3.10

curl -I  192.168.3.10

 

 

7.2 测试backup机器ip192.168.3.11

curl -I  192.168.3.11

 

7.3测试1：关闭master上的nginx服务

ps aux |grep nginx

systemctl stop nginx //关闭服务

 ps aux |grep nginx  //服务自动起来

 

7.4 测试2：在master上增加iptabls规则限制vrrp发包

iptables -I OUTPUT -p vrrp -j DROP    //把主上VRRP协议出去的包封掉

iptables -nvL //查看防火墙

 

在backup上查看

ip addr

tail /var/log/messages  //查看日志

 

浏览器地址查看：

192.168.3.100

 

7.5 测试3：关闭master上的keepalived服务

systemctl stop keepalived

ip add

ps aux |grep keep

 

在backup上查看

ip addr  //在backup上VIP马上就起来了

tail /var/log/messages

浏览器地址示例图也改变：

192.168.3.100

 

7.6 测试4：启动master上的keepalived服务

 systemctl start keepalived

ip add

 ps aux |grep keep

 

在backup上查看

ip addr  //在backup上VIP马上断掉了

 tail /var/log/messages  //查看日志显示

浏览器地址示例图也改变：

192.168.3.100