keepalived 配置介绍

一、keeplived 简介

官方参考文档

用途

vrrp协议的软件实现，原生设计目的为了高可用ipvs服务

功能
  • 基于vrrp协议完成地址流动 ，为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
  • 为ipvs集群的各RS做健康状态检测
  • 基于脚本调用接口通过执行脚本完成脚本中定义的功能，进而影响集群事务，以此 支持nginx、haproxy等服务
协议

vrrp协议：Virtual Router Redundancy Protocol

工作方式

抢占式(默认)，非抢占式

工作模式
  • 主/备：单虚拟路由器
  • 主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）
术语
  • 虚拟路由器：Virtual Router
  • 虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
  • 物理路由器：
  • master：主设备
  • backup：备用设备
  • priority：优先级
  • VIP：Virtual IP
  • VMAC：Virutal MAC (00-00-5e-00-01-VRID)
二、keepalived 的安装

apt-get install keepalived

默认通过apt 或者yum 安装， keepalived -v 可以查看build参数 ，这些已经够用了，一般不用编译了

程序环境

  • 主配置文件：/etc/keepalived/keepalived.conf
    apt 安装没有默认的配置文件, 可以把范例的配置文件复制改一下就可以了
Mar 22 19:48:50 director Keepalived[2124]: Starting Keepalived v1.3.9 (10/21,2017)
Mar 22 19:48:50 director Keepalived[2124]: Unable to find configuration file /etc/keepalived/keepalived.conf (glob returned 3)
Mar 22 19:48:50 director Keepalived[2124]: Stopped Keepalived v1.3.9 (10/21,2017)
dpkg  -L keepalived |grep conf
/usr/share/doc/keepalived/samples/keepalived.conf.sample
  • 主程序文件：/usr/sbin/keepalived
  • servcie : /lib/systemd/system/keepalived.service
  • 系统参数文件： /etc/default/keepalived （service 文件中指定的）
三、keepalive 的配置

keepalived.conf 的组成部分

1. global_defs 全局配置
  • notification_email {
    root@localhost 发生故障切换时邮件发送的对象，可以按行区分写多个, 可以设为 用户名@主机名
    }
  • notification_email_from Alexandre.Cassen@firewall.loc 通知邮件的发送邮箱
  • smtp_server 192.168.200.1 发送邮箱的服务器地址
  • smtp_connect_timeout 30 连接邮件服务器的超时时长
  • router_id LVS_DEVEL 物理节点的标识符 ，一般设置与服务器的主机名相同
  • vrrp_skip_check_adv_addr 所有报文都检查比较消耗性能，此配置为如果收到的报文和上一个报文 是同一个路由器则跳过检查报文中的源地址
  • vrrp_strict 严格遵守VRRP协议,不允许状况:1,没有VIP地址,2.单播邻居,3.在VRRP版本2中有IPv6地 址
  • vrrp_garp_interval 0 #ARP报文发送延迟
  • vrrp_gna_interval 0 #消息发送延迟
  • vrrp_mcast_group4 224.0.0.18 #默认组播IP地址，224.0.0.0到239.255.255.255
2. vrrp_instance VI_1 虚拟路由实例
  • state MASTER|BACKUP：当前节点在此虚拟路由器上的初始状态，状态为MASTER或者BACKUP
  • interface IFACE_NAME：绑定为当前虚拟路由器使用的物理接口 ens32,eth0,bond0,br0
  • virtual_router_id VRID：当前虚拟路由器惟一标识，范围是0-255 （主备一致，多个节点必须相同 ）
  • priority 100：当前物理节点在此虚拟路由器中的优先级；范围1-254
  • advert_int 1：vrrp通告的时间间隔，默认1s
  • authentication { # 认证机制
    auth_type AH|PASS 加密的方式
    auth_pass<PASSWORD> 验证密码 仅前8位有效
    }
  • virtual_ipaddress {
    #虚拟IP <IPADDR>/<MASK> brd <IPADDR> dev<STRING> scope <SCOPE> label <LABEL>
    192.168.200.17/24 dev eth1
    192.168.200.18/24 dev eth2 label eth2:1 (一块网卡有多个地址时，需要用子网接口)
    }
  • track_interface { #配置监控网络接口，一旦出现故障，则转为FAULT状态实现地址转移 eth0 eth1 … }
3. virtual_server lvs 相关的设置

默认的配置示例

virtual_server 10.10.10.2 1358  {   ip 端口
    delay_loop 6   检查后端服务器的时间间隔 6s
    lb_algo rr  定义调度方法  rr 
    lb_kind NAT 集群的类型
    persistence_timeout 50  持久连接时长(长链接设置，用于短时间内保存session ,一般不用这个，用redis)  
    protocol TCP  指定服务协议 

    sorry_server 192.168.200.200 1358

    real_server 192.168.200.2 1358 {
        weight 1   RS权重 
        HTTP_GET {  应用层检测 
            url {
              path /testurl3/test.jsp  定义要监控的URL 
              digest 640205b7b0fc66c1ea91c463fac6334d  对请求的页面进行hash运算，然后和这个hash码进行比对，如果hash码一样就表示状态正常
            }
            connect_timeout 3  连接超时时间
            retry 3  重试次数 
            delay_before_retry 3  重试之前的延迟时长     
        }
    }
}

lvs 相关设置主要分为 3 部分

  • vs 相关的设置
  • virtual server （虚拟服务）的定义 （virtual_server 可以设置多个）
  • virtual_server IP port #定义虚拟主机IP地址及其端口
  • virtual_server fwmark int #ipvs的防火墙打标，实现基于防火墙的负载均衡集群
  • virtual_server group string #将多个虚拟服务器定义成组，将组定义成虚拟服务
  • delay_loop <INT>：检查后端服务器的时间间隔
  • lb_algo rr|wrr|lc|wlc|lblc|sh|dh：定义调度方法
  • lb_kind NAT|DR|TUN：集群的类型
  • persistence_timeout <INT>： 持久连接时长
  • protocol TCP|UDP|SCTP：指定服务协议
  • sorry_server<IPADDR> <PORT>：所有RS故障时，备用服务器地址
  • rs 相关的设置
    real_server <IPADDR><PORT> {
    weight<INT> RS权重
    notify_up <STRING>|<QUOTED-STRING>RS上线通知脚本
    notify_down<STRING>|<QUOTED-STRING> RS下线通知脚本
    HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHEC K { … } 定义当前主机的健康状态检测方法
    }
  • 后端服务器的健康性检查
    应用层检查 为了判断服务是否存在假死的情况，java相关的应用使用 与代码质量有关
HTTP_GET|SSL_GET：应用层检测 
HTTP_GET|SSL_GET { 

	url { path <URL_PATH>：定义要监控的URL 
		status_code <INT>：判断上述检测机制为健康状态的响应码 
		} 
	connect_timeout <INTEGER>：连接请求的超时时长
	nb_get_retry <INT>：重试次数 
	delay_before_retry <INT>：重试之前的延迟时长
	connect_ip <IP ADDRESS>：向当前RS哪个IP地址发起健康状态检测请求 
	connect_port <PORT>：向当前RS的哪个PORT发起健康状态检测请求 
	bindto <IP ADDRESS>：发出健康状态检测请求时使用的源地址 
	bind_port <PORT>：发出健康状态检测请求时使用的源端口 
}

4层检查 主要通过断状态码判端口是否存活 php、nginx 之类用tcp

TCP_CHECK { 
	connect_ip <IP ADDRESS>：向当前RS的哪个IP地址发起健康状态检测请求
	connect_port <PORT>：向当前RS的哪个PORT发起健康状态检测请求
	bindto <IP ADDRESS>：发出健康状态检测请求时使用的源地址
	bind_port <PORT>：发出健康状态检测请求时使用的源端口
	connect_timeout <INTEGER>：连接请求的超时时长 
}