下载haproxy版本
wget https://mirrors.huaweicloud.com/haproxy/2.3/src/haproxy-2.3.2.tar.gz
安装环境
yum -y install gcc gcc-c++ glibc glibc-devel pcre pcre-devel openssl openssl-devel systemd-devel net-tools vim iotop bc zip unzip zlib-devel lrzsz tree screen lsof tcpdump wget ntpdate
lua环境安装
yum -y install libevent-devel.x86_64 ncurses-devel.x86_64 readline-devel.x86_64 libtermcap-devel
http://www.lua.org/ftp/
tar -xvf lua-5.3.5.tar.gz
cd lua-5.3.5/
make linux
lua -v
安装haproxy
mkdir /usr/local/haproxy
cd haproxy-2.3.2/
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_CPU_AFFINITY=1 USE_LUA=1 LUA_INC=/root/lua-5.3.5/src/ LUA_LIB=/root/lua-5.3.5/src/ PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
ln -sv /usr/local/haproxy/sbin/haproxy /usr/sbin/
创建工作目录
mkdir -p /var/lib/haproxy
创建配置文件
cat /etc/haproxy/haproxy.cfg
global
maxconn 100000 //最大连接数
chroot /usr/local/haproxy //锁定工作目录(安全)
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin //sock文件
uid 188 //指定用户uid
gid 188 //指定用户gid
daemon //以守护进程方式运行
nbproc 2 //开启多进程工作模式,推荐使用多进程单线程,除非服务器只有1核CPU,可以开启单进程多线程
pidfile /var/lib/haproxy/haproxy.pid
log 127.0.0.1 local3 info //日志收集,最多设置2个
spread-checks 5 //后端server状态检测提前或延迟(百分比)
defaults
option http-keep-alive //开启与客户端会话保持
option forwardfor //透传客户端真实IP到后端服务器
option redispatch //当server id对应的服务器挂掉,强制定向到其他健康的服务器,重新派发
maxconn 100000 //单进程最大连接数
mode http //工作类型
timeout http-keep-alive 120s //session 会话保持时间,范围内会转发到相同的后端服务器
timeout connect 1000ms //客户请求从haproxy到后端server的最长连接等待时间 (TCP握手前)
timeout client 600ms //客户请求从haproxy到后端server的请求处理超时时长(TCP握手后)
timeout server 600ms //haproxy与客户端的最长非活动时间
timeout check 5s //对后端服务器的默认检测超时时间
listen stats
mode http
bind 0.0.0.0:9999
stats enable
log global
stats uri /haproxy-status
stats auth haadmin:q1w2e3r4ys
listen web_port
bind 192.168.64.100:1006
mode http
log global
server web1 192.168.64.101:80 check inter 3000 fall 2 rise 5 //间隔3s,失败次数2次确认失败,探测连续成功次数为5次确认为成功,共耗时15s
编写启动脚本
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
ExecStartPre=/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/local/haproxy/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
[Install]
WantedBy=multi-user.target
测试启动脚本
systemctl deamon-reload
systemctl start haproxy
keepalived 服务器监听端口,服务器内核参数调优
]# sysctl -a |grep nonlocal
net.ipv4.ip_nonlocal_bind = 1 //此参数表示是否允许服务绑定一个本机不存在的IP地址;
使用场景:有些服务需要依赖一个vip才能启动,但是此vip不在本机上,当vip飘移到本机上时才存在;但是服务又需要提前启动,例如haproxy,nginx等代理需要绑定vip时;
0:默认值,表示不允许服务绑定一个本机不存的地址
1:表示允许服务绑定一个本机不存在的地址
开启路由转发
修改/etc/sysctl.conf 配置文件
net.ipv4.ip_forward = 1
net.ipv4.ip_nonlocal_bind = 1
出于安全考虑,Linux系统默认是禁止数据包转发的。所谓转发即当主机拥有多于一块的网卡时,其中一块收到数据包,根据数据包的目的ip地址将数据包发往本机另一块网卡,该网卡根据路由表继续发送数据包。这通常是路由器所要实现的功能
要让Linux系统具有路由转发功能,需要配置一个Linux的内核参数net.ipv4.ip_forward。这个参数指定了Linux系统当前对路由转发功能的支持情况;其值为0时表示禁止进行IP转发;如果是1,则说明IP转发功能已经打开。
控制系统是否开启对数据包源地址的校验
net.ipv4.conf.default.rp_filter = 1
net.ipv4.tcp_timestamps = 0
在使用 iptables 做 nat 时,发现内网机器 ping 某个域名 ping 的通,而使用 curl 测试不通
原来是 net.ipv4.tcp_timestamps 设置了为 1 ,即启用时间戳
经过nat之后,如果前面相同的端口被使用过,且时间戳大于这个链接发出的syn中的时间戳,服务器上就会忽略掉这个syn,不返会syn-ack消息,表现为用户无法正常完成tcp3次握手,从而不能打开web页面。在业务闲时,如果用户nat的端口没有被使用过时,就可以正常打开;业务忙时,nat端口重复使用的频率高,很难分到没有被使用的端口,从而产生这种问题。
net.ipv4.tcp_tw_recycle导致的请求超时
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 1
当开启了tcp_tw_recycle选项后,当连接进入TIME_WAIT状态后,会记录对应远端主机最后到达分节的时间戳。如果同样的主机有新的分节到达,且时间戳小于之前记录的时间戳,即视为无效,相应的数据包会被丢弃;
一个公网IP(经过NAT)大量地去反问服务器,不同客户端的时间可能不一致,所以就会出现时间戳错乱的现象,于是后面的数据包就被丢弃了,具体的表现通常是是客户端明明发送的SYN,但服务端就是不响应ACK,还可以通过下面命令来确认数据包不断被丢弃的现象;
查看主机TCP连接数
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
修改sysctl.conf文件后需要执行指令sysctl -p后新的配置才会生效
[root@gitlab ~]# sysctl -p
net.ipv4.ip_forward = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
越学越感到自己的无知