lvs keepalived 内核调优 lvs nginx keepalived

转载

mob64ca13f96cda 2024-04-04 11:55:59

文章标签 lvs keepalived 内核调优 nginx IP 服务器 文章分类 运维

文章目录

IP规划:

一.lvs+keepalived安装 192.168.88.155 | 206

1.1 配置lvs-master 155
1.2 配置lvs-backup 206

二. 代理转发nginx

安装准备
编译
覆盖配置文件
创建代理文件
systemd 管理
配置vip 202和203 代理服务器进行操作

三.准备web静态页
四. 启动keepalived 155 和206 上

查看keepalived 是否启动成功
检测lvs是否配置成功
查看LVS的统计信息

IP规划:

lvs-master（DIP） : 192.168.88.155
lvs-backup（DIP） : 192.168.88.206
nginx-1 （RIP）: 192.168.88.203
nginx-2（RIP） : 192.168.88.202
web-1 : 192.168.88.215:80
web-2 : 192.168.88.215:81
web-3 : 192.168.88.215:82
VIP : 192.168.88.188

目标:
    通过keepalived，VIP绑定在LVS的两个节点上
    用户请求VIP，即请求LVS节点的服务器（也是DIP节点的服务器），此时通过DIP转发请求到RIP的节点
    LVS节点只负责接收和转发请求，RIP处理请求之后，直接将报文返回

注: centos8 没安装rsyslog 
sudo yum install rsyslog -y
systemctl restart rsyslog.service
systemctl enable rsyslog.service

一.lvs+keepalived安装 192.168.88.155 | 206

sudo yum install ipvsadm -y
sudo yum install keepalived -y
#查看两台负载均衡机器是否支持lvs：
sudo lsmod |grep ip_vs
# 如果看到如下结果，则说明是支持的
sudo lsmod|grep ip_vs
ip_vs                 172032  0
nf_defrag_ipv6         20480  1 ip_vs
nf_conntrack          155648  7 xt_conntrack,nf_conntrack_ipv4,nf_nat,ipt_MASQUERADE,nf_nat_ipv4,nf_conntrack_netlink,ip_vs
libcrc32c              16384  4 nf_conntrack,nf_nat,xfs,ip_vs
如果上述命令没有任何结果，则执行`sudo ipvsadm`命令启动ipvs之后，再通过上述命令进行查看即可。

1.1 配置lvs-master 155

cat >/etc/keepalived/keepalived.conf<<EOF
! Configuration File for keepalived
global_defs {
   #路由ID：当前安装keepalived节点的主机标志符，要保证全局唯一，即主备节点不能相同
   router_id keep_155
}

vrrp_instance VI_1 {
    #主节点：MASTER；备节点：BACKUP；固定的两种类型
    state MASTER
    #此服务器网卡名，要通过ip addr进行确认，
    interface ens33
    #虚拟路由ID，主备节点的此标志符要相同，keepalived就是根据当前服务器IP，虚拟一个同网段的IP，
    virtual_router_id 77
    #优先级，值越大，虚拟IP就先绑定到哪个服务器上；所以，主节点的优先级要大于备节点
    priority 100 
    #心跳检测时间间隔，每隔1秒，检测virtual_router_id相同的主备节点服务器，是否有挂掉的，有的话，则虚拟IP根据优先级进行转移
    advert_int 1
    #认证的权限密码，防止非法节点接入
    authentication {
        auth_type PASS
        auth_pass 1111
    }   
    #虚拟IP，可定义多个
    virtual_ipaddress {
        192.168.88.188
    }   
}
#配置集群访问的IP+端口，此处的端口需要和nginx访问的端口一致
virtual_server 192.168.88.188 80{
    #健康检测，间隔时间
    delay_loop 6
    #LVS负载均衡算法类型，默认轮询
    lb_algo wrr #加权轮询
    #LVS模式，NAT|DR|TUN
    lb_kind DR
    #会话持久时间
    persistence_timeout 5
    #协议
    protocol TCP 
    #负载均衡的真实服务器，nginx的真实IP地址
    real_server 192.168.88.203 80{
        #权重，轮询的权重默认为1，和其他节点相同
        weight 1
        #TCP健康检查
        TCP_CHECK{
            #连接端口
            connect_port 80
            #连接超时时间
            connect_timeout 2
            #重试次数
            nb_get_retry 2
            #重试间隔时间
            delay_before_retry 3
        }
    }
     #负载均衡的真实服务器，nginx的真实IP地址
    real_server 192.168.88.202 80{
        #权重，轮询的权重默认为1，和其他节点相同
        weight 1
        #TCP健康检查
        TCP_CHECK{
            #连接端口
            connect_port 80
            #连接超时时间
            connect_timeout 2
            #重试次数
            nb_get_retry 2
            #重试间隔时间
            delay_before_retry 3
        }
    }
}
EOF

1.2 配置lvs-backup 206

cat >/etc/keepalived/keepalived.conf<<EOF
! Configuration File for keepalived
global_defs {
   #路由ID：当前安装keepalived节点的主机标志符，要保证全局唯一，即主备节点不能相同
   router_id keep_206
}

vrrp_instance VI_1 {
    #主节点：MASTER；备节点：BACKUP；固定的两种类型
    state BACKUP
    #此服务器网卡名，要通过ip addr进行确认，
    interface ens33
    #虚拟路由ID，主备节点的此标志符要相同，keepalived就是根据当前服务器IP，虚拟一个同网段的IP，
    virtual_router_id 77
    #优先级，值越大，虚拟IP就先绑定到哪个服务器上；所以，主节点的优先级要大于备节点
    priority 80
    #心跳检测时间间隔，每隔1秒，检测virtual_router_id相同的主备节点服务器，是否有挂掉的，有的话，则虚拟IP根据优先级进行转移
    advert_int 1
    #认证的权限密码，防止非法节点接入
    authentication {
        auth_type PASS
        auth_pass 1111
    }    
    #虚拟IP，可定义多个
    virtual_ipaddress {
        192.168.88.188
    }    
} 
#配置集群访问的IP+端口，此处的端口需要和nginx访问的端口一致
virtual_server 192.168.88.188 80{
    #健康检测，间隔时间  
    delay_loop 6
    #LVS负载均衡算法类型，默认轮询
    lb_algo wrr #加权轮询
    #LVS模式，NAT|DR|TUN
    lb_kind DR
    #会话持久时间  
    persistence_timeout 5
    #协议
    protocol TCP 
    #负载均衡的真实服务器，nginx的真实IP地址
    real_server 192.168.88.202 80{
        #权重，轮询的权重默认为1，和其他节点相同
        weight 1
        #TCP健康检查
        TCP_CHECK{
            #连接端口
            connect_port 80
            #连接超时时间
            connect_timeout 2
            #重试次数
            nb_get_retry 2
            #重试间隔时间
            delay_before_retry 3
        }
    }
    #负载均衡的真实服务器，nginx的真实IP地址
    real_server 192.168.88.203 80{
        #权重，轮询的权重默认为1，和其他节点相同
        weight 1
        #TCP健康检查
        TCP_CHECK{
            #连接端口
            connect_port 80
            #连接超时时间
            connect_timeout 2
            #重试次数
            nb_get_retry 2
            #重试间隔时间
            delay_before_retry 3
        }
    }
}
EOF

二. 代理转发nginx

安装准备

yum -y update
yum -y install gcc gcc-c++ make pcre pcre-devel zlib zlib-devel openssl openssl-devel zlib-devel  libxml2 libxslt-devel gd-devel

#下载
wget  http://nginx.org/download/nginx-1.18.0.tar.gz
#解包
tar -xvf nginx-1.18.0.tar.gz
#移动成隐藏目录
mv nginx-1.18.0 .nginx
cd .nginx/
useradd -s /sbin/nongin  nginx

编译

参数详情：

./configure --user=nginx --group=nginx --prefix=/etc/nginx --conf-path=/etc/nginx/nginx.conf \
--http-log-path=/var/log/nginx/access.log \
--error-log-path=/var/log/nginx/error.log \
--lock-path=/var/lock/nginx.lock \
--pid-path=/run/nginx.pid \
--modules-path=/etc/nginx/modules \
--http-client-body-temp-path=/etc/nginx/body \
--http-fastcgi-temp-path=/etc/nginx/fastcgi \
--http-proxy-temp-path=/etc/nginx/proxy \
--http-scgi-temp-path=/etc/nginx/scgi \
--http-uwsgi-temp-path=/etc/nginx/uwsgi \
--with-debug \
--with-pcre-jit \
--with-http_ssl_module \
--with-http_stub_status_module \
--with-http_realip_module \
--with-http_auth_request_module \
--with-http_v2_module \
--with-http_dav_module \
--with-http_flv_module \
--with-http_slice_module \
--with-threads \
--with-compat \
--with-file-aio \
--with-http_addition_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_image_filter_module=dynamic \
--with-http_sub_module \
--with-http_xslt_module=dynamic \
--with-stream=dynamic \
--with-stream_ssl_module \
--with-stream_realip_module

make -j4 && make install
ln -sf /etc/nginx/sbin/nginx /usr/sbin/nginx
mkdir /etc/nginx/conf.d/

覆盖配置文件

#备份
cp -rf /etc/nginx/nginx.conf{,.bak} 
cat >/etc/nginx/nginx.conf <<EOF
user  www_data;
worker_processes  auto;
worker_cpu_affinity auto;
worker_priority -5;  #设置worker进程的优先级别
worker_rlimit_nofile 655350;
#pid        logs/nginx.pid;
 
events {
   use epoll;  #epoll是多路复用IO
   worker_connections  65535;
   accept_mutex on;
   multi_accept on;
}
http {
   include       /etc/nginx/mime.types;
   default_type  application/octet-stream;
 
   log_format  main  '\$remote_addr - \$remote_user [\$time_local] "\$request" '
                    '\$status \$body_bytes_sent "\$http_referer" '
                    '"\$http_user_agent" "\$http_x_forwarded_for"';

   #access_log  logs/access.log  main;
   
   #关闭错误页面中的nginx版本号等信息
   server_tokens off;

   #sendfile指令指定nginx是否调用sendfile函数（zero copy方式）来输出文件
   #一般设为on，如果用来进行下载等应用磁盘IO重负载应用，可设置为 off，降低系统的uptime
   sendfile        on;
   tcp_nopush      on;
   tcp_nodelay     on;
   keepalive_timeout  65; #连接超时时间
   client_header_timeout 15;
   client_body_timeout 15;

   types_hash_max_size 2048;
   ssl_prefer_server_ciphers on;

   access_log   /var/log/nginx/access.log;
   error_log /var/log/nginx/error.log;
   
   #开启gzip压缩
   gzip  on;
   gzip_vary on;
   #允许或禁止压缩基于请求和相应的响应流，any代表压缩所有请求
   gzip_proxied any;
   #启用压缩的最少字节数，如果请求小于1024字节则不压缩，压缩过程会消耗系统资源
   gzip_min_length 1k;
   #压缩缓冲区大小，表示申请4个单位为32k的内存作为压缩结果的缓存
   gzip_buffers 4 32k;
   #压缩版本，用于设置识别HTTP协议版本
   gzip_http_version 1.1;
   #数据压缩等级，1-9之间，9最慢压缩比最大，压缩比越大对系统性能要求越高
   gzip_comp_level 2;
   #需要压缩的数据格式
   gzip_types text/plain text/css text/xml text/javascript  application/json application/x-javascript application/xml application/xml+rss; 

   #静态文件缓存
   #开启缓存的同时也指定了缓存文件的最大数量，20s如果文件没有被请求则删除缓存
   open_file_cache max=100000 inactive=20s;
   #多长时间检查一次缓存的有效期
   open_file_cache_valid 30s;
   #有效期内缓存文件最小的访问次数，只有访问超过2次的才会被缓存
   open_file_cache_min_uses 2;
   #当搜索一个文件时是否缓存错误信息
   open_file_cache_errors on;

   #允许客户端请求的最大单文件字节数
   client_max_body_size 10m;
   #客户端请求头缓冲区大小
   client_header_buffer_size 4k;

   #域名太长
   server_names_hash_bucket_size 64;
   #是否启用对发送给客户端的URL进行修改
   proxy_redirect off;
   #服务器连接的超时时间
   proxy_connect_timeout 10;
   #连接成功后,等候后端服务器响应时间
   proxy_read_timeout 120;
   #后端服务器数据回传时间
   proxy_send_timeout 25;
   #缓冲区的大小
   proxy_buffer_size 32k;
   #每个连接设置缓冲区的数量为number，每块缓冲区的大小为size
   proxy_buffers 32 256k;
   #高负荷下缓冲大小（proxy_buffers*2）
   proxy_busy_buffers_size 512k;
   #设置nginx每次写数据到临时文件的size(大小)限制
   proxy_temp_file_write_size 512k;
   #1G内存缓冲空间，3天不用删除，最大磁盘缓冲空间2G
   proxy_cache_path /home/cache levels=1:2 keys_zone=cache_one:1024m inactive=3d max_size=2g;

   include  /etc/nginx/conf.d/*.conf;
}
EOF

创建代理文件

cat >/etc/nginx/conf.d/tomcat.conf<<EOF 
upstream web{
    server 192.168.88.215:80;#代理web静态页
    server 192.168.88.215:81;
    server 192.168.88.215:82;
}
server {
   keepalive_requests 120; #单连接请求上限次数
   listen 80;
   server_name  192.168.88.202; #另一台填写 203
   #跨域
   add_header Access-Control-Allow-Origin *;
   add_header Access-Control-Allow-Methods 'GET, POST, OPTIONS';
   add_header Access-Control-Allow-Headers 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization';
   #禁用不安全的HTTP方法
   if (\$request_method !~ ^(GET|HEAD|POST)$ ) {
      return 403;
   }
   location / {
        proxy_pass http://web;
        proxy_http_version 1.1;
        proxy_set_header Connection ""; #清除“connection”头字段   
        proxy_set_header Host \$host;
        proxy_set_header X-Real-IP \$remote_addr;
        proxy_set_header X-Forwarded-For \$proxy_add_x_forwarded_for;

   }
}
EOF

systemd 管理

cat >>/usr/lib/systemd/system/nginx.service<<EOF
[Unit]                                          
Description=nginx 
After=network.target 
[Service]
Type=forking
PIDFile=/run/nginx.pid
ExecStart=/etc/nginx/sbin/nginx -c /etc/nginx/nginx.conf
ExecReload=/bin/kill -s HUP \$MAINPID
ExecStop=/bin/kill -s TERM \$MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF
#授权
chmod +x /usr/lib/systemd/system/nginx.service
#重新加载
systemctl daemon-reload
#开机启动
systemctl enable nginx
#开机不自启
systemctl disable nginx

配置vip 202和203 代理服务器进行操作

cat >/etc/init.d/realserver<<EOF

#添加以下内容，根据情况修改之后保存
SNS_VIP=192.168.88.188 #VIP 定义为自己指定的vip
/etc/rc.d/init.d/functions
case "\$1" in
start)
       ifconfig lo:0 \$SNS_VIP netmask 255.255.255.255 broadcast \$SNS_VIP
       /sbin/route add -host \$SNS_VIP dev lo:0
       # 下面4行是防止本机vip和LVS的VIP冲突
       echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer Start OK"
       ;;
stop)
       ifconfig lo:0 down
       route del \$SNS_VIP >/dev/null 2>&1
       echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
*)
       echo "Usage: \$0 {start|stop}"
       exit 1
esac
exit 0
EOF
chmod +x /etc/rc.d/init.d/{realserver,functions}
#启动
/etc/init.d/realserver start

#查看vip
ip a  s | grep lo 
lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.88.188/32 brd 192.168.88.188 scope global lo:0
       valid_lft forever preferred_lft forever

lo：表示当前主机真实网卡的名称；
192.168.88.188：表示虚拟ip；

三.准备web静态页

yum -y install nginx
mkdir -p /opt/nginx/{web1,web2,web3}
echo "web1" > /opt/nginx/web1/index.html
echo "web2" > /opt/nginx/web2/index.html
echo "web3" > /opt/nginx/web3/index.html

cat >/etc/nginx/conf.d/web.conf<<EOF
server {
    keepalive_requests 120; #单连接请求上限次数
    listen 80;
    server_name  192.168.88.215;
    #禁用不安全的HTTP方法
    if ($request_method !~ ^(GET|HEAD|POST)$ ) {
       return 403;
    }
    location / {
        root /opt/nginx/web3;
        index index.html;
    }
}
server {
    keepalive_requests 120; #单连接请求上限次数
    listen 81;
    server_name  192.168.88.215;
    #禁用不安全的HTTP方法
    if ($request_method !~ ^(GET|HEAD|POST)$ ) {
       return 403;
    }
    location / {
        root /opt/nginx/web3;
        index index.html;
    }
}
server {
    keepalive_requests 120; #单连接请求上限次数
    listen 82;
    server_name  192.168.88.215;
    #禁用不安全的HTTP方法
    if ($request_method !~ ^(GET|HEAD|POST)$ ) {
       return 403;
    }
    location / {
        root /opt/nginx/web3;
        index index.html;
    }
}
EOF

四. 启动keepalived 155 和206 上

systemctl start keepalived.service

查看keepalived 是否启动成功

ps -ef|grep keepalived
root      568359       1  0 13:16 ?        00:00:00 /usr/sbin/keepalived -D
root      568360  568359  0 13:16 ?        00:00:00 /usr/sbin/keepalived -D
root      568361  568359  0 13:16 ?        00:00:00 /usr/sbin/keepalived -D
root      568376  413724  0 13:27 pts/0    00:00:00 grep --color=auto keepalived

检测lvs是否配置成功

ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.188:80 rr persistent 5
  -> 192.168.88.202:80            Route   1      0          0
  -> 192.168.88.203:80            Route   1      0          0

查看LVS的统计信息

ipvsadm -Ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
  -> RemoteAddress:Port
TCP  192.168.88.188:80                   3       35        0     8360        0
  -> 192.168.88.202:80                   2       31        0     8140        0
  -> 192.168.88.203:80                   1        4        0      220        0

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。