Linux Nginx+keepalived负载+高可用

【摘要】
Nginx+keepalived给企业实现廉价的,高可靠性的高可用软负载均衡,可达万级的高并发。

【正文】
一 前期准备
1.1 项目拓扑图
初步规划了nginx+keepalived的拓扑结构如下。
Linux Nginx+keepalived负载+高可用

1.2 服务器准备
Redhat 6.4(nginx-A) CPU:单核 内存:2G 硬盘:50G 设置同网段静态IP
Redhat 6.4(nginx-B) CPU:单核 内存:2G 硬盘:50G 设置同网段静态IP
后端WEB应用服务器 自行搭建(可使用linux做最简单的http服务器) 设置同网段静态IP

1.3 软件准备
1) 两台新服务器配置YUM安装源。(此处省略YUM源配置过程,可参考网上的方法)
2) 下载nginx与keepalived源码安装包。具体型号如下,所实施的软件请参考另外提供的软件包文件夹
nginx-1.9.2.tar.gz
keepalived-1.2.19.tar.gz

二 Nginx服务器安装与配置
2.1 Nginx-A/Nginx-B主/备服务器配置
2.1.1 基础安装
安装nginx之前的需要的依赖包
#yum install –y gcc pcre-devel zlib-devel

2.1.2 Nginx安装
进入nginx安装包所在位置
#cd /tmp/

解压nginx源码包
#tar –xvf nginx-1.9.2.tar.gz

进入解压后的文件夹
#cd nginx-1.9.2

编译并安装
#./config;make;make install

2.1.3 Nginx配置文件修改
Vim编辑/usr/local/nginx/conf/nginx.conf,编辑内容如下图红框所示:
Linux Nginx+keepalived负载+高可用

2.1.4 创建负载规则
1) 创建文件夹路径
#mkdir /usr/local/nginx/vhost

2) 为每个域名创建负载规则
#vim /usr/local/nginx/vhost/www.xxx.net

编辑的内容如下图:
Linux Nginx+keepalived负载+高可用

2.1.5 Nginx启动
测试配置文件是否有误
#/usr/local/nginx/sbin/nginx -t
返回如下信息则配置正确
Linux Nginx+keepalived负载+高可用
启动nginx
#/usr/local/nginx/sbin/nginx

三 Keepalived服务器安装与配置
3.1 Nginx-A主服务器keepalived安装与配置
3.1.1 基础安装

安装keepalived之前的需要的依赖包
#yum install –y openssl-devel

3.1.2 Keepalived安装
进入keepalived安装包所在位置
#cd /tmp/

解压keepalived源码包
#tar –xvf keepalived-1.2.19.tar.gz

进入解压后的文件夹
#cd keepalived-1.2.19

编译并安装
#./config;make;make install

3.1.3 Keepalived配置文件修改
1) 创建软链接(启动keepalived时需要配置文件,如未使用-f指定配置文件路径,就创建软链接到/etc目录下)
#mkdir /etc/keepalived
#ln –s /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

2) 修改keepalived配置文件
Vim修改/etc/keepalived/keepalived.conf如下图所示:
Linux Nginx+keepalived负载+高可用

3.1.4 修改iptables设置
Iptables防火墙放通虚拟路由协议设置,否则keepalived无法通过虚拟路由协议进行通信。
vim编辑/etc/sysconfig/iptables如下图:
Linux Nginx+keepalived负载+高可用

3.1.5 Keepalived启动
#/usr/local/sbin/keepalived

3.2 Nginx-B备服务器keepalived安装与配置
安装与配置过程请参考主服务器,主要不通点是keepalived.conf,请看下图:
Linux Nginx+keepalived负载+高可用

3.3 Nginx监控脚本
1) Nginx-A和Nginx-B分别编辑脚本
#vim /usr/local/nginx/Monitor_Nginx.sh
脚本如下图:
Linux Nginx+keepalived负载+高可用

2) 增加可执行权限
#chmod o+rx /usr/local/nginx/Monitor_Nginx.sh

3) 创建软链接
#ln –s /usr/local/nginx/Monitor_Nginx.sh /opt/

四 优化操作系统限制
4.1 优化操作系统使其支持高并发(主备服务器均设置)
vim编辑/etc/security/limits.conf,编辑内容如下图:
Linux Nginx+keepalived负载+高可用

4.2 操作系统内核参数优化(主备服务器均设置)
vim编辑/etc/sysctl.conf,编辑内容如下图:
Linux Nginx+keepalived负载+高可用

五 优化nginx及keepalived启动
5.1 将nginx启动制作成服务(主备服务器均设置)
5.1.1 编辑/etc/init.d/nginxd
编辑内容如下图,脚本内容不一一解释:
Linux Nginx+keepalived负载+高可用
Linux Nginx+keepalived负载+高可用

5.1.2 增加可执行权限
1)增加执行权限
#chmod +x /etc/init.d/nginxd

2)增加软链接,使其能作为命令使用
#ln –s /etc/init.d/nginxd /sbin

5.1.3 设置开机启动
设置开机启动
#chkconfig nginxd on

5.2 将keepalived制作成服务(主备服务器均设置)
5.2.1 编辑/etc/init.d/keepalivedd
编辑内容如下图,脚本内容不一一解释:
Linux Nginx+keepalived负载+高可用
Linux Nginx+keepalived负载+高可用

5.2.2 增加可执行权限
1)增加执行权限
#chmod +x /etc/init.d/keepalivedd

2)增加软链接,使其能作为命令使用
#ln –s /etc/init.d/keepalivedd /sbin

5.2.3 设置开机启动
设置开机启动
#chkconfig keepalivedd on

六 Nginx日志自动截断并备份(主备服务器均设置)
4) 编辑/usr/local/nginx/nginxlogbak.sh
脚本如下图:
Linux Nginx+keepalived负载+高可用

5) 增加可执行权限
#chmod +x /usr/local/nginx/nginxlogbak.sh

6) 创建定时任务
#crontab -e
Linux Nginx+keepalived负载+高可用

七 优化主备服务器策略同步
由于策略不会自动进行同步,需要每次人工拷贝,故进行优化,达到每天定时检测主服务器的配置,如有变更则自动备份备服务器策略,并拷贝主服务器策略。
7.1.1 使用公私钥进行免密码登录服务器(主备服务器均设置)
1) 由于root账号不允许直接ssh登录故生成公私钥时使用admin账号登录
生成公私密钥
$ssh-keygen -t rsa -P ""

2) 拷贝公钥至另一台服务器
$scp /home/admin/.ssh/id_rsa.pub admin@10.252.39.60:/home/admin/.ssh/authorized_keys

同理,另一台服务器也需要这样设置,达到互认的目的。

7.1.2 为vhost文件夹增加可读可列出权限(主服务器设置)
考虑到安全,此权限设置使用ACL进行控制。如不增加admin对此文件夹权限,则备服务器无法通过admin账号进行下载。
#setfacl –d –m u:admin:rwx /usr/local/nginx/vhost/

7.1.3 编辑vhost拷贝与判断脚本(备服务器设置)
1)编辑/usr/local/nginx/vhostcopy.sh
Linux Nginx+keepalived负载+高可用
Linux Nginx+keepalived负载+高可用

3) 增加可执行权限
#chmod +x /usr/local/nginx/vhostcopy.sh

7.1.4 设置计划任务定期执行(备服务器设置)
1)为admin账号增加计划任务
#crontab -u admin -e
Linux Nginx+keepalived负载+高可用

2)用admin账号在tmp目录创建vhost文件夹
$mkdir /tmp/vhost

4) root账号增加计划任务
#crontab -e
Linux Nginx+keepalived负载+高可用

八 keepalived日志重定向
由于keepalived默认输出到message中,message又很其他日志,不便于查看keepalived的日志,优化日志输出到/var/log/keepalived.log
1)编辑vim /etc/init.d/keepalivedd
编辑内容如下:
Linux Nginx+keepalived负载+高可用

2)编辑/etc/rsyslog.conf,增加如下内容
Linux Nginx+keepalived负载+高可用

7) 重启日志服务和keepalived服务
#service rsyslog restart;service keepalivedd restart