Nginx+keepalived 实现高可用负载均衡集群
一、Nginx简介
Nginx ("engine x") 是一个高性能HTTP和反向代理 服务器，也是一个 IMAP/POP3/SMTP 服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布78。
Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发，供俄国大型的入口网站及搜索引擎Rambler（俄文：Рамблер）使用。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、新浪、网易、腾讯等。
二、Keepalived简介
Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。
其主要原理是使用VRRP技术，VRRP状态工作机制为，双方节点都启动之后，要实现状态转换工作，初始状态都是backup而后向对方发送通告以及自己的优先级信息，如果收到shutdown信息则转换为intalize状态，如果收到startup而且优先级为最大，意味着其为master
而对另外的节点来讲收到的startup优先级小于255，那么就意味着其角色为backup
如果某通告的时候，backup发现比自己优先级比较低，那么直接将master角色抢回来。
三、Nginx安装
安装方式有2种，编译安装（通常选用），使用安装包安装（rpm包，dpkg包）。
使用安装包，安装适合需求不太高的情景，不需要特别的订制。
dpkg包方式安装
Ubuntu系统， apt-get install nginx
如果没有报错，即为安装成功，可以查看是否生成了 /etc/nginx/nginx.conf文件。
四、Nginx配置文件
#定义Nginx运行的用户和用户组
user www www;
#nginx进程数，建议设置为等于CPU总核心数。
worker_processes 8;
#全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]
error_log /var/log/nginx/error.log info;
#进程文件
pid /var/run/nginx.pid;
#一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit -n）与nginx进程数相除，但是nginx分配请求并不均匀，所以建议与ulimit -n的值保持一致。
worker_rlimit_nofile 65535;
#工作模式与连接数上限
events
{
#参考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本内核中的高性能网络I/O模型，如果跑在FreeBSD上面，就用kqueue模型。
use epoll;
#单个进程最大连接数（最大连接数=连接数*进程数）
worker_connections 65535;
}
#设定http服务器
http
{
include mime.types; #文件扩展名与文件类型映射表
default_type application/octet-stream; #默认文件类型
#charset utf-8; #默认编码
server_names_hash_bucket_size 128; #服务器名字的hash表大小
client_header_buffer_size 32k; #上传文件大小限制
large_client_header_buffers 4 64k; #设定请求缓
client_max_body_size 8m; #设定请求缓
sendfile on; #开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。
autoindex on; #开启目录列表访问，合适下载服务器，默认关闭。
tcp_nopush on; #防止网络阻塞
tcp_nodelay on; #防止网络阻塞
keepalive_timeout 120; #长连接超时时间，单位是秒
#FastCGI相关参数是为了改善网站的性能：减少资源占用，提高访问速度。下面参数看字面意思都能理解。
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 128k;
#gzip模块设置
gzip on; #开启gzip压缩输出
gzip_min_length 1k; #最小压缩文件大小
gzip_buffers 4 16k; #压缩缓冲区
gzip_http_version 1.0; #压缩版本（默认1.1，前端如果是squid2.5请使用1.0）
gzip_comp_level 2; #压缩等级
gzip_types text/plain application/x-javascript text/css application/xml;
#压缩类型，默认就已经包含text/html，所以下面就不用再写了，写上去也不会有问题，但是会有一个warn。
gzip_vary on;
#limit_zone crawler $binary_remote_addr 10m; #开启限制IP连接数的时候需要使用
upstream blog.ha97.com {
#upstream的负载均衡，weight是权重，可以根据机器配置定义权重。weigth参数表示权值，权值越高被分配到的几率越大。
server 192.168.80.121:80 weight=3;
server 192.168.80.122:80 weight=2;
server 192.168.80.123:80 weight=3;
}
#虚拟主机的配置
server
{
#监听端口
listen 80;
#域名可以有多个，用空格隔开
server_name www.ha97.com ha97.com;
index index.html index.htm index.php;
root /data/www/ha97;
location ~ .*\.(php|php5)?$
{
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
}
#图片缓存时间设置
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
{
expires 10d;
}
#JS和CSS缓存时间设置
location ~ .*\.(js|css)?$
{
expires 1h;
}
#日志格式设定
log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';
#定义本虚拟主机的访问日志
access_log /var/log/nginx/ha97access.log access;
#对 "/" 启用反向代理
location / {
proxy_pass http://127.0.0.1:88;
proxy_redirect off;
proxy_set_header X-Real-IP $remote_addr;
#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#以下是一些反向代理的配置，可选。
proxy_set_header Host $host;
client_max_body_size 10m; #允许客户端请求的最大单文件字节数
client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数，
proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时)
proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时)
proxy_read_timeout 90; #连接成功后，后端服务器响应时间(代理接收超时)
proxy_buffer_size 4k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小
proxy_buffers 4 32k; #proxy_buffers缓冲区，网页平均在32k以下的设置
proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2）
proxy_temp_file_write_size 64k;
#设定缓存文件夹大小，大于这个值，将从upstream服务器传
}
#设定查看Nginx状态的地址
location /NginxStatus {
stub_status on;
access_log on;
auth_basic "NginxStatus";
auth_basic_user_file conf/htpasswd;
#htpasswd文件的内容可以用apache提供的htpasswd工具来产生。
}
#本地动静分离反向代理配置
#所有jsp的页面均交由tomcat或resin处理
location ~ .(jsp|jspx|do)?$ {
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://127.0.0.1:8080;
}
#所有静态文件由nginx直接读取不经过tomcat或resin
location ~ .*.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
{ expires 15d; }
location ~ .*.(js|css)?$
{ expires 1h; }
}
}
五、配置负载均衡配置项
在/etc/nginx/nginx.conf 中，注意有这么一行命令：
Include /etc/nginx/conf.d/*.conf
我们可以在/etc/nginx/conf.d/目录下，可以自定义配置文件，配置负载均衡，我们需要定义upstream,项。如下，我们编辑/etc/nginx/conf.d/proxy.conf,
实现目标：通过访问本机的8080端口，将请求发送到后端主机上去，采用轮休调度。
--------------------------------------------------------------------------------------------------------------------
upstream backend{
server 192.168.0.33:8080; #后端web的IP:端
server 192.168.0.34:8080;
}
server {
listen 8080; #本机监听端口，通过访问该端口才能实现向后端web发送请求
location / { #/表示匹配的URL路径规则，/表示匹配任何规则，能匹配到http://*/， /login 只会匹配到http://login/*/
proxy_pass http://backend; #表示转发后端web的url
}
}
添上以上配置文件，重启服务就可以实现轮询调度后端web服务器，
四、keepalived安装
1、去官网下载压缩包*.tar.gz http://www.keepalived.org/download.html;
2、编译需求环境：libssl-dev openssllibpopt-dev;
3、下载版本为keepalived-1.2.7.tar.gz ;
4、解压：tar zxvf keepalived-1.2.7.tar.gz;
5、编译：# cd keepalived-1.2.7;
# ./configure --prefix=/usr/local;
# make && make install;
6、编译完成后，生产主要文件及位置如下：
/usr/sbin/目录下keepalived 可执行程序文件;
/usr/local/etc/keepalived/目录下 keepalived.conf文件和samples目录; 可以将keepalived.conf 复制到/etc/keepalived.conf.;
/usr/local/etc/rc.d/init.d/目录下keepalived 可以当作启动脚本，复制到/etc/init.d/下;
7、由于是编译安装，所以还要修改下启动脚本里面的用到的一些文件的路径位置，不 然默认可能会出错，由于是ubunut系统，和rehat系列不同，function文件的位置不同，故而需要修改，另外还要修改一处启动参数，如下代码：
五、Keepalived 配置文件
! Configuration File for keepalived
global_defs {
notification_email { //定义邮件通知机制，暂时不使用
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.0.32
smtp_connect_timeout 30
router_id LVS_DEVEL
}
--------------------------------------------------------------------------------------
vrrp_script chk_nginx {
script "/etc/keepalived/chk_nginx.sh"//定义脚本块名，chk_nginx, 定义脚本路径位置，
interval 2
weight 2
}
------------------------------------------------------------------------------------------
vrrp_instance VI_1 {
state BACKUP //定义主从状态
interface eth0 //定义网络接口
virtual_router_id 60 //定义该服务的ID号，主从应该不一样
priority 99 //定义优先级，0-255，数值越大，优先级越高，MASTER的优先级一定比BACKUP的优先级高。
advert_int 1 //通告
authentication { //认证块
auth_type PASS
auth_pass 1111
}
-----------------------------------------------------------------------------------------------------
track_script {
chk_nginx //引用定义的脚本块 chk_nginx
}
--------------------------------------------------------------------------------------------------------
virtual_ipaddress { //定义VIP，
192.168.0.30
}
}
Keepalived 状态监测脚本，目的：能够实现实时监控nginx服务，发现nginx服务down掉，尝试重启nginx，如果启动失败，则keepalived也停止服务。然后VIP会自动切换到BACKUP节点继续工作。
chk_nginx.sh
#！/bin/bash
#Author Sun Bin
#Date 2016.1.26
ng_status=$(ps -C nginx --no-heading|wc -l)
if [ ${ng_status} -eq 0 ]; then
/etc/init.d/nginx start
status2=$(ps -C nginx --no-heading}wc -l)
if [ ${status2} -eq 0 ]; then
/etc/init.d/keepalived stop
fi
else
status3=$(ps -C keepalived --no-heading|wc -l)
if [ ${status3} -eq 0 ]; then
/etc/init.d/keepalived start
fi
fi
注意：启动服务时，只需启动和关闭keepalived服务即可，因为nginx服务是有keepalived监控的。
