nginx开启autoindex on限制不了文件下载

常见的负载均衡设备，有F5，Haproxy，lvs，nginx等。

• F5是商用硬件负载均衡，性能很好，但是价格昂贵，除了负载均衡，还有应用交换、会话交换、状态监控等众多功能。F5一般做四层负载均衡，但也支持七层负载均衡；（200w - 1000w）
• Linux Virtual Server(以下简称lvs)是软件负载均衡，开源，二层或四层负载均衡，已集成到linux内核，自身有完备的热备方案（keepalived+lvs），稳定性极强；（10w - 50w）
• Haproxy(以下简称ha)是软件负载均衡，开源，一般做七层负载均衡，但也支持四层负载均衡；（1w - 10w）
• nginx也是软件负载均衡，开源，通过反向代理实现负载均衡，是七层负载均衡，性能不如上面的几个。（1w - 10w）

1、LVS介绍

        LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。

1.1、NAT模式：

• NAT是一种最简单的方式，所有的服务器只需要将自己的网关指向Director即可。
• 优势：服务器可以运行任何支持TCP/IP的操作系统，只需要一个IP地址配置在调度器上，服务器组可以用私有的IP地址。
• 缺点：伸缩能力有限，调度器本身可能称为系统的新瓶颈。

 

NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。VS/NAT工作模式拓扑结构如图2所示，LVS负载调度器可以使用两块网卡配置不同的IP地址，eth0设置为私钥IP与内部网络通过交换设备相互连接，eth1设备为外网IP与外部网络联通。

       第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IP Address），用户通过访问VIP，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器。

   第二步，用户将请求发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1~192.168.0.3），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。

    第三步，真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。

1.2、TUN模式：

• 调度器根据各个服务器的负载情况，动态地选择一台服务器，将请求报文封装在另一个IP报文中，再将封装后的IP报文转发给选出的服务器;服务器收到报文后，先将报文解封获得原来目标地址为 VIP 的报文，服务器发现VIP地址被配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由表将响应报文直接返回给客户。
• 优势：负载调度器枝江请求调度到不同的后端服务器，后端服务器将应答直接返回给用户，极大地增加负载调度器调度的服务器数量

在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。我们知道，数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。VS/TUN工作模式拓扑结构如图3所示。其中，IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为调度器的VIP地址的数据包封装，通过隧道转发给后端的真实服务器（Real Server），通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据。

1.3、DR模式：

• DR方式是通过改写请求报文中的MAC地址部分来实现的。调度器和服务器必需在物理上有一个网卡通过不间断的局域网相连。在VS/DR中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为选出服务器的MAC地址，再将修改后的数据帧在与服务器组的局域网上发送。调度器的VIP地址对外可见，而服务器的VIP对外是不可见的。
• 优势：同VS/TUN方法一样，提高了LVS集群系统的伸缩性。这种方法没有IP隧道的开销，效率最高。但是要求负载调度器与服务器都有一块网卡连在同一物理网段上，服务器网络设备不做ARP响应。

 在LVS（TUN）模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与LVS（TUN）类似，DR模式也叫直接路由模式，其体系结构如图4所示，该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端。与隧道模式不同的是，直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址，所以在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的，但真实服务器却可以接受目标地址VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的真实服务器的MAC地址，通过交换机将该数据帧发给真实服务器。整个过程中，真实服务器的VIP不需要对外界可见。

2、LVS + Keepalived 实现Nginx集群部署

名称	IP	VIP	部署应用
Centos7-001	192.168.145.128	192.168.145.110	LVS DR模式、Keepalived
Centos7-002	192.168.145.129		LVS DR模式、Keepalived
Centos7-003	192.168.145.130		Nginx
Centos7-004	192.168.145.131		Nginx

 2.1、部署Nginx（192.168.145.130、192.168.145.131）

2.1.1、下载Nginx：

Wget http://nginx.org/download/nginx-1.20.2.tar.gz

2.1.2、安装依赖

yum install -y gcc-c++
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel
yum install -y libnl libnl-devel
yum install -y libnfnetlink-devel
yum install -y gd gd-devel

有时用yum升级一些文件时，会出现以下情况：

Existing lock /var/run/yum.pid: another copy is running as pid 3046.
Another app is currently holding the yum lock; waiting for it to exit...
Another app is currently holding the yum lock; waiting for it to exit...

可以通过强制关掉yum进程：

rm -f /var/run/yum.pid service yum-updatesd restart

2.1.3、配置

./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--with-http_gzip_static_module \
--with-http_ssl_module \
--with-http_stub_status_module

2.1.4、编译安装

make && make install

2.1.5、启动

/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

关闭防火墙：
systemctl stop firewalld
永久关闭：
systemctl disable firewalld
关闭selinux
#Vi /etc/selinux/config
SELINUX=disabled

2.1.6、添加VIP

注意：数据包从LVS传给Real Server后，解析ip，如果发现自己的VIP和解析出的IP不一致，那么将无法正常响应。

ip addr add 192.168.145.110/24 dev ens33

2.1.7、自动加载

由于上述添加的VIP在主机重启后会丢失，目前采用的做法是通过重启后调用可执行文件在执行添加VIP命令

lvs_real_vip-bootstart.sh

#!/bin/bash
/sbin/ifconfig lo:0 192.168.145.110 broadcast 192.168.145.110 netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

nginx-bootstart.sh

#!/bin/bash
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

vi /etc/rc.local

#Nginx开机启动
sh /apps/lvs_real_vip.sh &

#LVS VIP开机设置
sh /apps/nginx.sh &

2.2、部署ipvsadm

2.2.1、部署ipvsadm（192.168.145.128、192.168.145.129）

由于Linux早已将LVS集成到内核中，因此此处要安装的是LVS的管理工具：ipvsadm，Ipvsadm是LVS在应用层的管理命令，是一个工具，同事也是一条命令，用于管理LVS的策略规则；

yum install -y ipvsadm

2.2.2、查看是否支持LVS

lsmod|grep ip_vs

如果没有任何结果，执行ipvsadm启动ipvs之后在查看

2.3、部署Keepalived（192.168.145.128、192.168.145.129）

2.3.1、下载

https://www.keepalived.org/software/keepalived-2.2.7.tar.gz

2.3.2、配置

./configure --prefix=/usr/local/keepalived --sysconf=/etc

2.3.3、编译部署

make && make install

2.3.4、配置

cp /apps/keepalived-2.2.7/keepalived/etc/keepalived/keepalived.conf.sample /etc/keepalived/keepalived.conf

global_defs {
   router_id LVS_128
}

vrrp_instance VI_1 {
    state BACKUP
    nopreempt #非抢占模式

    interface ens33 #设置对外服务的网络接口，ifconfig查询
    virtual_router_id 51 #设置虚拟路由标识，同一个vrrp使用同一标识
    priority 100  #定义优先级，数字越大优先级越高，同一个vrrp实例下，master必须大于backup
    advert_int 1  #设定master与backup负载均衡器之间同步检查的时间间隔，秒
    authentication { #设置验证类型和密码
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {  #设置虚拟IP，可以设置多个，每行一个
        192.168.145.110
    }
}
#设置虚拟服务器，指定虚拟服务器IP、端口
virtual_server 192.168.145.110 9999 {
    delay_loop 6  #健康检查时间间隔
    lb_algo rr  #负载均衡调度算法，rr轮询算法
    lb_kind DR  #转发请求方式，Direct Route模式
    persistence_timeout 50 #会话保持时间，时间段内，同一个IP发起的请求转发到同一个 real server
    protocol TCP #用TCP协议检查 Real server状态

    #第一台real server
    real_server 192.168.145.130 9999 {
        weight 1 #权重
        TCP_CHECK { #健康检查
           connect_port 9999 #检查端口 
           connect_timeout 10 #无响应超时时间，秒
           #retry 3  #重试次数（旧版本为nb_get_retry）
           #delay_before_retry 3        #重试间隔
        }
    }
    #第二台real server
    real_server 192.168.145.131 9999 {
        weight 1
        TCP_CHECK {
           connect_port 9999
           connect_timeout 10
           #retry 3
           #delay_before_retry 3
        }
    }
}

此处采用非抢占模式，主节点故障恢复后，避免自动切换：

在一个HA集群中，如果主节点死机了，备用节点会进行接管，主节点再次正常启动后一般会自动接管服务。对于实时性和稳定性要求不高的的业务系统来说，这种来回切换的操作是可以接受的。而对于稳定性和实时性要求很高的业务系统来说，不建议来回切换，毕竟服务的切换存在一定的风险和不稳定性。

2.3.5、注册成服务

#keepalived目录中有个文件夹keepalived，下面还有个etc,进入
cd /apps/keepalived-2.2.7/keepalived/etc
#然后执行，如果提示是否覆盖，输入y覆盖
sudo cp init.d/keepalived /etc/init.d/
sudo cp sysconfig/keepalived /etc/sysconfig/ 
#使配置生效
systemctl daemon-reload
#启动keepalived
systemctl start keepalived.service
#停止keepalived
systemctl stop keepalived.service
#重启keepalived
systemctl restart keepalived.service

在两台keepalived+LVS上开启路由转发功能：
#vi /etc/sysctl.conf
net.ipv4.ip_forward=1
#sysctl -p

2.4、ipvsadm查看路由配置

2.5、监控数据转发

 2.6、转发情况

Director与realserver位于同一个物理网络中，当director直接将请求转发给realserver时，如果realserver检测到该请求包目的IP是VIP而并非自己，便会丢弃，而不会响应。

为了解决这个问题，需在所有Realserver上都配上VIP，保证数据包不丢弃，同时由于后端realserver都配置VIP会导致IP冲突，所以需将VIP配置在lo网卡上，这样限制了VIP不会在物理交换机上产生MAC地址表，从而避免IP冲突。

 Ipvsadm启动失败

Service ipvsadm start

# systemctl status ipvsadm.service
● ipvsadm.service - Initialise the Linux Virtual Server
   Loaded: loaded (/usr/lib/systemd/system/ipvsadm.service; disabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since 三 2017-06-28 18:15:15 CST; 12s ago
  Process: 2505 ExecStart=/bin/bash -c exec /sbin/ipvsadm-restore < /etc/sysconfig/ipvsadm (code=exited, status=1/FAILURE)
 Main PID: 2505 (code=exited, status=1/FAILURE)

6月 28 18:15:15 localhost.localdomain systemd[1]: Starting Initialise the Linux Virtual Server...
6月 28 18:15:15 localhost.localdomain bash[2505]: /bin/bash: /etc/sysconfig/ipvsadm: 没有那个文件或目录
6月 28 18:15:15 localhost.localdomain systemd[1]: ipvsadm.service: main process exited, code=exited, status=1/FAILURE
6月 28 18:15:15 localhost.localdomain systemd[1]: Failed to start Initialise the Linux Virtual Server.
6月 28 18:15:15 localhost.localdomain systemd[1]: Unit ipvsadm.service entered failed state.
6月 28 18:15:15 localhost.localdomain systemd[1]: ipvsadm.service failed.

解决办法是先保存，再启动：ipvsadm --save > /etc/sysconfig/ipvsadm