一、关于负载均衡

当一台服务器的单位时间内的访问量越大时，服务器压力就越大，大到超过自身承受能力时，服务器就会崩溃。为了避免服务器崩溃，让用户有更好的体验，我们通过负载均衡的方式来分担服务器压力。

我们可以建立很多很多服务器，组成一个服务器集群，当用户访问网站时，先访问一个中间服务器，在让这个中间服务器在服务器集群中选择一个压力较小的服务器，然后将该访问请求引入该服务器。如此以来，用户的每次访问，都会保证服务器集群中的每个服务器压力趋于平衡，分担了服务器压力，避免了服务器崩溃的情况。

负载均衡是用反向代理的原理实现的。

 

二、Nginx和Tomcat对请求负载均衡的方案

整体思想方向：

前端部署nginx服务器，后端部署tomcat应用。用户访问nginx服务器，对于静态资源nginx服务器直接返回到浏览器展示给用户，对动态资源的请求被nginx服务器转发（分配）到tomcat应用服务器，tomcat应用服务器将处理后得到的数据结构返回给nginx服务器，然后返回到浏览器展示给用户。

注意：

在这里Tomcat应用服务器就是Java应用，可以理解为后台。

nginx负载均衡接口 nginx 负载均衡方式_nginx

 

Nginx作为反向代理服务器，可以对后台的多台Tomcat服务器负载均衡，也可以让Nginx处理静态页面的请求、Tomcat处理JSP页面请求，以此达到动静分离的目的。

 

三、负载均衡方式

1、轮询（默认） 

每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

适合服务器配置相当，无状态且短平快的服务使用。也适用于图片服务器集群和纯静态页面服务器集群。

优点：方式简便、成本低廉。

缺点：可靠性低和负载分配不均衡。

upstream dynamic_tsingxin {
    server ip地址1;
    server ip地址2;
}

2、weight 

指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。

upstream dynamic_tsingxin {
    server ip地址1 weight=3;
    server ip地址2 weight=7;
}

权重越高，在被访问的概率越大，如上例，分别是30%，70%。

3、ip_hash

上述方式存在一个问题，在负载均衡系统中，假如用户在某台服务器上登录了，那么该用户第二次请求的时候，因为我们是负载均衡系统，每次请求都会重新定位到服务器集群中的某一个，那么已经登录某一个服务器的用户再重新定位到另一个服务器，其登录信息将会丢失，这样显然是不妥的。

可以采用ip_hash指令解决这个问题，如果客户已经访问了某个服务器，当用户再次访问时，会将该请求通过哈希算法，自动定位到该服务器。

每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session不能跨服务器的问题。

upstream dynamic_tsingxin {
    ip_hash;    #保证每个访客固定访问一个后端服务器
    server ip地址1;
    server ip地址2;
}

注意：

  • 在nginx版本1.3.1之前，不能在ip_hash中使用权重（weight）
  • ip_hash不能与backup同时使用
  • 此策略适合有状态服务，比如session
  • 当有服务器需要剔除，必须手动down掉

4、least_conn

　　把请求转发给连接数较少的后端服务器。轮询算法是把请求平均的转发给各个后端，使它们的负载大致相同；但是，有些请求占用的时间很长，会导致其所在的后端负载较高。这种情况下，least_conn这种方式就可以达到更好的负载均衡效果。

upstream dynamic_tsingxin {
    least_conn;    #把请求转发给连接数较少的后端服务器
    server ip地址1;  
    server ip地址2;  
}

注意：

此负载均衡策略适合请求处理时间长短不一造成服务器过载的情况。

5、fair（第三方）

第三方的负载均衡策略的实现需要安装第三方插件。

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

upstream dynamic_tsingxin {
    server ip地址1;
    server ip地址2;
    fair;    #实现响应时间短的优先分配
}

6、url_hash（第三方） 

按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，要配合缓存命中来使用。同一个资源多次请求，可能会到达不同的服务器上，导致不必要的多次下载，缓存命中率不高，以及一些资源时间的浪费。而使用url_hash，可以使得同一个url（也就是同一个资源请求）会到达同一台服务器，一旦缓存住了资源，再此收到请求，就可以从缓存中读取。

upstream dynamic_tsingxin {
    server ip地址1;
    server ip地址2;
    hash $request_uri;    #实现每个url定向到同一个后端服务器
    hash_method crc32;
}

注意：

在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法。

 

状态设置:

1.down：表示单前的server暂时不参与负载

2.weight：默认为1。weight越大，负载的权重就越大 

3.max_fails：允许请求失败的次数，默认为1。当超过最大次数时，返回proxy_next_upstream模块定义的错误 

4.fail_timeout：max_fails次失败后，暂停的时间

5.backup：预留的备份服务器。 其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻

6.max_conns：限制最大的接收连接数

 

以上配置都是写在服务的后面：

upstream dynamic_tsingxin { #定义负载均衡设备的Ip及设备状态
      ip_hash;
      server 10.0.0.11:9090 down;
      server 10.0.0.11:8080 weight=2;
      server 10.0.0.11:6060;
      server 10.0.0.11:7070 fail_timeout=60s;
}

配置实例：

#user  nobody;
worker_processes  4;
events {
    # 最大并发数
    worker_connections  1024;
}
http{
    # 待选服务器列表
    upstream dynamic_tsingxin{
        # ip_hash指令，将同一用户引入同一服务器。
        ip_hash;
        server 172.17.65.138 fail_timeout=60s;
        server 172.17.65.137;
        keepalive 30;    #建立nginx服务器与后端应用服务器的长连接
    }

    server{
        # 监听端口
        listen 80;
        # 根目录下
        location / {
            # 选择哪个服务器列表
            proxy_pass http://dynamic_tsingxin;
            
            proxy_set_header Host $http_host:$proxy_port;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    
            proxy_http_version 1.1;
            proxy_set_header Connection "";
        }

    }
}

注意：

建立nginx服务器与后端应用服务器的长连接时，将默认的proxy_http_version 1.0 + Connection 为close 改掉。