大家都知道，前端nginx做反向代理，如果后端服务器宕掉的话，nginx是不能把这台real server踢出upstream的，所以还会有请求转发到后端的这台real server上面去，虽然nginx可以在localtion中启用proxy_next_upstream来解决返回给用户的错误页面，但这个还是会把请求转发给这台服务器的，然后再转发给别的服务器，这样就浪费了一次转发，这次借助与淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的健康状态，如果后端服务器不可用，则所以的请求不转发到这台服务器。
nginx_upstream_check_module模块
nginx_upstream_check_module 是专门提供负载均衡器内节点的健康检查的外部模块，由淘宝的姚伟斌大神开发，通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用，则后面的请求就不会转发到该节点上，并持续检查几点的状态。在淘宝自己的 tengine 上是自带了该模块。项目地址：https://github.com/yaoweibin/nginx_upstream_check_module 。
在淘宝自己的 tengine 上是自带了该模块的，大家可以访问淘宝tengine的官网来获取该版本的nginx，官方地址：http://tengine.taobao.org/。
nginx后端健康检查
nginx自带健康检查的缺陷：
- Nginx只有当有访问时后，才发起对后端节点探测。
- 如果本次请求中，节点正好出现故障，Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发
- 自带模块无法做到预警
- 被动健康检查
使用第三访模块nginx_upstream_check_module：
- 区别于nginx自带的非主动式的心跳检测，淘宝开发的tengine自带了一个提供主动式后端服务器心跳检测模块
- 若健康检查包类型为http，在开启健康检查功能后，nginx会根据设置的间隔向指定的后端服务器端口发送健康检查包，并根据期望的HTTP回复状态码来判断服务是否健康。
- 后端真实节点不可用，则请求不会转发到故障节点
- 故障节点恢复后，请求正常转发
nginx被动检查
Nginx自带有健康检查模块：ngx_http_upstream_module，可以做到基本的健康检查，配置如下：
-
upstream cluster{ -
server 172.16.0.23:80 max_fails=1 fail_timeout=10s; -
server 172.16.0.24:80 max_fails=1 fail_timeout=10s; -
# max_fails=1和fail_timeout=10s 表示在单位周期为10s钟内，中达到1次连接失败，那么接将把节点标记为不可用，并等待下一个周期（同样时常为fail_timeout）再一次去请求，判断是否连接是否成功。 -
# fail_timeout为10s,max_fails为1次。 -
} -
server { -
listen 80; -
server_name xxxxxxx.com; -
location / { -
proxy_pass http://cluster; -
} -
}
缺点：
Nginx只有当有访问时后，才发起对后端节点探测。如果本次请求中，节点正好出现故障，Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发,而且自带模块无法做到预警。
nginx主动检查
主动地健康检查，nignx定时主动地去ping后端的服务列表，当发现某服务出现异常时，把该服务从健康列表中移除，当发现某服务恢复时，又能够将该服务加回健康列表中。淘宝有一个开源的实现nginx_upstream_check_module模块
-
github地址：https://github.com/yaoweibin/nginx_upstream_check_module -
taobao官网：http://tengine.taobao.org/document_cn/http_upstream_check_cn.html
安装nginx_upstream_check_module
安装扩展模块，需要编译安装的nginx，版本自己选择（我的是nginx version: nginx/1.16.1）
(1)获取安装包
-
[root@www src]# wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master -
Saving to: ?.aster? -
-
[ <=> ] 175,413 277KB/s in 0.6s -
-
2020-09-28 10:36:44 (277 KB/s) - ?.aster?.saved [175413]
(2)给nginx打个补丁
（master解压后的文件为nginx_upstream_check_module-master 里面包含了多个补丁版本，根据自己的nginx版本选择)
-
[root@www src]# unzip master -
[root@www src]# ls -
debug kernels nginx-1.16.1 nginx_upstream_check_module-master -
master nginx-1.16.1.tar.gz -
-
#进入nginx-1.16.1源码目录，进行打该模块的补丁（这一步千万不能遗漏） -
[root@www nginx-1.16.1]# yum install patch-2.7.1-12.el7_7.x86_64 -y -
[root@www nginx-1.16.1]# patch -p1 < /usr/src/nginx_upstream_check_module-master/check_1.16.1+.patch -
patching file src/http/modules/ngx_http_upstream_hash_module.c -
patching file src/http/modules/ngx_http_upstream_ip_hash_module.c -
patching file src/http/modules/ngx_http_upstream_least_conn_module.c -
patching file src/http/ngx_http_upstream_round_robin.c -
patching file src/http/ngx_http_upstream_round_robin.h
（3）编译安装
-
[root@www nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V -
nginx version: nginx/1.16.1 -
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) -
configure arguments: --prefix=/usr/local/nginx -
[root@www nginx-1.16.1]# ./configure --prefix=/usr/local/nginx --add-module=/usr/src/nginx_upstream_check_module-master/ -
checking for OS -
+ Linux 3.10.0-693.el7.x86_64 x86_64 -
checking for C compiler ... found -
+ using GNU C compiler -
+ gcc version: 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) -
-
[root@www nginx-1.16.1]# make && make install -
-
[root@www nginx-1.16.1]# make upgrade -
/usr/local/nginx/sbin/nginx -t -
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok -
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful -
kill -USR2 `cat /usr/local/nginx/logs/nginx.pid` -
sleep 1 -
test -f /usr/local/nginx/logs/nginx.pid.oldbin -
kill -QUIT `cat /usr/local/nginx/logs/nginx.pid.oldbin` -
-
[root@www nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V -
nginx version: nginx/1.16.1 -
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) -
configure arguments: --prefix=/usr/local/nginx --add-module=/usr/src/nginx_upstream_check_module-master/
nginx_upstream_check_module模块使用
服务治理的一个重要任务是感知服务节点变更，完成服务自动注册及异常节点的自动摘除。这就需要服务治理平台能够：及时、准确的感知service节点的健康状况。
方案概述
Nginx 提供了三种HTTP服务健康检查方案供用户选择：
- TCP层默认检查方案：
定时与后端服务建立一条tcp连接，链接建立成功则认为服务节点是健康的。 - HTTP层默认检查方案：TCP层检查有一定的局限性：
- 很多HTTP服务是带状态的，端口处于listen状态并不能代表服务已经完成预热；
- 不能真实反映服务内部处理逻辑是否产生拥堵。
- 这时可以选择
http层健康检查，会向服务发送一个http请求GET / HTTP/1.0\r\n\r\n，返回状态是2xx或3xx时认为后端服务正常。
- 自定义方案：（nginx_upstream_check_module模块）
可根据下文描述自定义检查方案。
配置参数详解
一个常用的健康检查配置如下：
-
check fall=3 interval=3000 rise=2 timeout=2000 type=http; -
check_http_expect_alive http_2xx http_3xx ; -
check_http_send "GET /checkAlive HTTP/1.0\r\n\r\n" ;
下面针对每个配置参数，进行详细介绍。
check：
check 字段参数如下：
Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]Default: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
check 字段各个参数含义如下：
interval：向后端发送的健康检查包的间隔，单位为毫秒。fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。timeout: 后端健康请求的超时时间。default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。
默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。type：健康检查包的类型，现在支持以下多种类型
tcp：
简单的tcp连接，如果连接成功，就说明后端正常。ssl_hello：
发送一个初始的SSL hello包并接受服务器的SSL hello包。http：
发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。ajp：
向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。port: 指定后端服务器的检查端口。
可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。
默认是0，表示跟后端server提供真实服务的端口一样。
check_http_expect_alive：
check_http_expect_alive 指定主动健康检查时HTTP回复的成功状态：
-
Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ] -
Default: http_2xx | http_3xx
check_http_send：
check_http_send 配置http健康检查包发送的请求内容
为了减少传输数据量，推荐采用”HEAD”方法。当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：”HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。同时，在采用”GET”方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。
-
Syntax: check_http_send http_packet -
Default: "GET / HTTP/1.0\r\n\r\n"
完整示例
完整示例，如下：
http {-
upstream cluster1 { -
# simple round-robin -
server 192.168.0.1:80; -
server 192.168.0.2:80; -
check interval=3000 rise=2 fall=5 timeout=1000 type=http; -
check_http_send "HEAD / HTTP/1.0\r\n\r\n"; -
check_http_expect_alive http_2xx http_3xx; -
} -
upstream cluster2 { -
# simple round-robin -
server 192.168.0.3:80; -
server 192.168.0.4:80; -
check interval=3000 rise=2 fall=5 timeout=1000 type=http; -
check_keepalive_requests 100; -
check_http_send "HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"; -
check_http_expect_alive http_2xx http_3xx; -
} -
server { -
listen 80; -
location /1 { -
proxy_pass http://cluster1; -
} -
location /2 { -
proxy_pass http://cluster2; -
} -
location /status { -
check_status; -
access_log off; -
allow SOME.IP.ADD.RESS; -
deny all; -
} -
} -
}
状态测试
-
[root@www ~]# /usr/local/tomcat/bin/shutdown.sh -
Using CATALINA_BASE: /usr/local/tomcat -
Using CATALINA_HOME: /usr/local/tomcat -
Using CATALINA_TMPDIR: /usr/local/tomcat/temp -
Using JRE_HOME: /usr/java/jdk1.8.0_131 -
Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar -
-
-
[root@www ~]# tail -f /usr/local/nginx/logs/error.log -
2020/09/28 11:18:38 [notice] 8400#0: using inherited sockets from "6;" -
2020/09/28 11:21:05 [notice] 8409#0: signal process started -
2020/09/28 11:33:37 [notice] 8419#0: signal process started -
2020/09/28 11:33:42 [error] 8420#0: enable check peer: 192.168.179.100:8080 -
2020/09/28 11:51:23 [error] 8420#0: send() failed (111: Connection refused) -
2020/09/28 11:51:26 [error] 8420#0: send() failed (111: Connection refused) -
2020/09/28 11:51:29 [error] 8420#0: send() failed (111: Connection refused) -
2020/09/28 11:51:32 [error] 8420#0: send() failed (111: Connection refused) -
2020/09/28 11:51:35 [error] 8420#0: send() failed (111: Connection refused) -
2020/09/28 11:51:35 [error] 8420#0: disable check peer: 192.168.179.100:8080
-
[root@www ~]# /usr/local/tomcat/bin/startup.sh -
Using CATALINA_BASE: /usr/local/tomcat -
Using CATALINA_HOME: /usr/local/tomcat -
Using CATALINA_TMPDIR: /usr/local/tomcat/temp -
Using JRE_HOME: /usr/java/jdk1.8.0_131 -
Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar -
Tomcat started. -
-
-
2020/09/28 11:52:13 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:17 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:22 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:26 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:31 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:35 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:40 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:44 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:49 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:52:53 [error] 8420#0: check time out with peer: 192.168.179.100:8080 -
2020/09/28 11:53:01 [error] 8420#0: enable check peer: 192.168.179.100:8080
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
