nginx是我们常用反向代理软件,它的监控对于我们来说十分重要,今天介绍一些怎样利用nginx-vts模块和prometheus来实现对nginx的详细监控。

在使用vts之前,我们想要获取nginx 状态码统计,访问量,响应时间等都是通过es分析nginx访问日志得到的,受限于公司es集群的规模,我们没办法做时间跨度过大的统计。后来调研vts模块,发现我们这个模块可以完全满足我们的需求,并且查询速度非常快,查询半年数据也能很快展示出来(我们prometheus只保留半年数据)

安装

1、下载模块
https://github.com/vozlt/nginx-module-vts/releases
2、编译
编译参数添加--add-module=/path/to/nginx-module-vts
然后编译
3、替换现有bin文件
4、reload nginx
通过nginx -V来查看模块是否添加成功
###配置
1、配置状态访问接口
在default server里添加状态查看location,并做好相关访问限制

location /status{
        allow  127.0.0.1;
        deny all;
        vhost_traffic_status_display;
        vhost_traffic_status_display_format html;
}

2、开启vts统计
如果想统计所有的虚拟主机,就在http配置中添加配置,否则就只在想要监控的server中添加配置
配置说明:
vhost_traffic_status_zone; 开启基础监控

vhost_traffic_status_filter on;
vhost_traffic_status_filter_by_set_key $status $server_name;
#开启详细状态码统计
vhost_traffic_status_filter on;
vhost_traffic_status_filter_by_set_key $uri uris::$server_name;
#开启uri统计

此外还有基于地理信息的统计,根据访问量或访问流量对nginx
做访问限制,详细使用见文档:https://github.com/vozlt/nginx-module-vts#installation

监控

prometheus增加nginx-vts的target即可
http://127.0.0.1/status/format/prometheus
nginx-vts v0.1.17之前的版本没有支持promtheus格式的输出,如果是v0.1.17之前的版本,需要通过nginx-vts-exporter 将nginx-vts输出的信息转换为prometheus识别的格式。当然,建议最好还是使用最新的版本。

prometheus record rules:

groups:
- name: nginx
  rules:
  #虚拟主机rpm
  - expr: sum by (host) (rate(nginx_vts_server_requests_total{code="total",host!="localhost"}[40s])*60)
    record: 'nginx:total:rpm'
  #虚拟主机状态码1xx的rpm
  - expr: sum by (host) (rate(nginx_vts_server_requests_total{code="1xx",host!="localhost"}[40s])*60)
    record: 'nginx:1xx:rpm'
  #虚拟主机状态码2xx的rpm
  - expr: sum by (host) (rate(nginx_vts_server_requests_total{code="2xx",host!="localhost"}[40s])*60)
    record: 'nginx:2xx:rpm'
  #虚拟主机状态码1xx的rpm
  - expr: sum by (host) (rate(nginx_vts_server_requests_total{code="3xx",host!="localhost"}[40s])*60)
    record: 'nginx:3xx:rpm'
  #虚拟主机状态码5xx的rpm
  - expr: sum by (host) (rate(nginx_vts_server_requests_total{code="5xx",host!="localhost"}[40s])*60)
    record: 'nginx:5xx:rpm'
  #虚拟主机异常访问的rpm
  - expr: sum by (host) (rate(nginx_vts_server_requests_total{code=~"[4-5]xx",host!="localhost"}[40s])*60)
    record: 'nginx:error:rpm'
  #nginx实例的rpm
  - expr: sum by (hostname) (rate(nginx_vts_server_requests_total{code="total"}[40s])*60)
    record: 'nginxhost:total:rpm'
  #nginx实例状态码2xx的rpm
  - expr: sum by (hostname) (rate(nginx_vts_server_requests_total{code="2xx"}[40s])*60)
    record: 'nginxhost:2xx:rpm'
  #nginx实例异常访问的rpm
  - expr: sum by (hostname) (rate(nginx_vts_server_requests_total{code=~"[4-5]xx"}[40s])*60)
    record: 'nginxhost:error:rpm'
  #虚拟主机的访问异常率
  - expr: 'nginx:error:rpm/nginx:total:rpm' 
    record: 'http:error:rate'
  #nginx实例的的访问异常率
  - expr: 'nginxhost:error:rpm/nginxhost:total:rpm' 
    record: 'nginxhost:error:rate'

图表展示

nginx-vts + prometheus 监控nginx
nginx-vts + prometheus 监控nginx

因为vts-module 暴露出的metrics里,server和upstream并没有关联关系,所以为了能在grafana中通过选择项目名称来同时展示server信息和upstream信息,就需要在命名上做一些规范。

我们项目的命名方式: 机房名称.运行环境.项目属组.项目名称
例如:
azure.prod.ops.download
一个vhost的配置大概如下:

upstream azure.prod.ops.download {
        server 192.168.12.1 weight=2;
        server 192.168.12.2 weight=1;
}
server {
        listen 80;
        server_name
                azure.prod.ops.download
                download.domain1.com
                download.domain2.com
                ;
        access_log /usr/local/nginx/logs/azure.prod.ops.download_access.json json;
        error_log /usr/local/nginx/logs/azure.prod.ops.download_error.log; 
        client_max_body_size 200m;
        location / {
            proxy_pass http://azure.prod.ops.download;
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_next_upstream error timeout http_404;
        }
}

这样通过同一个lebal就能选择出server和upstream的信息。
如果一个server有多个upstream,就在后面添加子名称,然后通过正则匹配前缀来获取所有的upstream.

这样prometheus也可根据idc名称,运行环境,项目组来编写通用的alert rules。

补充:
1、参数vhost_traffic_status_filter_by_host
vts-module 默认是将一个vhost的metrics汇总到第一个server_name 上显示出来,如果想按域名分开统计,可以开启此参数。注意:如果一个vhost拥有多个域名,开启此配置,在监控和展示层面上会比较麻烦。
2、如果没有url统计需求,谨慎开启uri过滤。如果需要开启,要做好相关限制,比如限制采集数量上限vhost_traffic_status_filter_max_node。尽量才用精确配置,比如将url过滤参数写在需要监控的localtion中,而不是整个server配置段里。还有做好反扫描配置。
3、如果在http段配置默认采集所有vhosts 信息,可在server配置段内,通过vhost_traffic_status_bypass_stats on跳过采集
4、nginx-vts-modules 与模块nginx_upstream_check_module冲突