prometheus alertmanager模板 prometheus target

004 标签

1. 作用

Prometheus中存储的数据为时间序列，是由Metric的名字和一系列的标签(键值对)唯一标识的, 不同的标签代表不同的时间序列，即 通过指定标签查询指定数据 。

指标+标签实现了查询条件的作用，可以指定不同的标签过滤不同的数据

2. Meta标签

被监控端纳入Prometheus时定义了一些元数据标签

在Prometheus所有的Target实例中都包含一些Metadata标签信息，可以通过targets页面查看实例的metadata标签的内容，例如：

• address：当前Target实例的访问地址:
• scheme：采集目标服务访问地址的HTTP Scheme，HTTP或者HTTPS
• metrics_path：采集目标服务访问地址的访问路径
• **_param ：**采集任务目标服务的中包含的请求参数

除了这些默认的标签以外，还可以为Target添加自定义的标签。

元标签只是Prometheus使用，不会写入时序数据库中，在promql中无法查到

3. 自定义标签

自定义标签后，可以根据特定自定义标签实现多维度查询

- job_name: 'BJ Linux Server'
    basic_auth:
      username: prometheus
      password: 123456
    static_configs:
    - targets: ['192.168.179.99:9100']
      labels:
        idc: tongniu
        project: www
 
  - job_name: 'Shanghai Linux Server'
    basic_auth:
      username: prometheus
      password: 123456
    static_configs:
    - targets: ['192.168.179.99:9100']
      labels:
        idc: sss
        project: blog

![ ](

4. 重新标记标签

目的：为了更好的标识监控指标

重新标记的两个阶段:

• relabel_configs ： 在采集之前
• metric_relabel_configs：在存储之前准备抓取指标数据时，可以使用relabel_configs添加一些标签、也可以只采集特定目标或过滤目标。 已经抓取到指标数据时，可以使用metric_relabel_configs做最后的重新标记和过滤。
• 用途：

• 动态生成新标签 根据已有的标签生成新标签
• 过滤采集的Target
• 删除不需要或者敏感标签
• 添加新标签

• action：重新标记标签动作

• replace：默认，通过regex匹配source_label的值，使用replacement来引用表达式匹配的分组，分组使用$1,$2…引用（正则匹配，提取字段重新创建新标签，注意这里是创建新的标签）
• keep：删除regex与连接不匹配的目标 source_labels ， keep drop就是让Prometheus采集和不采集哪些目标
• drop：删除regex与连接匹配的目标 source_labels
• labeldrop：删除regex匹配的标签
• labelkeep：删除regex不匹配的标签
• labelmap：匹配regex所有标签名称，并将捕获的内容分组，用第一个分组内容作为新的标签名（使用正则提取出多个字段，使用匹配到的作为新标签名，但是标签的内容不会改变，相对于对原有标签换了个名字）

使用示例：

• 重命名标签

场景：动态生成添加标签（对已有的标签重新标记）

- job_name: 'Linux Server'
    basic_auth:
      username: prometheus
      password: 123456
    static_configs:
    - targets: ['192.168.179.99:9100']
    metric_relabel_configs:
    - action: replace
      source_labels: ["instance"]
      regex: (.*):([0-9]+)  # 正则匹配标签值，( )分组
      replacement: $1       # 引用分组匹配的内容
      target_label: "ip"

• 过滤Target

场景：选择采集的目标

- job_name: 'Linux Server'
    basic_auth:
      username: prometheus
      password: 123456
    static_configs:
    - targets: ['192.168.179.99:9100']
    relabel_configs:
    - action: drop
      regex: "192.168.179.99:9100"   # 正则匹配标签值
      source_labels: ["_address_"]

在target里面就没有192.168.179.99:9100这台机器

• 删除标签

删除使用 labeldrop：在入库之前删除regex匹配的标签

- job_name: 'Linux Server'
    basic_auth:
      username: prometheus
      password: 123456
    static_configs:
    - targets: ['192.168.179.99:9100']
    relabel_configs:
    - action: labeldrop
      regex: "job"   #正则匹配标签名称

• keep

Keep只有匹配的才会去采集数据，不匹配的就不采集。即pod的注解中声明了prometheus_io_scrape: true这个字段，那么就会把你纳入监控，如果没有声明就不会纳入监控。

• replace
  处理监控pod连接的ip地址，api接口，还有协议都需要重新标记默认的字段

# 重命名采集目标协议
      - action: replace
        regex: (https?)
        source_labels:
        - __meta_kubernetes_service_annotation_prometheus_io_scheme
        target_label: __scheme__
      # 重命名采集目标指标URL路径
      - action: replace
        regex: (.+)
        source_labels:
        - __meta_kubernetes_service_annotation_prometheus_io_path
        target_label: __metrics_path__
      # 重命名采集目标地址
      - action: replace
        regex: ([^:]+)(?::\d+)?;(\d+)
        replacement: $1:$2
        source_labels:
        - __address__
        - __meta_kubernetes_service_annotation_prometheus_io_port
        target_label: __address__

就可以使用新的标签kubernetes_namespace在promql里面基于命名空间这个标签去查询了，因为 __meta_kubernetes_namespace这个标签是不会被存储的

生成命名空间标签  
 - action: replace
    source_labels:
    - __meta_kubernetes_namespace
    target_label: kubernetes_namespace

实际访问指标接口 https://NodeIP:10250/metrics/cadvisor 这个接口只能APISERVER访问，故此重新标记标签使用APISERVER代理访问

这个就是直接指定标签的值，也就是将采集的地址换为我指定的地址

# 修改NodeIP:10250为APIServerIP:6443
    - action: replace
      regex: (.*)
      source_labels: ["__address__"]  源标签配匹为address
      target_label: __address__
      replacement: 192.168.31.61:6443

• labelmap

relabel_configs:
    # 将标签(.*)作为新标签名，原有值不变（新的标签名字会被入库查询）
    - action: labelmap
      regex: __meta_kubernetes_node_label_(.*)

(.) ，以其开头所有值匹配到，用这个匹配的值作为新的标签名字，新的标签名字就可以入库，就会被查询，因为元标签以下划线开头的是不会入库的，后面是用不了的/这样做的目的就是将后面(.)匹配的值作为一个新标签，并且将原有值赋予新标签，后面可以基于这个新标签查询数据了