参考文章：Prometheus

  • prometheus中文文档
  • Prometheus官方网站
  • Prometheus GitHub

一. Prometheus 

1.1 什么是Prometheus?

Prometheus 是一个开源的服务监控系统和时间序列数据库。 Prometheus是一款开源的监控 + 时序数据库 + 报警软件，由SoundCloud公司开发的。目前在CNCF基金会托管，并已成功孵化。 Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。 2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。 Prometheus目前在开源社区相当活跃。 Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。

1.2 Prometheus的特点

  • 多维度数据模型。
  • 灵活的查询语言。
  • 不依赖分布式存储，单个服务器节点是自主的。
  • 通过基于HTTP的pull方式采集时序数据。
  • 可以通过中间网关进行时序列数据推送。
  • 通过服务发现或者静态配置来发现目标服务对象。
  • 支持多种多样的图表和界面展示，比如Grafana等。
  • --------
  • 高维度数据模型
  • 自定义查询语言
  • 可视化数据展示
  • 高效的存储策略
  • 易于运维
  • 提供各种客户端开发库
  • 警告和报警
  • 数据导出

1.3 基本原理

Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存、CPU、网络等等)。

1.4 服务过程

  • Prometheus Daemon负责定时去目标上抓取metrics(指标)数据，每个抓取目标需要暴露一个http服务的接口给它定时抓取。Prometheus支持通过配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目标。Prometheus采用PULL的方式进行监控，即服务器可以直接通过目标PULL数据或者间接地通过中间网关来Push数据。
  • Prometheus在本地存储抓取的所有数据，并通过一定规则进行清理和整理数据，并把得到的结果存储到新的时间序列中。
  • Prometheus通过PromQL和其他API可视化地展示收集的数据。Prometheus支持很多方式的图表可视化，例如Grafana、自带的Promdash以及自身提供的模版引擎等等。Prometheus还提供HTTP API的查询方式，自定义所需要的输出。
  • PushGateway支持Client主动推送metrics到PushGateway，而Prometheus只是定时去Gateway上抓取数据。
  • Alertmanager是独立于Prometheus的一个组件，可以支持Prometheus的查询语句，提供十分灵活的报警方式。

1.5 三大套件

  • Server 主要负责数据采集和存储，提供PromQL查询语言的支持。
  • Alertmanager 警告管理器，用来进行报警。
  • Push Gateway 支持临时性Job主动推送指标的中间网关。

1.6 架构图

有哪些公司在使用Prometheus prometheus品牌_时间序列

有哪些公司在使用Prometheus prometheus品牌_HTTP_02

有哪些公司在使用Prometheus prometheus品牌_时间序列_03

 

Prometheus 是由 SoundCloud 开源监控告警解决方案。

prometheus

prometheus存储的是时序数据，即按相同时序(相同名称和标签)，以时间维度存储连续的数据的集合。

时序(time series)是由名字(Metric)以及一组key/value标签定义的，具有相同的名字以及标签属于相同时序。

  • metric名字：表示metric的功能，如http_request_total。时序的名字由 ASCII 字符，数字，下划线，以及冒号组成，它必须满足正则表达式 [a-zA-Z_:][a-zA-Z0-9_:]*, 其名字应该具有语义化，一般表示一个可以度量的指标，例如 http_requests_total, 可以表示 http 请求的总数。
  • 标签：
  • 样本：按照某个时序以时间维度采集的数据，称之为样本。实际的时间序列，每个序列包括一个float64的值和一个毫秒级的时间戳
  • 一个 float64 值
  • 一个毫秒级的 unix 时间戳
  • 格式：Prometheus时序格式与OpenTSDB相似：
<metric name>{<label name>=<label value>, ...}

Metric类型：

  • Counter: 一种累加的metric，如请求的个数，结束的任务数，出现的错误数等
  • Gauge: 常规的metric,如温度，可任意加减。其为瞬时的，与时间没有关系的，可以任意变化的数据。
  • Histogram: 柱状图，用于观察结果采样，分组及统计，如：请求持续时间，响应大小。其主要用于表示一段时间内对数据的采样，并能够对其指定区间及总数进行统计。根据统计区间计算
  • Summary: 类似Histogram，用于表示一段时间内数据采样结果，其直接存储quantile数据，而不是根据统计区间计算出来的。不需要计算，直接存储结果

PromQL

PromQL (Prometheus Query Language) 是 Prometheus 自己开发的数据查询 DSL 语言。

查询结果类型：

  • 瞬时数据 (Instant vector): 包含一组时序，每个时序只有一个点，例如：http_requests_total
  • 区间数据 (Range vector): 包含一组时序，每个时序有多个点，例如：http_requests_total[5m]
  • 纯量数据 (Scalar): 纯量只有一个数字，没有时序，例如：count(http_requests_total)

查询条件：通过名称及标签进行查询，如http_requests_total等价于{name="http_requests_total"}

查询level="info"的event: logback_events_total{level="info"}

查询条件支持正则匹配：

http_requests_total{code!="200"} // 表示查询 code 不为 "200" 的数据
http_requests_total{code=～"2.."} // 表示查询 code 为 "2xx" 的数据
http_requests_total{code!～"2.."} // 表示查询 code 不为 "2xx" 的数据

内置函数：

  • 如将浮点数转换为整数：
floor(avg(http_requests_total{code="200"}))
ceil(avg(http_requests_total{code="200"}))
  • 查看每秒数据 ：
rate(http_requests_total[5m])

基本查询：

1.查询当前所有数据

logback_events_total

2.模糊查询： level="inxx"

logback_events_total{level=~"in.."}
logback_events_total{level=~"in.*"}

3.比较查询： value>0

logback_events_total > 0

4.范围查询： 过去5分钟数据

logback_events_total[5m]

时间范围单位有以下：

  • s: 秒
  • m: 分钟
  • h: 小时
  • d: 天
  • w: 周
  • y: 年

在瞬时向量表达式或者区间向量表达式中，都是以当前时间为基准。

如果想查询5分钏前的瞬时样本数据，则需要使用位移操作，关键字：offset, 其要紧跟在选择器{}后面。如：

sum(http_requests_total{method="GET"} offset 5m)
rate(http_requests_total[5m] offset 1w)

聚合、统计高级查询：

1. count查询： count(logback_events_total)

2. sum查询： sum(logback_events_total)

3. svg查询：

4. topk: 如查询2的值：topk(2, logback_events_total)

5. irate: 如查询过去5分钟的平均值: irate( logback_events_total[5m])

配置

启动时，可以加载运行参数-config.file指定配置文件， 默认为prometheus.yml:

在该配置文件中可以指定各种属性，其结构体定义如下：

type Config struct {
    GlobalConfig GlobalConfig `yaml:"global"`
    AlertingConfig AlertingConfig `yaml:"alerting,omitempty"`
    RuleFiles []string `yaml:"rule_files,omitempty"`
    ScrapeConfigs []*ScrapeConfig `yaml:"scrape_configs,omitempty"`
    RemoteWriteConfigs []*RemoteWriteConfig `yaml:"remote_write,omitempty"`
    RemoteReadConfigs []*RemoteReadConfig `yaml:"remote_read,omitempty"`
    // Catches all undefined fields and must be empty after parsing.
    XXX map[string]interface{} `yaml:",inline"`
    // original is the input from which the config was parsed.
    original string
}

全局配置

global: 主要有四个属性

  • scrape_interval: 拉取 targets 的默认时间间隔。
  • scrape_timeout: 拉取一个 target 的超时时间。
  • evaluation_interval: 执行 rules 的时间间隔。
  • external_labels: 额外的属性，会添加到拉取的数据并存到数据库中。

Exporter

负责数据汇报的程序统一叫Exporter，不同的Exporter负责不同的业务。其统一命名格式：xx_exporter

已有exporter

clientlib

pull模式

prometheus.yml内容如下：

global:
  scrape_interval: 15s
  evaluation_interval: 15s
rule_files:
  # - "first.rules"
  # - "second.rules"
scrape_configs:
  - job_name: 'spring'
    metrics_path: '/actuator/prometheus'
    static_configs:
      - targets: ['自己本机ip:8080']

启动prometheus docker：

docker run --name prom --hostname prom -p 9090:9090 -v 
/Users/liukun/config/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus

启动以后，我们运行http://localhost:9090 可以访问Prometheus。

二. Grafana

2.1 Grafana简介

Prometheus实现了监控数据的可视化，然而使用体验并不好。下面来用Grafana实现更友好、更贴近生产的监控可视化。 Grafana是一个开源的跨平台度量分析和可视化 + 告警工具。

Grafana是用于可视化大型测量数据的开源程序，它提供了强大和优雅的方式去创建、共享、浏览数据。 Dashboard中显示了你不同metric数据源中的数据。 Grafana最常用于因特网基础设施和应用分析，但在其他领域也有用到，比如：工业传感器、家庭自动化、过程控制等等。 Grafana支持热插拔控制面板和可扩展的数据源，目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

参考文档

instance： 收集数据的目标端点，一般对应一个进程，即指定其来源，如某个机器

job: 实现同一功能或目标的一组instance。 如一组机器的集合。