Prometheus_Grafana

文章目录

1.Prometheus简介

Prometheus受启发于Google的Brogmon监控系统（相似的Kubernetes是从Google的Brog系统演变而来），从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发，并且于2015年早期对外发布早期版本。2016年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目，同年6月正式发布1.0版本。2017年底发布了基于全新存储层的2.0版本，能更好地与容器平台、云平台配合。

2.Prometheus优势

1.易于管理

Prometheus核心部分只有一个单独的二进制文件，不存在任何的第三方依赖(数据库，缓存等等)。唯一需要的就是本地磁盘，因此不会有潜在级联故障的风险。

Prometheus基于Pull模型的架构方式，可以在任何地方（本地电脑，开发环境，测试环境）搭建我们的监控系统。对于一些复杂的情况，还可以使用Prometheus服务发现(Service Discovery)的能力动态管理监控目标。

2.监控服务的内部运行状态

Pometheus鼓励用户监控服务的内部状态，基于Prometheus丰富的Client库，用户可以轻松的在应用程序中添加对Prometheus的支持，从而让用户可以获取服务和应用内部真正的运行状态。

3.强大的数据模型

所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中(TSDB)。所有的样本除了基本的指标名称以外，还包含一组用于描述该样本特征的标签。

每一条时间序列由指标名称(Metrics Name)以及一组标签(Labels)唯一标识。每条时间序列按照时间的先后顺序存储一系列的样本值。

表示维度的标签可能来源于你的监控对象的状态，比如code=404或者content_path=/api/path。也可能来源于的你的环境定义，比如environment=produment。基于这些Labels我们可以方便地对监控数据进行聚合，过滤，裁剪。

4.强大的查询语言PromQL

Prometheus内置了一个强大的数据查询语言PromQL。 通过PromQL可以实现对监控数据的查询、聚合。同时PromQL也被应用于数据可视化(如Grafana)以及告警当中。

通过PromQL可以轻松回答类似于以下问题：

• 在过去一段时间中95%应用延迟时间的分布范围？
• 预测在4小时后，磁盘空间占用大致会是什么情况？
• CPU占用率前5位的服务有哪些？(过滤)

5.高效

对于监控系统而言，大量的监控任务必然导致有大量的数据产生。而Prometheus可以高效地处理这些数据，对于单一Prometheus Server实例而言它可以处理：

• 数以百万的监控指标
• 每秒处理数十万的数据点。

6.可扩展

Prometheus是如此简单，因此你可以在每个数据中心、每个团队运行独立的Prometheus Sevrer。Prometheus对于联邦集群的支持，可以让多个Prometheus实例产生一个逻辑集群，当单实例Prometheus Server处理的任务量过大时，通过使用功能分区(sharding)+联邦集群(federation)可以对其进行扩展。

7.易于集成

使用Prometheus可以快速搭建监控服务，并且可以非常方便地在应用程序中进行集成。目前支持： Java， JMX， Python， Go，Ruby， .Net， Node.js等等语言的客户端SDK，基于这些SDK可以快速让应用程序纳入到Prometheus的监控当中，或者开发自己的监控数据收集程序。同时这些客户端收集的监控数据，不仅仅支持Prometheus，还能支持Graphite这些其他的监控工具。

同时Prometheus还支持与其他的监控系统进行集成：Graphite， Statsd， Collected， Scollector， muini， Nagios等。

Prometheus社区还提供了大量第三方实现的监控数据采集支持：JMX， CloudWatch， EC2， MySQL， PostgresSQL， Haskell， Bash， SNMP， Consul， Haproxy， Mesos， Bind， CouchDB， Django， Memcached， RabbitMQ， Redis， RethinkDB， Rsyslog等等。

8.可视化

Prometheus Server中自带了一个Prometheus UI，通过这个UI可以方便地直接对数据进行查询，并且支持直接以图形化的形式展示数据。同时Prometheus还提供了一个独立的基于Ruby On Rails的Dashboard解决方案Promdash。最新的Grafana可视化工具也已经提供了完整的Prometheus支持，基于Grafana可以创建更加精美的监控图标。基于Prometheus提供的API还可以实现自己的监控可视化UI。

9.开放性

通常来说当我们需要监控一个应用程序时，一般需要该应用程序提供对相应监控系统协议的支持。因此应用程序会与所选择的监控系统进行绑定。为了减少这种绑定所带来的限制。对于决策者而言要么你就直接在应用中集成该监控系统的支持，要么就在外部创建单独的服务来适配不同的监控系统。

而对于Prometheus来说，使用Prometheus的client library的输出格式不止支持Prometheus的格式化数据，也可以输出支持其它监控系统的格式化数据，比如Graphite。

因此你甚至可以在不使用Prometheus的情况下，采用Prometheus的client library来让你的应用程序支持监控数据采集。

Prometheus架构

采集数据 - 存储计算 - 应用层

可以理解为一个OLAP系统

存储计算层:

• Primetheus Server:里面包含了存储引擎和计算引擎
• Retrieval:取数组件,会自动从Pushgateway或者Exporter拉取指标数据
• Service Discovery:可以动态发现要监控的目标
• TSDB:数据核心存储和查询
• HTTP Server:对外提供HTTP服务

应用层:

• AlterManager:对接Pagerduty,是一套付费的报警系统,
• 数据可视化:Web,Grafana

采集层:

• exporters/job:长连接
• Pushgaeway:短连接

3.安装

安装Prometheus

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.

scrape_configs:
  # The job name is added as a label `job=` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["192.168.66.66:9090"]


  - job_name: "prometheus"
    static_configs:
      - targets: ["192.168.66.66:9090"]
        labels:
          instance: pushgateway

  - job_name: "node exporter"
    static_configs:
      - targets: ["192.168.66.66:9090"]

启动

./prometheus

安装Pushgateway

直接解压

安装node_exporter

直接解压

安装alertmanager

直接解压

4.启动

先启动node_exporter

[root@localhost mysoft]# ls
alertmanager-0.23.0  clickhouse  hadoop  jdk8  kafka  mycat  myhive  node_exporter-1.2.2  prometheus-2.29.1  pushgateway-1.4.1
[root@localhost mysoft]# cd node_exporter-1.2.2/
[root@localhost node_exporter-1.2.2]# ls
LICENSE  node_exporter  NOTICE
[root@localhost node_exporter-1.2.2]# ./node_exporter 

浏览器:

​​http://192.168.66.66:9100/metrics​​

再启动prometheus

[root@localhost node_exporter-1.2.2]# nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 &

浏览器URL:

​​http://192.168.66.66:9090​​

启动Pushgateway

[root@localhost node_exporter-1.2.2]# nohup ./pushgateway --web.listen.address :9091 > ./pushgateway.log 2>&1 &

本来上面的是down的后面启动后变为up

5.PromSQL

1.瞬时时间

2.时间范围

xxx {}[5s]代表查询后5s的状态

3.时间位移操作

4.聚合操作

5.标量与字符串

6.Prometheus和grafana

解压grafana

[root@localhost bin]# pwd
/opt/mysoft/grafana-8.1.2/bin
[root@localhost bin]# nohup ./grafana-server web > ../grafana.log 2>&1 &

浏览器
192.168.66.66:3000

创建仪表盘

就将Prometheus监控的状态同步到了Grafana

最后需要保存,右上角apply,然后save