0x00 简单的时间序列选择

返回度量指标 ​​http_requests_total​​ 的所有时间序列样本数据:

http_requests_total

返回度量指标名称为 ​​http_requests_total​​,标签分别是 ​​job="apiserver"​​, ​​handler="/api/comments"​​ 的所有时间序列样本数据:

http_requests_total{job="apiserver", handler="/api/comments"}

返回度量指标名称为 ​​http_requests_total​​,标签分别是 ​​job="apiserver"​​, ​​handler="/api/comments"​​,且是 5 分钟内的所有时间序列样本数据:

http_requests_total{job="apiserver", handler="/api/comments"}[5m]


[info] 注意

一个区间向量表达式不能直接展示在 ​​Graph​​ 图表中,但是可以展示在 ​​Console​​ 视图中。

使用正则表达式,你可以通过特定模式匹配标签为 ​​job​​ 的特定任务名,获取这些任务的时间序列。在下面这个例子中, 所有任务名称以 ​​server​​ 结尾。

http_requests_total{job=~".*server"}

Prometheus中的所有正则表达式都使用 ​​RE2 语法​

返回度量指标名称是 ​​http_requests_total​​, 且 http 返回码不以 ​​4​​ 开头的所有时间序列数据:

http_requests_total{status!~"4.."}


0x01 使用函数,操作符等

返回度量指标 ​​http_requests_total​​ 过去 5 分钟内的 http 请求数的平均增长速率:

rate(http_requests_total[5m])

返回度量指标 ​​http_requests_total​​ 过去 5 分钟内的 http 请求数的平均增长速率总和,维度是 ​​job​​:

sum(rate(http_requests_total[5m])) by (job)


结果:

{job="apiserver"} 0.16666666666666666
{job="kubelet"} 0.49999876544124355

如果两个指标具有相同维度的标签,我们可以使用二元操作符计算样本数据,返回值:key: value=标签列表:计算样本值。例如,以下表达式返回每一个实例的空闲内存,单位是 MiB。

(instance_memory_limit_bytes - instance_memory_usage_bytes) / 1024 / 1024

如果想知道每个应用的剩余内存,可以使用如下表达式:

sum(
instance_memory_limit_bytes - instance_memory_usage_bytes
) by (app, proc) / 1024 / 1024

如果相同的集群调度群显示如下的每个实例的 CPU 使用率:

instance_cpu_time_ns{app="lion", proc="web", rev="34d0f99", env="prod", job="cluster-manager"}
instance_cpu_time_ns{app="elephant", proc="worker", rev="34d0f99", env="prod", job="cluster-manager"}
instance_cpu_time_ns{app="turtle", proc="api", rev="4d3a513", env="prod", job="cluster-manager"}
instance_cpu_time_ns{app="fox", proc="widget", rev="4d3a513", env="prod", job="cluster-manager"}
...

我们可以按照应用和进程类型来获取 CPU 利用率最高的 3 个样本数据:

topk(3, sum(rate(instance_cpu_time_ns[5m])) by (app, proc))

假设一个服务实例只有一个时间序列数据,那么我们可以通过下面表达式统计出每个应用的实例数量:

count(instance_cpu_time_ns) by (app)