在现代云原生架构中，Kubernetes（简称K8s）已成为容器编排的事实标准。随着集群规模的扩大，有效的监控体系成为确保服务稳定性的关键。本文将深入探讨如何利用Prometheus和Grafana搭建Kubernetes集群的监控系统，通过实战代码演示如何从零开始构建一个可视化的监控平台，让集群的健康状况一目了然。
引言
Prometheus是一款开源的监控解决方案，特别适合于记录任意纯数字时间序列，具备强大的查询语言和图形展示功能。而Grafana则是一个开源的数据可视化平台，常用于展示时间序列数据，与Prometheus无缝集成，可提供丰富的图表和告警功能。本文将展示如何在Kubernetes集群中部署Prometheus和Grafana，以及如何配置监控项和仪表板。
环境准备
•已部署的Kubernetes集群
•Helm（用于简化部署Prometheus和Grafana）
•kubectl（Kubernetes命令行工具）
部署Prometheus与Grafana
安装Helm
Helm是Kubernetes的包管理器，可以简化应用的部署和管理。
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
添加Prometheus社区仓库
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
部署Prometheus
helm upgrade --install prometheus prometheus-community/prometheus \
--namespace monitoring \
--create-namespace \
--set server.persistentVolume.storageClass="standard" \
--set alertmanager.persistentVolume.storageClass="standard"
此命令在monitoring命名空间中部署Prometheus，并配置了持久化存储。
部署Grafana
helm upgrade --install grafana prometheus-community/grafana \
--namespace monitoring \
--set service.type=LoadBalancer,adminUser=admin,adminPassword=my_secure_password,persistence.enabled=true,persistence.size=10Gi
这里配置了Grafana为LoadBalancer类型服务，便于外部访问，并设置了管理员账户和密码，以及数据持久化。
配置监控目标与仪表板
集群监控
为了让Prometheus能监控Kubernetes集群，我们需要部署kube-state-metrics和node-exporter，这两个组件分别用于收集Kubernetes对象的状态信息和节点级别的指标。
helm upgrade --install kube-state-metrics prometheus-community/kube-state-metrics --namespace monitoring
kubectl apply -f https://raw.githubusercontent.com/prometheus/node_exporter/master/deployments/kubernetes/node_exporter.yaml
配置Grafana仪表板
登录Grafana Web界面（通过之前设置的LoadBalancer服务地址），创建数据源指向Prometheus服务器，然后导入现成的Kubernetes监控仪表板模板。Grafana官方网站和社区提供了大量现成的Dashboard模板，可以直接下载导入。
# 例如，导入一个示例Kubernetes Dashboard JSON文件
curl https://raw.githubusercontent.com/grafana/grafana-dashboards/master/dashboards/1165/kubernetes-cluster-monitoring/dashboard.json -o dashboard.json
# 登录Grafana界面，导入此JSON文件
实战代码：自定义监控告
警除了预设的监控项，我们还可以根据业务需求自定义告警规则。以下是一个简单的CPU使用率告警规则示例，当任何Pod的CPU使用率连续5分钟超过80%时触发告警。
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: pod-cpu-usage-alert
namespace: monitoring
spec:
groups:
- name: pod-cpu-usage.rules
rules:
- alert: PodCPUUsageHigh
expr: sum(rate(container_cpu_usage_seconds_total{namespace!="kube-system"}[5m])) by (pod) > 80
for: 5m
labels:
severity: warning
annotations:
summary: "Pod {{ $labels.pod }} CPU usage is high"
description: "Pod {{ $labels.pod }} CPU usage has been over 80% for more than 5 minutes."
将上述YAML文件应用到集群中：
kubectl apply -f pod-cpu-usage-alert.yaml
结论
通过上述步骤，我们成功构建了一套基于Prometheus和Grafana的Kubernetes集群监控系统，实现了资源使用情况的实时监控与告警。这套方案高度可定制，可根据具体需求扩展监控指标和告警规则，为运维团队提供了强大的支持，确保了集群的稳定运行。随着技术的不断进步，持续探索和优化监控体系，是每个运维人员的必修课。
