Kuberentes是一款开源容器编排产品,由Google开发并发布到社区,并在 2015 年将该项目捐献给了云原生基金会(Cloud Native Computing Foundation)。从2014年第一个版本发布以来,Kubernetes便迅速获得开源社区的追捧,包括RedHat、VMware在内的很多知名企业都加入到开发和推广的阵营。目前,Kubernets已经成为发展最快、市场占有率最高的容器编排产品。


Promehteus是一款近年来非常火热的容器监控系统,它使用go语言开发,设计思路来源于Google的Borgmom(一个监控容器平台的系统)。2016年,云原生基金会将其纳入麾下,成为该基金会继Kubernetes后,第二大开源项目。因此,Prometheus天然具有对容器的适配性,可非常方便的满足容器的监控需求,目前已成为监控Kubernetes的主要工具。


本文将介绍如何通过Prometheus监控Kubernetes集群状态的方案。(对于Kubernetes的技术细节本文不做讲解,不熟悉的朋友可先自行查看相关资料。)

Prometheus监控运维实战十五:监控Kubernetes_监控


一.安装Prometheus

Prometheus通过自动发现的方式获取Kubernetes集群的资源信息,因此,需要在监控集群上安装Prometheus来实现。本文通过YAML文件的方式部署Prometheus。

1. 创建命名空间

创建namespace.yml文件,内容如下 

apiVersion: v1
kind: Namespace
metadata:
name: monitoring


执行该yml文件

$ kubectl  apply -f namespace.yml 
namespace/monitoring created


查看命名空间,已成功创建。

$ kubectl  get ns monitoring
NAME STATUS AGE
monitoring Active 2m53s


2. 创建RBAC规则

RBAC为Kubernetes的授权认证方式,包括 ServiceAccount、ClusterRole、ClusterRoleBinding三类YAML文件。该规则用于授权Prometheus获取资源信息。


创建prometheus-rbac.yml文件,内容如下:

apiVersion: v1
kind: ServiceAccount
metadata:
name: prometheus
namespace: monitoring

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: prometheus
rules:
- apiGroups: [""]
resources: ["nodes", "nodes/proxy", "services", "endpoints", "pods"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["configmaps"]
verbs: ["get"]
- nonResourceURLs: ["/metrics"]
verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: prometheus
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: prometheus
subjects:
- kind: ServiceAccount
name: prometheus
namespace: monitoring


执行该yml文件

$ kubectl  apply -f prometheus-rbac.yml 
serviceaccount/prometheus created
clusterrole.rbac.authorization.k8s.io/prometheus created
clusterrolebinding.rbac.authorization.k8s.io/prometheus created


查看RBAC是否创建成功

$ kubectl  get sa prometheus -n monitoring
NAME SECRETS AGE
prometheus 1 77s

$ kubectl get ClusterRole prometheus
NAME CREATED AT
prometheus 2021-10-24T04:30:33Z

$ kubectl get ClusterRoleBinding prometheus -n monitoring
NAME ROLE AGE
prometheus ClusterRole/prometheus 2m20s



3. 创建Configmap

我们使用Configmap来管理Prometheus的配置文件,此处先使用默认的配置,用于启动Prometheus,后面再根据需要进行修改。


创建prometheus-config.yml文件,内容如下

apiVersion: v1
kind: ConfigMap
metadata:
name: prometheus-config
namespace: monitoring
data:
prometheus.yml: |
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']


执行该yml文件

$ kubectl  apply -f prometheus-config.yml 
configmap/prometheus-config created


查看configmap资源是否生成

$ kubectl get configmap prometheus-config -n monitoring    
NAME DATA AGE
prometheus-config 1 84s


4. 部署Deployment

在完成Configmap资源创建后,我们可以开始部署Prometheus的实例了。此处,我们使用Deployment来部署Prometheus,并通过Volume挂载的方式,将Prometheus的配置文件挂载到Pod中。另外,在正式环境中建议通过PVC的方法,将收集的监控数据挂载到外部存储,避免因Pod被删除而造成数据丢失。


创建prometheus-deployment.yml文件,内容如下

apiVersion: apps/v1
kind: Deployment
metadata:
name: prometheus
namespace: monitoring
labels:
app: prometheus
spec:
strategy:
type: Recreate
replicas: 1
selector:
matchLabels:
app: prometheus
template:
metadata:
labels:
app: prometheus
spec:
containers:
- image: prom/prometheus:v2.20.0
name: prometheus
command:
- "/bin/prometheus"
args:
- "--config.file=/etc/prometheus/config/prometheus.yml"
- "--storage.tsdb.path=/data"
- "--web.enable-lifecycle"
securityContext:
runAsUser: 0
ports:
- containerPort: 9090
protocol: TCP
volumeMounts:
- mountPath: "/etc/prometheus/config/"
name: config
- name: host-time
mountPath: /etc/localtime
serviceAccountName: prometheus
volumes:
- name: config
configMap:
name: prometheus-config
- name: host-time
hostPath:
path: /etc/localtime


执行该yml文件

$ kubectl  apply -f prometheus-deployment.yml 
deployment.apps/prometheus created


查看Prometheus实例状态

$ kubectl  get deploy -n monitoring
NAME READY UP-TO-DATE AVAILABLE AGE
prometheus 1/1 1 1 4m53s

$ kubectl get pod -n monitoring
NAME READY STATUS RESTARTS AGE
prometheus-fcfb4bbd7-4vgl9 1/1 Running 0 69s


5. 创建Service

创建Prometheus的Service,用于集群内外部访问。默认情况下,Service只能在集群内访问,如果希望开放给集群外部,可选方案有Ingress、NodePort、ExternalIPs、LoadBalancer等几种,此处使用LoadBalancer方式。

创建prometheus-service.yml,内容如下:

apiVersion: v1
kind: Service
metadata:
labels:
app: prometheus
name: prometheus
namespace: monitoring
spec:
ports:
- name: "web"
port: 9090
protocol: TCP
targetPort: 9090
selector:
app: prometheus
type: LoadBalancer


执行该yml文件

$ kubectl  apply -f prometheus-service.yml 
service/prometheus created


查看Service状态,Service已创建完成,其中Cluster-ip用于集群内部访问,External-ip则是给到集群外部访问。

$ kubectl  get service prometheus -n monitoring  
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
prometheus LoadBalancer 10.220.57.72 10.12.61.202 9090:31183/TCP 56s


6. 访问Prometheus界面


浏览器打开http://$ip:9090,可看到Prometheus已部署完成。

Prometheus监控运维实战十五:监控Kubernetes_prometehus_02


查看Targets目标,当前除了监控Prometheus自身实例,还未有其他Kubernetes资源。

Prometheus监控运维实战十五:监控Kubernetes_kubernetes_03

二. 基于Kubernetes的服务发现

在监控Kubernetes集群的过程中,我们需要使用到针对Kubernetes的服务发现功能,这个在Prometheus的原生功能中已经支持。kubernetes_sd_config配置允许从Kubernetes的 REST API 检索抓取目标,并始终与集群状态保持同步,这点非常有用。


以下几种类型的资源可被配置为服务发现的目标,对于集群的监控方案有不少,关键是看如何灵活应用这些角色发现的功能和标签。

node

该node 角色发现用于发现集群中的节点目标信息,其地址默认为节点kubelet的HTTP访问端口。目标地址默认类型顺序为NodeInternalIP,NodeExternalIP, NodeLegacyHostIP,和NodeHostName中的第一个现有地址。

可使用的元数据标签如下:

• __meta_kubernetes_node_name:节点对象的名称。

• __meta_kubernetes_node_label_<labelname>:节点对象所定义的各个label

• __meta_kubernetes_node_labelpresent_<labelname>:节点对象所定义的各个label,value固定为true。

• _meta_kubernetes_node_annotation_<annotationname>:来自节点对象的每个注释

• _meta_kubernetes_node_annotationpresent_<annotationname>:来自节点对象的每个注释,value固定为true。

• _meta_kubernetes_node_address_<address_type>:每个节点地址类型的第一个地址(如果存在)

此外,节点的实例标签将被设置为从API服务检索到的节点名称。

service

该Service角色发现用于发现集群中每个服务目标,并且将该服务开放的端口做为目标端口。该地址将设置为服务的Kubernetes DNS名称以及相应的服务端口。

可使用的元数据标签如下:

  • ​​__meta_kubernetes_namespace​​: 服务对象的名称空间。
  • ​​__meta_kubernetes_service_annotation_<annotationname>​​:服务对象的每个注释。
  • ​​__meta_kubernetes_service_annotationpresent_<annotationname>​​: 服务对象的每个注释,value固定为true。
  • ​​__meta_kubernetes_service_cluster_ip​​:  服务对象的集群IP。 (不适用于"外部名称"类型的服务)
  • ​​__meta_kubernetes_service_external_name​​: 服务的DNS名称。(适用于"外部名称"类型的服务)
  • ​​__meta_kubernetes_service_label_<labelname>​​: 服务对象中的每个label。
  • ​​__meta_kubernetes_service_labelpresent_<labelname>​​: 服务对象中的每个label,value固定为true。
  • ​​__meta_kubernetes_service_name​​: 服务对象的名称。
  • ​​__meta_kubernetes_service_port_name​​: 目标服务端口的名称。
  • ​​__meta_kubernetes_service_port_protocol​​: 目标服务端口的协议。
  • ​​__meta_kubernetes_service_type​​: 服务的类型。

Pod

该pod角色发现用于发现所有Pod并将其容器做为目标访问,对于容器的每个声明的端口,将生成一个目标。如果容器没有指定的端口,则会为每个容器创建无端口目标,以通过标签重写(relabeling)手动添加端口。

可使用的元数据标签如下:

  • ​​__meta_kubernetes_namespace​​: pod对象的名称空间。
  • ​​__meta_kubernetes_pod_name​​: pod对象的名称。
  • ​​__meta_kubernetes_pod_ip​​: pod对象的pod IP。
  • ​​__meta_kubernetes_pod_label_<labelname>​​: 来自pod对象的每个标签。
  • ​​__meta_kubernetes_pod_labelpresent_<labelname>​​: 来自pod对象的每个标签,value固定为true。
  • ​​__meta_kubernetes_pod_annotation_<annotationname>​​: 来自pod对象的每个注释。
  • ​​__meta_kubernetes_pod_annotationpresent_<annotationname>​​: 来自pod对象的每个注释,value固定为true。
  • ​​__meta_kubernetes_pod_container_init​​: 如果容器是初始化容器,则value为true。
  • ​​__meta_kubernetes_pod_container_name​​: 目标地址指向的容器的名称。
  • ​​__meta_kubernetes_pod_container_port_name​​: 容器端口的名称。
  • ​​__meta_kubernetes_pod_container_port_number​​: 容器端口号。
  • ​​__meta_kubernetes_pod_container_port_protocol​​: 容器端口的协议。
  • ​​__meta_kubernetes_pod_ready​​: 代表pod状态是否就绪,value为true或false。
  • ​​__meta_kubernetes_pod_phase​​: Pod的生命周期,Value值为Pending,Running,Succeeded,Failed或Unknown 。
  • ​​__meta_kubernetes_pod_node_name​​: 将Pod调度到的节点的名称。
  • ​​__meta_kubernetes_pod_host_ip​​: pod对象的当前主机IP。
  • ​​__meta_kubernetes_pod_uid​​: pod对象的UID。
  • ​​__meta_kubernetes_pod_controller_kind​​: pod控制器的对象种类。
  • ​​__meta_kubernetes_pod_controller_name​​: pod控制器的名称。​

endpoints

该endpoints角色发现用于发现服务的endpoints目标,且每个endpoints的port地址会生成一个目标。如果端点由Pod支持,则该Pod的所有其他容器端口(包括未绑定到endpoints的端口)也将作为目标。

可使用的元数据标签如下:

  • ​​__meta_kubernetes_namespace​​: endpoints对象的命名空间
  • ​​__meta_kubernetes_endpoints_name​​: endpoints对象的名称

对于直接从端点列表中发现的所有目标(不包括由底层pod推断出来的目标),将附加以下标签:

  • ​​__meta_kubernetes_endpoint_hostname​​: 端点的主机名
  • ​​__meta_kubernetes_endpoint_node_name​​: 托管endpoints的节点名称  
  • ​​__meta_kubernetes_endpoint_ready​​:  代表endpoint 状态是否就绪,value为true或false。
  • ​​__meta_kubernetes_endpoint_port_name​​: endpoint 端口的名称。
  • ​​__meta_kubernetes_endpoint_port_protocol​​: endpoint 端口的协议。
  • ​​__meta_kubernetes_endpoint_address_target_kind​​: endpo int地址目标的类型,如deployment、DaemonSet等。  
  • ​​__meta_kubernetes_endpoint_address_target_name​​:  endpoint地址目标的名称。

ingress​

该ingress角色发现用于发现ingress的每个地址目标。该地址将设置为ingress的spec配置中指定的host。

可使用的元数据标签如下:

  • ​​__meta_kubernetes_namespace​​: ingress 对外的命名空间。
  • ​​__meta_kubernetes_ingress_name​​: ingress 对象的名称。
  • ​​__meta_kubernetes_ingress_label_<labelname>​​: ingress 对象的各个标签。
  • ​​__meta_kubernetes_ingress_labelpresent_<labelname>​​: ingress 对象的各个标签,value为true或false。
  • ​​__meta_kubernetes_ingress_annotation_<annotationname>​​: ingress 对象的各个注释。
  • ​​__meta_kubernetes_ingress_annotationpresent_<annotationname>​​: ingress 对象的各个注释,value为true或false。
  • ​​__meta_kubernetes_ingress_class_name​​: ingress的spec配置中的Class名称,如果存在的话。
  • ​​__meta_kubernetes_ingress_scheme​​: ingress使用的协议 ,http或https。
  • ​​__meta_kubernetes_ingress_path​​:  ingress的spec配置中指定的路径,默认为 /

三.监控kubernetes节点 

1. Daemonset部署node-exporter

创建node_exporter-daemonset.yml文件,内容如下。在spec配置中添加了tolerations,用于污点容忍,保证master节点也会部署。

apiVersion: apps/v1
kind: DaemonSet
metadata:
name: node-exporter
namespace: monitoring
labels:
app: node-exporter
spec:
selector:
matchLabels:
app: node-exporter
template:
metadata:
labels:
app: node-exporter
spec:
tolerations:
- key: node-role.kubernetes.io/master
effect: NoSchedule
containers:
- image: prom/node-exporter
name: node-exporter
ports:
- name: scrape
containerPort: 9100
hostPort: 9100
hostNetwork: true
hostPID: true
securityContext:
runAsUser: 0


执行该yml文件

$ kubectl  apply -f node_exporter-daemonset.yml 
daemonset.apps/prometheus-node-exporter created


确认Daemonset及Pod状态正常

$ kubectl get daemonset -n monitoring 
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
node-exporter 3 3 3 3 3 <none> 13m

$ kubectl get pod -n monitoring |grep node-exporter
node-exporter-76qz8 1/1 Running 0 14m
node-exporter-8fqmm 1/1 Running 0 14m
node-exporter-w9jxd 1/1 Running 0 2m6s

2. Prometheus配置任务

prometheus-config.yml文件中添下如下任务,并执行生效。

- job_name: 'kubernetes-node'
kubernetes_sd_configs:
- role: node
relabel_configs:
- source_labels: [__address__]
regex: '(.*):10250'
replacement: '${1}:9100'
target_label: __address__
action: replace
- action: labelmap
regex: __meta_kubernetes_node_label_(.+)


注解:该任务通过node角色发现动态获取节点地址信息,并使用标签重写(Relabeling)功能重写targets目标端口为node-expoerter端口,从而实现自动监控集群节点功能。


任务生效后,可看到Prometheus已自动获取到节点信息并监控。

Prometheus监控运维实战十五:监控Kubernetes_kubernetes_04

四. 监控容器资源

Kubernetes各节点的kubelet除包含自身的监控指标信息以外,还内置了对CAdviosr的支持。在前面的容器监控篇章中,我们知道可以通过安装CAdviosr来监控节点上的容器状态。而在Kuberentes集群中,通过Kubelet可实现类似的效果,不需要再额外安装CAdviosr。

Prometheus配置任务

prometheus-config.yml文件中添下如下任务,并执行生效。

- job_name: 'kubernetes-cadvisor'
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
kubernetes_sd_configs:
- role: node
relabel_configs:
- target_label: __address__
replacement: kubernetes.default.svc:443
- source_labels: [__meta_kubernetes_node_name]
regex: (.+)
target_label: __metrics_path__
replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
- action: labelmap
regex: __meta_kubernetes_node_label_(.+)


注解:该任务通过node角色发现动态获取节点地址信息。由于直接访问kubelet地址会有证书验证问题,这里使用标签重写(Relabeling)功能重写targets目标地址和地址,通过API Server提供的代理地址访问kubelet的/metrics/cadvisor。


任务生效后,可看到Prometheus已自动生成相关目标信息。

Prometheus监控运维实战十五:监控Kubernetes_kubernetes_05

五. 监控Kube API Server

Kube API Server做为整个Kubernetes集群管理的入口服务,负责对外暴露Kuberentes API,服务的稳定与否影响着集群的可用性。通过对Kube API Server的监控,我们能够清楚API的请求处理延迟、错误和可用性等参数。


Kube API Server组件一般独立部署集群外部,运行在Master的主机上,为了能够让集群内部的应用能够与API进行交互,Kubernetes会在default的命名空间下创建一个kubernetes的Service,用于集群内部访问。

$ kubectl  get service  kubernetes  -o wide 
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
kubernetes ClusterIP 10.220.0.1 <none> 443/TCP 77d <none>


该kubernetes服务代理的后端实际地址通过endpoints进行维护,该endpoints代理地址指向了master节点的6443端口,也即是Master上运行的Kube API Server服务端口。

$ kubectl get endpoints kubernetes
NAME ENDPOINTS AGE
kubernetes 10.12.61.1:6443 77d

$ netstat -lnpt |grep 6443
tcp6 0 0 :::6443 :::* LISTEN 30458/kube-apiserve

​因此,我们可通过Prometheus的endpoints角色发现功能,来实现Kube API Server的目标发现并监控。

Prometheus配置任务

prometheus-config.yml文件中添下如下任务,并执行生效。

- job_name: 'kubernetes-apiservers'
kubernetes_sd_configs:
- role: endpoints
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
relabel_configs:
- source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name]
action: keep
regex: default;kubernetes;https
- target_label: __address__
replacement: kubernetes.default.svc:443


注解:该任务通过endpoints角色发现动态获取endpoints信息,并使用标签重写(Relabeling)功能只保留符合正则表达式匹配的endpoints目标。


任务生效后,查看Prometheus已自动生成相关目标信息。

Prometheus监控运维实战十五:监控Kubernetes_kubernetes_06

六. 监控Kubelet组件

Kubelet组件运行在集群中每个worker节点上,用于处理Master下发到本节点的任务,包括管理Pod和其中的容器。Kubelet会在Kube API Server上注册节点信息,并定期向集群汇报节点资源使用情况。Kubelet的运行状态关乎着该节点的是否可以正常工作,基于该组件的重要性,我们有必要对各个节点的kubelet进行监控。

Prometheus配置任务

prometheus-config.yml文件中添下如下任务,并执行生效。

- job_name: 'k8s-kubelet'
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
kubernetes_sd_configs:
- role: node
relabel_configs:
- action: labelmap
regex: __meta_kubernetes_node_label_(.+)
- target_label: __address__
replacement: kubernetes.default.svc:443
- source_labels: [__meta_kubernetes_node_name]
regex: (.+)
target_label: __metrics_path__
replacement: /api/v1/nodes/${1}/proxy/metrics

注解:该任务通过node角色发现动态获取节点地址信息。由于直接访问kubelet地址会有证书验证问题,这里使用标签重写(Relabeling)功能重写targets目标地址和地址,通过API Server提供的代理地址访问kubelet的/metrics路径。


任务生效后,查看Prometheus已自动生成相关目标信息。

Prometheus监控运维实战十五:监控Kubernetes_kubernetes_07

七. 监控Kubernetes资源

Kubernetes资源对象包括Pod、Deployment、StatefulSets等,我们需要知道相关资源的使用情况和状态,如Pod是否正常运行。由于并不是所有资源都支持Prometheus的监控, 因此,我们需要使用开源的kube-state-metrics方案来完成获取监控指标。 kube-state-metrics是Kubernetes组织下的一个项目,它通过监听Kube API收集相关资源和对象的最新信息,并提供接口地址给到Prometheus获取指标。

1. 部署kube-state-metrics

kube-state-metrics对Kubernetes有版本要求,如下图。我们环境的Kubernetes为1.18,所以需要下载V2.0.0及以上版本。

Prometheus监控运维实战十五:监控Kubernetes_云原生_08

下载项目仓库

$ git clone https://github.com/kubernetes/kube-state-metrics.git

​部署安装

$ cd kube-state-metrics/

$ kubectl apply -f examples/standard/
clusterrolebinding.rbac.authorization.k8s.io/kube-state-metrics created
clusterrole.rbac.authorization.k8s.io/kube-state-metrics created
deployment.apps/kube-state-metrics created
serviceaccount/kube-state-metrics created
service/kube-state-metrics created

​查看服务状态

$ kubectl  get deploy kube-state-metrics -n kube-system
NAME READY UP-TO-DATE AVAILABLE AGE
kube-state-metrics 1/1 1 1 6m20s

2. Prometheus配置任务

prometheus-config.yml文件中添下如下任务,并执行生效。

- job_name: kube-state-metrics
kubernetes_sd_configs:
- role: endpoints
relabel_configs:
- source_labels: [__meta_kubernetes_service_label_app_kubernetes_io_name]
regex: kube-state-metrics
replacement: $1
action: keep
- source_labels: [__address__]
regex: '(.*):8080'
action: keep

任务生效后,查看Prometheus已自动生成相关目标信息。

Prometheus监控运维实战十五:监控Kubernetes_kubernetes_09