为什么kubectl top命令查看节点内存使用超过100%？

问题现象

从界面上看节点内存使用率并不是很高，但使用kubelet top node查看节点内存使用率已超过100%。

NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% 192.168.0.243 79m 4% 2357Mi 109%

问题根因

出现该问题的原因是kubectl top node是调用kubelet的metrics API来获取数据的，因此看到的是节点上已使用的资源总和除以可分配的所有资源。

社区issue链接：kubectl shows node memory >100%? · Issue #86499 · kubernetes/kubernetes · GitHub。

场景示例

例如，某节点的参数可通过kubectl describe node命令查询，示例如下：

...
Capacity:
  cpu:                2
  ephemeral-storage:  51286496Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  localssd:           0
  localvolume:        0
  memory:             3494556Ki
  pods:               40
Allocatable:
  cpu:                1960m
  ephemeral-storage:  47265634636
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  localssd:           0
  localvolume:        0
  memory:             2213604Ki
  pods:               40
...

• 节点内存总量：即Capacity.memory字段，为4030180Ki。
• 节点可分配量：即Allocatable.memory字段，为2213604Ki。
• 节点已使用量：可通过以下命令获取，本示例中为2413824Ki。 kubectl get --raw /apis/metrics.k8s.io/v1beta1/nodes/回显如下：

{
	"kind": "NodeMetricsList",
	"apiVersion": "metrics.k8s.io/v1beta1",
	"metadata": {},
	"items": [
		{
			...
			"timestamp": "2023-08-15T14:09:38Z",
			"window": "1m0.177s",
			"usage": {
				"cpu": "78528126n",
				"memory": "2413824Ki"
			}
		}
	]
}

• 则使用kubelet top node查看节点内存使用率：

节点内存使用率 = 节点已使用量 / 节点可分配 = 2413824Ki / 2213604Ki = 109%

• 实际节点内存使用率：

实际节点内存利用率 = 节点已使用量 / 节点内存总量 = 2413824Ki / 4030180Ki = 59.9%