Kubernetes API Server功能

Kubernete API Server的核心功能主要是为Kubernetes的各类资源对象(如 node,pod,service等)提供了增、删、改、查以及watch的HTTP Rest接口。
API server是集群中各个功能模块之间数据交互和通信的中心枢纽,除此之外它还有以下特性:

  • 集群管理的API入口
  • 资源配额控制的入口
  • 提供完备的集群安全机制

常规API接口

Kubernetes的 API server通过 kube-apiserver进程提供服务,一般会监听两个端口,http的8080(使用参数 --insecure-port)和 使用https的6443端口(--secure-port=6443),两者功能相同,只https安全性更高。

常用的kubectl命令,也是通过与API Server的 REST调用来实现交互。

通过使用curl命令能直接获取REST api的信息。
通过本地8080端口查看版本:

[root@node-1 ~]# curl  127.0.0.1:8080/api
{
  "kind": "APIVersions",
  "versions": [
    "v1"
  ],
  "serverAddressByClientCIDRs": [
    {
      "clientCIDR": "0.0.0.0/0",
      "serverAddress": "10.0.0.1:6443"
    }
  ]
}

查看支持的资源对象:

curl  127.0.0.1:8080/api/v1

查看资源对象信息:

 curl  127.0.0.1:8080/api/v1/nodes
 curl  127.0.0.1:8080/api/v1/pods
 curl  127.0.0.1:8080/api/v1/services
 curl  127.0.0.1:8080/api/v1/replicationcontrollers

可以具体到某一个具体的对象:

 curl 127.0.0.1:8080/api/v1/nodes/10.0.0.3

也可以指定不同namespace中的对象进行访问:

 curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/php-apache

也可以直接访问后端服务内容:

 curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/http:tomcat-service:/proxy/
 curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/http:php-apache:/proxy/

除此之外还有其他的API信息:

 curl 127.0.0.1:8080/apis/batch/v1

Kubernets Proxy API接口

Kubernetes Proxy主要用于代理REST请求。 可以通过这种代理方式将API Server收到的REST请求转发到某个Node上的kubelet上,由Kubelet负责响应。

创建一个Proxy 接口:

  kubectl proxy --port=8001 --accept-hosts='.*' --address='10.0.0.1' &

此处创建一个监听本地10.0.0.1上的8001端口。

如果需要对访问的资源和源地址进行限制,可以使用正则进行匹配,限制对services进行访问:

 kubectl  proxy --port=8001  --accept-hosts='.*'  --address=10.0.0.1  --reject-paths='^/api/v1/services'

通过此端口可以在外部直接访问此api代理,在新的版本中,访问方式和常规访问的URL一致:

 curl  http://10.0.0.1:8001/api/v1/pods
 curl  http://10.0.0.1:8001/api/v1/nodes
 curl  http://10.0.0.1:8001/api/v1/services
 curl  http://10.0.0.1:8001/api/v1/replicationcontrollers
 curl  http://10.0.0.1:8001/api/v1/namespaces/default/pods/tomcat-deployment-65799d5fc4-5dx4h
 curl  http://10.0.0.1:8001/api/v1/namespaces/default/services/http:php-apache:/proxy/
 curl  10.0.0.1:8001/apis/batch/v1

API server和集群模块的交互

API Server作为集群的核心,负责集群各个功能模块之间的通信,集群中的各个功能模块通过 API Server将信息存入etcd数据库中,获取这些数据就通过 API Server 提供的REST接口通过使用GET,LIST,或者Watch方法,从而实现对各个模块之间的交互。

查看ETCD数据

ETCD V3操作说明

参考链接

在使用ETCD V3的版本时,由于为了实现兼容性,etcd默认使用的是 v2的接口,Kubernetes中需要使用V3的接口来查看数据,所以查看前添加此参数:

export ETCDCTL_API=3    # 修改默认接口版本为V3
export ETCDCTL_API=2    # 修改默认接口版本为V2

在V3和V2中,两者支持的命令是不一样的,如在V2 版本有 etcdctl ls 命令,但是在V3版本中就没有,指定接口版本后,对应的help 信息也会改变。

在使用默认的V2接口时,使用ls命令只能看到一个目录:

# 如果没有TLS进行CA设置直接执行:
# etcdctl ls
/kubernetes

# 如果设置了CA认证,使用如下参数,指定证书和秘钥文件:
# etcdctl  --endpoints=https://10.0.0.1:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem ls
/kubernetes

这个key中只存储了少量的信息:

[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.2:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem ls -r
/kubernetes
/kubernetes/network
/kubernetes/network/config
/kubernetes/network/subnets
/kubernetes/network/subnets/10.2.70.0-24
/kubernetes/network/subnets/10.2.67.0-24
/kubernetes/network/subnets/10.2.49.0-24
[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.2:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem get /kubernetes/network/subnets/10.2.49.0-24
{"PublicIP":"10.0.0.2","BackendType":"vxlan","BackendData":{"VtepMAC":"a6:16:81:8a:af:71"}}

切换为V3接口,获取etcd中的所有key:

export ETCDCTL_API=3
# 无ca认证:
[root@node-1 ~]# etcdctl get / --prefix --keys-only

# CA认证,参数和V2版本不一样
[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.1:2379  --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem get / --prefix --keys-only

通过查询对应的key,可以获取kubernete对象的元数据:

[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.1:2379  --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem get /registry/services/specs/default/php-apache -w=json|python -m json.tool

这里使用json格式化输出。可以发现所有的数据都存放在/registry/开头的key 中。

使用如下脚本,对key值进行转换,也能输出相同的key值列表:

#!/bin/bash
# Get kubernetes keys from etcd
export ETCDCTL_API=3

# not use ca TLS
# keys=`etcdctl get /registry --prefix -w json|python -m json.tool|grep key|cut -d ":" -f2|tr -d '"'|tr -d ","`

# USE TLS ca
keys=`etcdctl --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem  get /registry --prefix -w json|python -m json.tool|grep key|cut -d ":" -f2|tr -d '"'|tr -d ","`
for x in $keys;do
  echo $x|base64 -d|sort
done

key 的命名规则是按/registry, 对象类型(复数),namespace,具体对象名称命名。

API Server与kubelet的交互
  • 每个Node节点上的kubelet每隔一段时间就会向API Server 的REST接口发送自身的状态信息。
  • API Server收到这些信息后,会更新到etcd中。
  • 此外,kubelet通过API Server的watch 接口监听Pod的实时变化信息,如果监听到新的Pod对象绑定到此节点,则创建此pod,同理,如果是pod被删除,修改则执行对应的操作。
kube-controller-manager与API Server交互

kube-controller-manager中的Node Controller模块通过API Server提供的Watch接口,实时监控Node的信息,并做相应处理。

kube-scheduler与API Server交互

Scheduler通过API Server的Watch接口监听到新建Pod副本的信息后,它会检索所有符合该Pod要求的Node列表,开始执行Pod调度逻辑。调度成功后将Pod绑定到目标节点上。

为了缓解各模块对API Server的访问压力,各功能模块都采用缓存机制来缓存数据,各功能模块定时从API Server获取指定的资源对象信息(LIST/WATCH方法),然后将信息保存到本地缓存,功能模块在某些情况下不直接访问API Server,而是通过访问缓存数据来间接访问API Server。