准入控制

kubernetes的安全框架

  • 访问k8s集群需要过三关: 鉴权(Authentication),授权(Authorization),准入控制(Admission Control)
  • 普通用户要安全访问apiServer往往需要证书,token或者用户名

kubernetes(十二) 准入控制和helm v3包管理

传输安全,认证,授权,准入控制

传输安全

  • 告别8080,迎接6443
  • 全面基于HTTPS通信

鉴权:三种客户端身份认证:

  • HTTPS 证书认证:基于CA证书签名的数字证书认证

  • HTTP Token认证:通过一个Token来识别用户

  • HTTP Base认证:用户名+密码的方式认证

授权:

RBAC(Role-Based Access Control,基于角色的访问控制):负责完成授权(Authorization)工作。

根据API请求属性,决定允许还是拒绝。

准入控制:

Adminssion Control实际上是一个准入控制器插件列表,发送到API Server的请求都需要经过这个列表中的每个准入控制器插件的检查,检查不通过,则拒绝请求。

RBAC授权

RBAC(Role-Based Access Control,基于角色的访问控制),允许通过Kubernetes API动态配置策略。

角色

  • Role:授权特定命名空间的访问权限

  • ClusterRole:授权所有命名空间的访问权限

角色绑定

  • RoleBinding:将角色绑定到主体(即subject)

  • ClusterRoleBinding:将集群角色绑定到主体

主体(subject)

  • User:用户
  • Group:用户组
  • ServiceAccount:服务账号

kubernetes(十二) 准入控制和helm v3包管理

实例

  • 为aliang用户创建default名称空间Pod读取权限

    • k8s CA签发证书
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF

cat > aliang-csr.json <<EOF
{
  "CN": "aliang",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=/data/kubernetes/ssl/ca.pem -ca-key=/data/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes aliang-csr.json | cfssljson -bare aliang
  • 生成kubeconfig授权文件
# kubeconfig 
kubectl config set-cluster kubernetes \
  --certificate-authority=/data/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=https://192.168.56.14:6443 \
  --kubeconfig=aliang.kubeconfig

# 设置客户端认证
kubectl config set-credentials aliang \
  --client-key=aliang-key.pem \
  --client-certificate=aliang.pem \
  --embed-certs=true \
  --kubeconfig=aliang.kubeconfig

# 设置默认上下文
kubectl config set-context kubernetes \
  --cluster=kubernetes \
  --user=aliang \
  --kubeconfig=aliang.kubeconfig

# 设置当前使用配置
kubectl config use-context kubernetes --kubeconfig=aliang.kubeconfig
  • RBAC准入
 $ vim role.yml
  apiVersion: rbac.authorization.k8s.io/v1
  kind: Role
  metadata:
    namespace: default
    name: pod-reader
  rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["get", "watch", "list"]
  $ kubectl apply -f role.yml 
  $ vim  binding.yml
  apiVersion: rbac.authorization.k8s.io/v1
  kind: RoleBinding
  metadata:
    name: read-pods
    namespace: default
  subjects:
  - kind: User
    name: aliang
    apiGroup: rbac.authorization.k8s.io
  roleRef:
    kind: Role
    name: pod-reader
    apiGroup: rbac.authorization.k8s.io
  $ kubectl apply -f binding.yml
  • 测试权限
 $ kubectl --kubeconfig=aliang.kubeconfig get pods
  NAME                                      READY   STATUS    RESTARTS   AGE
  nfs-client-provisioner-75f9fd7b57-67jtk   1/1     Running   0          5h49m

用户组权限设置

  • 签发证书
$ cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF
$ cat > k8s-csr.json <<EOF
{
  "CN": "aliang",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=/data/kubernetes/ssl/ca.pem -ca-key=/data/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes k8s-csr.json | cfssljson -bare k8s
  • 生成kubeconfig授权文件
# kubeconfig 
kubectl config set-cluster kubernetes \
  --certificate-authority=/data/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=https://192.168.56.14:6443 \
  --kubeconfig=k8s.kubeconfig

# 设置客户端认证
kubectl config set-credentials k8s \
  --client-key=k8s-key.pem \
  --client-certificate=k8s.pem \
  --embed-certs=true \
  --kubeconfig=k8s.kubeconfig

# 设置默认上下文
kubectl config set-context kubernetes \
  --cluster=kubernetes \
  --user=k8s \
  --kubeconfig=k8s.kubeconfig

# 设置当前使用配置
kubectl config use-context kubernetes --kubeconfig=k8s.kubeconfig
  • 创建RBAC
$ vim role.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  namespace: default
  name: pod-reader
rules:
- apiGroups: ["*"]
  resources: ["pods","services","deployments"]
  verbs: ["get", "watch", "list"]
$ kubectl apply -f role.yml 
$ vim  binding.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: read-pods
  namespace: default
subjects:
- kind: Group
  name: k8s
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: pod-reader
  apiGroup: rbac.authorization.k8s.io
$ kubectl apply -f binding.yml

Helm包管理

为什么要使用helm

K8S上的应用对象,都是由特定的资源描述组成,包括deployment、service等。都保存各自文件中或者集中写到一个配置文件。然后kubectl apply –f 部署。

如果应用只由一个或几个这样的服务组成,上面部署方式足够了。

而对于一个复杂的应用,会有很多类似上面的资源描述文件,例如微服务架构应用,组成应用的服务可能多达十个,几十个。如果有更新或回滚应用的需求,可能要修改和维护所涉及的大量资源文件,而这种组织和管理应用的方式就显得力不从心了。

且由于缺少对发布过的应用版本管理和控制,使Kubernetes上的应用维护和更新等面临诸多的挑战,主要面临以下问题:

  1. 如何将这些服务作为一个整体管理
  2. 这些资源文件如何高效复用
  3. 不支持应用级别的版本管理

helm介绍

Helm是一个Kubernetes的包管理工具,就像Linux下的包管理器,如yum/apt等,可以很方便的将之前打包好的yaml文件部署到kubernetes上。

Helm有3个重要概念:

  • helm:一个命令行客户端工具,主要用于Kubernetes应用chart的创建、打包、发布和管理。

  • Chart:应用描述,一系列用于描述 k8s 资源相关文件的集合。
  • Release:基于Chart的部署实体,一个 chart 被 Helm 运行后将会生成对应的一个 release;将在k8s中创建出真实运行的资源对象。

helm V3

2019年11月13日, Helm团队发布 Helm v3的第一个稳定版本。

该版本主要变化如下:

1、 架构变化

最明显的变化是 Tiller的删除

kubernetes(十二) 准入控制和helm v3包管理

2、Release名称可以在不同命名空间重用

3、支持将 Chart 推送至 Docker 镜像仓库中

4、使用JSONSchema验证chart values

5、其他

1)为了更好地协调其他包管理者的措辞 Helm CLI个别更名

helm delete` 更名为 `helm uninstall
helm inspect` 更名为 `helm show
helm fetch` 更名为 `helm pull

但以上旧的命令当前仍能使用。

2)移除了用于本地临时搭建 Chart Repositoryhelm serve 命令。

3)自动创建名称空间

在不存在的命名空间中创建发行版时,Helm 2创建了命名空间。Helm 3遵循其他Kubernetes对象的行为,如果命名空间不存在则返回错误。

4) 不再需要requirements.yaml, 依赖关系是直接在chart.yaml中定义

helm 客户端工具

Helm客户端下载地址:https://github.com/helm/helm/releases

解压移动到/usr/bin/目录即可。

wget https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz
tar zxvf helm-v3.2.4-linux-amd64.tar.gz 
mv linux-amd64/helm /usr/bin/

2、Helm常用命令

命令 描述
completion 命令补全,source <(helm completion bash)
create 创建一个chart并指定名字
dependency 管理chart依赖
get 下载一个release。可用子命令:all、hooks、manifest、notes、values
history 获取release历史
install 安装一个chart
list 列出release
package 将chart目录打包到chart存档文件中
pull 从远程仓库中下载chart并解压到本地 # helm pull stable/mysql --untar
repo 添加,列出,移除,更新和索引chart仓库。可用子命令:add、index、list、remove、update
rollback 从之前版本回滚
search 根据关键字搜索chart。可用子命令:hub、repo
show 查看chart详细信息。可用子命令:all、chart、readme、values
status 显示已命名版本的状态
template 本地呈现模板
uninstall 卸载一个release
upgrade 更新一个release
version 查看helm客户端版本

3、配置国内Chart仓库

添加存储库:

helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts 
helm repo update

查看配置的存储库:

helm repo list
helm search repo stable

一直在stable存储库中安装charts,你可以配置其他存储库。

删除存储库:

helm repo remove aliyun

14.5 Helm基本使用

主要介绍三个命令:

  • helm install

  • helm upgrade

  • helm rollback

1、使用chart部署一个应用

kubernetes(十二) 准入控制和helm v3包管理

查找chart:

$ helm search repo
$ helm search repo mysql

为什么mariadb也在列表中?因为他和mysql有关。

查看chart信息:

# helm show chart stable/mysql

安装包:

$ export KUBERNETES_MASTER=http://127.0.0.1:8080   #必须指定,不然报错
$ helm install db stable/mysql
$ helm search weave
$ helm install stable/weave-scope   
$ kubectl get pod,deploy,svc
ui-weave-scope   ClusterIP    10.0.0.64  
$ kubectrl edit svc ui-weave-scope
type: NodePort   # 改成nodeport
### web访问ui

查看发布状态:

$ helm status db    #此时数据库时pending的状态,缺少存储

2、helm install自定义chart配置选项

上面部署的mysql并没有成功,这是因为并不是所有的chart都能按照默认配置运行成功,可能会需要一些环境依赖,例如PV。

所以我们需要自定义chart配置选项,安装过程中有两种方法可以传递配置数据:

  • --values(或-f):指定带有覆盖的YAML文件。这可以多次指定,最右边的文件优先
  • --set:在命令行上指定替代。如果两者都用,--set优先级高

--values使用,先将修改的变量写到一个文件中

$ helm show values stable/mysql
$ cat config.yaml 
persistence:
  enabled: true
  storageClass: "managed-nfs-storage"
  accessMode: ReadWriteOnce
  size: 8Gi
mysqlUser: "k8s"
mysqlPassword: "123456"
mysqlDatabase: "k8s"
$ helm install db -f config.yaml stable/mysql
$ kubectl get pod
NAME                                      READY   STATUS    RESTARTS   AGE
db-mysql-589c6c5b87-tltwf                 1/1     Running   0          13m

$ MYSQL_ROOT_PASSWORD=$(kubectl get secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo)
$ echo $MYSQL_ROOT_PASSWORD
64Ch57770e
$  kubectl run  mysql-test --rm -it --image=mysql:5.7 -- bash 
root@ubuntu:/# apt-get update && apt-get install mysql-client -y
root@ubuntu:/# mysql  -h db-mysql -p

![image-20200729162824167](/Users/wanghui/Library/Application Support/typora-user-images/image-20200729162824167.png)

以上将创建具有名称的默认MySQL用户k8s,并授予此用户访问新创建的k8s数据库的权限,但将接受该图表的所有其余默认值。

命令行替代变量:

# helm install db --set persistence.storageClass="managed-nfs-storage" stable/mysql

也可以把chart包下载下来查看详情:

# helm pull stable/mysql --untar

values yaml与set使用:

kubernetes(十二) 准入控制和helm v3包管理

该helm install命令可以从多个来源安装:

3、构建一个Helm Chart

$ helm create mychart
$ tree mychart/
mychart/
├── charts
├── Chart.yaml
├── templates
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── ingress.yaml
│   ├── NOTES.txt
│   └── service.yaml
└── values.yaml
  • Chart.yaml:用于描述这个 Chart的基本信息,包括名字、描述信息以及版本等。
  • values.yaml :用于存储 templates 目录中模板文件中用到变量的值。
  • Templates: 目录里面存放所有yaml模板文件。
  • charts:目录里存放这个chart依赖的所有子chart。
  • NOTES.txt :用于介绍Chart帮助信息, helm install 部署后展示给用户。例如:如何使用这个 Chart、列出缺省的设置等。
  • _helpers.tpl:放置模板助手的地方,可以在整个 chart 中重复使用

创建Chart后,接下来就是将其部署:

helm install web mychart/

也可以打包推送的charts仓库共享别人使用。

# helm package mychart/
mychart-0.1.0.tgz

4、升级、回滚和删除

发布新版本的chart时,或者当您要更改发布的配置时,可以使用该helm upgrade 命令。

$ helm upgrade --set imageTag=1.17 web mychart
$ helm upgrade -f values.yaml web mychart

如果在发布后没有达到预期的效果,则可以使用helm rollback回滚到之前的版本。

例如将应用回滚到第一个版本:

$ helm history web
$ helm rollback web 2

卸载发行版,请使用以下helm uninstall命令:

$ helm uninstall web

查看历史版本配置信息

$ helm get all web
$ helm get all --revision 4 web

14.6 Chart模板

Helm最核心的就是模板,即模板化的K8S manifests文件。

它本质上就是一个Go的template模板。Helm在Go template模板的基础上,还会增加很多东西。如一些自定义的元数据信息、扩展的库以及一些类似于编程形式的工作流,例如条件语句、管道等等。这些东西都会使得我们的模板变得更加丰富。

1、模板

有了模板,我们怎么把我们的配置融入进去呢?用的就是这个values文件。这两部分内容其实就是chart的核心功能。

接下来,部署nginx应用,熟悉模板使用,先把templates 目录下面所有文件全部删除掉,这里我们自己来创建模板文件:

$ rm -rf mychart/templates/*
$ vi templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.16
        name: nginx

这个deployment就是一个Go template的模板,这里定义的Release模板对象属于Helm内置的一种对象,是从values文件中读取出来的。这样一来,我们可以将需要变化的地方都定义变量。

再执行helm install chart 可以看到现在生成的名称变成了web-deployment,证明已经生效了。也可以使用命令helm get manifest查看最终生成的文件内容。

2、调试

Helm也提供了--dry-run --debug调试参数,帮助你验证模板正确性。在执行helm install时候带上这两个参数就可以把对应的values值和渲染的资源清单打印出来,而不会真正的去部署一个release。

比如我们来调试上面创建的 chart 包:

# helm install web2 --dry-run /root/mychart

3、内置对象

刚刚我们使用 {{.Release.Name}}将 release 的名称插入到模板中。这里的 Release 就是 Helm 的内置对象,下面是一些常用的内置对象:

Release.Name release 名称
Release.Name release 名字
Release.Namespace release 命名空间
Release.Service release 服务的名称
Release.Revision release 修订版本号,从1开始累加

4、Values

Values对象是为Chart模板提供值,这个对象的值有4个来源:

  • chart 包中的 values.yaml 文件

  • 父 chart 包的 values.yaml 文件

  • 通过 helm install 或者 helm upgrade 的 -f或者 --values参数传入的自定义的 yaml 文件

  • 通过 --set 参数传入的值

chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖,而该文件同样可以被 --set提供的参数所覆盖。

这里我们来重新编辑 mychart/values.yaml 文件,将默认的值全部清空,然后添加一个副本数:

$ cat values.yaml 
replicaCount: 1
label:
  project: test
  app: nginx
image:
  repository: nginx
  tags: 1.17
  name: web
service:
  type: ClusterIP
  port: 80
  targetport: 80

$ cat templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: web
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      project: {{ .Values.label.project }}
      app: {{ .Values.label.app }}
  template:
    metadata:
      labels:
        project: {{ .Values.label.project }}
        app: {{ .Values.label.app }}
    spec:
      containers:
      - image: {{ .Values.image.repository }}:{{ .Values.image.tags }}
        name: {{ .Values.image.name }}
$ vim templates/service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
spec:
  ports:
  - port: {{ .Values.service.port }}
    protocol: TCP
    targetPort: {{ .Values.service.targetport }}
  type: {{ .Values.service.type }}
  selector:
    project: {{ .Values.label.project }}
    app: {{ .Values.label.app }}

查看渲染结果:

$ helm install --dry-run web ../mychart/
$ helm install web ../mychart

values 文件也可以包含结构化内容,例如:

$ helm upgrade web --set  image.tags="1.18" --set service.type="NodePort" ../mychart
$ helm upgrade web --set image.tags="1.19" --set service.type="NodePort" ../mychart
$ helm history web
$ helm rollback web 2    #回滚到2版本,不能回滚到第一个版本,因为serviceType不一致的话回滚是失败的

小结

开发Chart大致流程:

  1. 先创建模板 helm create demo

  2. 修改Chart.yaml,Values.yaml,添加常用的变量
  3. 在templates目录下创建部署镜像所需要的yaml文件,并变量引用yaml里经常变动的字段