通过前面的学习,我们可以做到当分支被合并到master时,程序自动打包出包含最新代码的docker镜像,并用commitid给镜像打了个tag。然而仅仅拥有docker镜像并不够,企业使用的是k8s环境,需要持续的把最新镜像的地址更新到k8s的yaml文件中,真正线上执行部署的是k8s的yaml文件。

 

k8s批量更新镜像 k8s镜像更新自动部署_配置文件

kustomize 便应运而生。它基于 kustomization.yaml 文件修改镜像,kustomization.yaml 包含对需要执行的子k8s yaml文件的引用,kustomize build 命令可以把 kustomization.yaml 文件内容翻译成可以被k8s所理解、可执行的配置文件。

        真正执行线上部署的是 kubectl 工具,它读取 ~/.kube/config 文件的信息,用于和k8s集群的通信,读取k8s 的yaml文件,发送到k8s集群进行执行。

安装kubectl和kustomize工具

        在我们的docker-mybasic项目的dockerfile文件中加入以下内容,以下载安装这两个工具,同时拷贝k8s集群的kubeconfig文件到gitlab的部署镜像中

# 安装curl命令,供下面流程安装工具软件
RUN apk add --no-cache curl

# 拷贝kubeconfig文件内容到镜像中,作为kubectl和集群通信的工具
COPY kubeconfig/config /root/.kube/config

# 安装kubectl
RUN curl -L "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl" -o /usr/local/bin/kubectl \
    && chmod +x /usr/local/bin/kubectl

# 安装kustomize
RUN curl -Lo /usr/local/bin/kustomize https://github.com/kubernetes-sigs/kustomize/releases/download/v3.2.0/kustomize_3.2.0_linux_amd64 \
    && chmod +x /usr/local/bin/kustomize

因为我的电脑处理器是arm64的,上面下载的kubectl 和 kustomize 是基于amd64处理器,无法使用,于是更改下载地址如下

curl -L "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/arm64/kubectl" -o /usr/local/bin/kubectl
curl -Lo /tmp/kustomize.tar.gz https://ghproxy.com/https://github.com/kubernetes-sigs/kustomize/releases/download/kustomize%2Fv4.5.7/kustomize_v4.5.7_linux_arm64.tar.gz \
    && cd /tmp && tar zxvf kustomize.tar.gz && mv kustomize /usr/local/bin

这样,我们的mydocker镜像就有能力执行kustomize命令以及部署yaml文件到线上了

deployments和services

         test_cd项目是由运维负责的和具体环境部署相关的文件集合,我们在test_api和test_client1的k8s文件夹中创建 deployments 和 services 文件夹,deployments文件夹中的api.yaml文件内容如下:

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: test-api
  name: test-api
spec:
  selector:
    matchLabels:
      app: test-api
  template:
    metadata:
      labels:
        app: test-api
    spec:
      containers:
        - name: test-api
          image: dockerhub.qingcloud.com/mustafa_project/test_api_product
          ports:
            - containerPort: 80
              name: tcp
          resources:
            requests:
              cpu: 20m
              memory: 128Mi
            limits:
              cpu: 500m
              memory: 512Mi
      imagePullSecrets:
        - name: docker-qingcloud-secret

        deployments是负责管理images的单元,这个deployment包含的image不用写tag,tag可以在kustomize命令中程序自动生成。使用 docker-qingcloud-secret 这个私钥拉取镜像,私钥的配置方式如下:

kubectl create secret docker-registry docker-qingcloud-secret --docker-server=dockerhub.qingcloud.com --docker-username=*** --docker-password=**** -n test-project1

        servies是deployments对外暴露的端口,services中的api.yaml文件内容如下:

apiVersion: v1
kind: Service
metadata:
  name: test-api
spec:
  ports:
    - name: http-api
      protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: test-api

kustomization.yaml文件

        文件在k8s目录下,这个文件记录了线上部署依赖哪些子配置文件,内容如下:

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization

namespace: test-project1

resources:
- ./k8s/deployments/api.yaml
- ./k8s/services/api.yaml

可以看出,包含了一个deployment文件和一个service文件

kustomize build命令可以读取这个文件,生成一个完整的,k8s能够理解的配置文件

kustomize edit set image 命令可以修改kustomization.yaml文件,把deployments中的images进行字符串替换

kustomize 命令

        在test_api项目的.gitlab-ci.yaml文件代码发送到cd项目这块,加入以下代码,可以实现当分支合并到main分支后,修改kustomize文件的image为最新image的tag,git提交推送test_cd项目,解释kustomization.yaml文件并通过kubectl执行部署

- kustomize edit set image $docker_url/mustafa_project/$CI_PROJECT_NAME"_"$ENV=$docker_url/mustafa_project/$CI_PROJECT_NAME"_"$ENV:$CI_COMMIT_SHA
    - git commit -am "修改镜像版本号$CI_COMMIT_SHA" && git push origin $ENV
    - kustomize build | kubectl apply -f -

        kustomize edit命令 修改镜像版本号为我们当前的commitid

        kustomize build 解释我们上面编写的kustomization.yaml文件,为k8s可以理解的文件

        kubectl apply -f - 根据kubeclt的配置文件,进行k8s相应的部署过程

        你会发现,kustomization.yaml文件是真正和线上部署一一对应的配置文件。这样,每当分支被合并到master时候,会导致kustomization.yaml文件中相关镜像的修改,并将该修改直接发布上线、