前言

接上文https://blog.csdn.net/saynaihe/article/details/115187298 kubeadm 搭建高可用ha集群,接下来考虑的度量有存储,对外暴露服务。日志收集,监控报警几项。个人习惯就先将存储优先来讨论了。
关于存储storageclass
如https://kubernetes.io/zh/docs/concepts/storage/storage-classes所示,常见的有很多类型,如下:
Kuberentes集群添加腾讯云CBS为默认存储_腾讯云
由于我的集群建在公有云上面 腾讯云有开源的cbs 的 csi组件。在kubernetes1.16-1.18 环境使用docker 做runtime的环境中使用过腾讯云的开源组件。这就又拿来用了。方便集成。

初始环境

参加:https://editor.csdn.net/md/?articleId=115187298

主机名ip系统内核
sh-master-0110.3.2.5centos84.18.0-240.15.1.el8_3.x86_64
sh-master-0210.3.2.13centos84.18.0-240.15.1.el8_3.x86_64
sh-master-0310.3.2.16centos84.18.0-240.15.1.el8_3.x86_64
sh-work-0110.3.2.2centos84.18.0-240.15.1.el8_3.x86_64
sh-work-0210.3.2.2centos84.18.0-240.15.1.el8_3.x86_64
sh-work-0310.3.2.4centos84.18.0-240.15.1.el8_3.x86_64
集成腾讯云 CBS CSI

1. clone 仓库

注: kubernetes-csi-tencentcloud中包括 CBS CSI, CFS CSI 与 COSFS CSI。这里我就只用CBS块存储了。其他两个也用过,感觉用起来还是不太适合。

git clone https://github.com/TencentCloud/kubernetes-csi-tencentcloud.git

各种名词可以参照:https://github.com/TencentCloud/kubernetes-csi-tencentcloud/blob/master/docs/README_CBS_zhCN.md。

2.参照文档前置要求完成kubernetes集群的配置修改

1. master节点

参照https://github.com/TencentCloud/kubernetes-csi-tencentcloud/blob/master/docs/README_CBS_zhCN.md。参照一下图片前置要求
Kuberentes集群添加腾讯云CBS为默认存储_腾讯云_02对三台master节点修改 kube-apiserver.yaml kube-controller-manager.yaml kube-scheduler.yaml。增加如下配置(查看对应版本对应需求)

 - --feature-gates=VolumeSnapshotDataSource=true

Kuberentes集群添加腾讯云CBS为默认存储_腾讯云_03
Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_04
Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_05

2. 修改所有节点的kubelet配置

kubelet增加–feature-gates=VolumeSnapshotDataSource=true的支持
Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_06

3.部署CBS CSI插件

1. 使用腾讯云 API Credential 创建 kubernetes secret:

1. 前提:

首先的在腾讯云后台https://console.cloud.tencent.com/cam创建一个用户,访问方式我是只开通了编程访问,至于用户权限则需要开通CBS相关权限。我是直接绑定了CSB两个默认相关的权限,还有财务付款权限,记得一定的支持付款,否则硬盘创建不了…。玩的好的可以自定义创建下权限,否则个人觉得财务权限貌似有点大…
Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_07
Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_08

2. 根据文档提示将SecretId SecretKey base64转换生成kubernetes secret

echo -n "XXXXXXXXXXX" |base6
 echo -n "XXXXXXXXXX" |base64

将base64写入secret.yaml文件
Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_09

cd /root/kubernetes-csi-tencentcloud-master/deploy/cbs/kubernetes
kubectl apply -f secret.yaml

注:项目是在root目录git clone的,故cd /root/kubernetes-csi-tencentcloud-master/deploy/cbs/kubernetes.包括一下没有特别强调目录的,都是在此目录下执行的
Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_10

2. 创建rbac

创建attacher,provisioner,plugin需要的rbac:

kubectl apply -f  csi-controller-rbac.yaml
kubectl apply -f  csi-node-rbac.yaml

3.创建controller,node和plugin

创建controller plugin和node plugin

kubectl apply -f  csi-controller.yaml
kubectl apply -f  csi-node.yaml
### snapshot-crd我没有使用,字面意思应该是快照的....
kubectl apply -f  snapshot-crd.yaml

kubectl get pods -n kube-system 可以看到cbs-csi相关组件创建ing:
Kuberentes集群添加腾讯云CBS为默认存储_腾讯云_11

4. 验证

切换目录
cd /root/kubernetes-csi-tencentcloud-master/deploy/cbs/examples

  1. 参照storageclass参数修改storageclass-basic.yaml

Kuberentes集群添加腾讯云CBS为默认存储_腾讯云_12

创建storageclass:
    kubectl apply -f  storageclass-basic.yaml
创建pvc:
    kubectl apply -f  pvc.yaml
创建申请pvc的pod:
    kubectl apply -f  app.yaml

Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_13
嗯 kubectl get storageclass
Kuberentes集群添加腾讯云CBS为默认存储_Kuberentes_14
到此为止,搭建其他应用就可以用cbs存储了。具体参数看文档 看文档 看文档 说三遍。