k8s创建deployment详细流程 k8s创建storageclass

背景

在本地集群安装kubesphere需要storageclass才能成功

首先检查自己机器是否有storageclass

• 执行如下命令，看返回信息，什么都没有的话，说明你需要进行下面步骤

kubectl get storageclass

• 下图是我已经装成功了的情况

解决

给集群配置默认得storageclass

搭建nfs服务器

先搭建nfs服务器

我的是centos7

• 安装nfs命令

yum install -y nfs-utils

• 创建存放数据的目录（目录可以自己定义）

mkdir -p /opt/k8s/data/vo1

• 设置挂载路径

# 打开文件
vim /etc/exports
# 添加如下内容
/opt/k8s/data/vo1 *(rw,no_root_squash)

启动nfs服务器

systemctl start nfs

检查启动状态

rpm -qa | grep nfs

rpm -qa | grep rpcbind

创建一个连接nfs服务器的客户端

自动创建的 PV 以${namespace}-${pvcName}-${pvName}这样的命名格式创建在 NFS 服务器上的共享数据目录中
而当这个 PV 被回收后会以archieved-${namespace}-${pvcName}-${pvName}这样的命名格式存在 NFS 服务器上。
要使用StorageClass，我们就得安装对应的自动配置程序，比如上面我们使用的是nfs，那么我们就需要使用到一个 nfs-client 的自动配置程序，我们也叫它 Provisioner，这个程序使用我们已经配置的nfs服务器，来自动创建持久卷，也就是自动帮我们创建PV

• 配置文件（nfs-client.yaml）

kind: Deployment
apiVersion: apps/v1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nfs-client-provisioner
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: fuseim.pri/ifs
            - name: NFS_SERVER
              value: 192.168.1.100
            - name: NFS_PATH
              value: /opt/k8s/data/vo1
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.1.100
            path: /opt/k8s/data/vo1

• 绑定nfs权限的配置文件（nfs-client-sa.yaml）可以对下面的verbs中列表中参数进行修改来修改权限

apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner

---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]

---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io

创建storegeclass对象配置文件（nfs-client-class.yaml）

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: course-nfs-storage
provisioner: fuseim.pri/ifs # 和上图配置文件中PROVISIONER_NAME的一直

创建资源对象

kubectl create -f nfs-client.yaml
kubectl create -f nfs-client-sa.yaml
kubectl create -f nfs-client-class.yaml

检查资源状态（因为是创建的default命名空间，所以可以用下面命令直接查询）

kubectl get pods
# 查看存储类
kubectl get storageclass

设置storage为k8s默认存储（下名命令中course-nfs-storage 需要和自己storageclass名称的一致即可）

kubectl patch storageclass course-nfs-storage -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

遇到问题

• 创建pvc时，发现一直pending，不能创建成功

解决

• 使用命令查看当前pvc的状态信息,发现时在等待volume的创建

kubectl describe pvc

• 再使用命令查看nfs-client-provisioner的日志发现时seltlink was empty的问题，网上说时k8s1.16以后已经弃用，我的时1.21.5版本
• 知道问题所在，那么就解决一下
  1、使用命令查找一下 kube-apiserver.yaml的位置find / -name kube-apiserver.yaml

2、在文件中添加 - --feature-gates=RemoveSelfLink=false ，如下图

3、推出保存即可，等待一会就好了新版本集群，1.26版本之后这么配置集群会启动不了（解决方式如下）

使用helm安装nfs驱动

安装helm（直接在github地址上选择自己操作系统对应的包下载，解压，放到/usr/bin目录下即可）

#添加helm源
helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner

#创建个namespace(可选，主要是为了查看资源方便)
kubectl create ns nfs-sc-default

# 安装nfs驱动
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner --set storageClass.name=nfs-sc-default --set nfs.server=192.168.1.102 --set nfs.path=/data/storage --set storageClass.defaultClass=true -n nfs-sc-default

检查是否安装成功

kubectl get sc

kubectl get pods -n nfs-sc-default