kubernetes项目 kubernetes pv

转载

数据探索先锋 2023-10-02 06:38:34

文章标签 kubernetes项目共享目录客户端存储空间 文章分类 kubernetes 云计算

概念

PV 的全称是：PersistentVolume（持久化卷），是对底层的共享存储的一种抽象，PV 由管理员进行创建和配置，它和具体的底层的共享存储技术的实现方式有关，比如 Ceph、GlusterFS、NFS 等，都是通过插件机制完成与共享存储的对接。

PVC 的全称是：PersistentVolumeClaim（持久化卷声明），PVC 是用户存储的一种声明，PVC 和 Pod 比较类似，Pod 消耗的是节点，PVC 消耗的是 PV 资源，Pod 可以请求 CPU 和内存，而 PVC 可以请求特定的存储空间和访问模式。对于真正使用存储的用户不需要关心底层的存储实现细节，只需要直接使用 PVC 即可。

但是通过 PVC 请求到一定的存储空间也很有可能不足以满足应用对于存储设备的各种需求，而且不同的应用程序对于存储性能的要求可能也不尽相同，比如读写速度、并发性能等，为了解决这一问题，Kubernetes 又为我们引入了一个新的资源对象：StorageClass，通过 StorageClass 的定义，管理员可以将存储资源定义为某种类型的资源，比如快速存储、慢速存储等，用户根据 StorageClass 的描述就可以非常直观的知道各种存储资源的具体特性了，这样就可以根据应用的特性去申请合适的存储资源了。

NFS

我们这里为了演示方便，决定使用相对简单的 NFS 这种存储资源，接下来我们在节点10.151.30.57上来安装 NFS 服务，数据目录：/data/k8s/

关闭防火墙

1 $ systemctl stop firewalld.service
2 $ systemctl disable firewalld.service

安装配置 nfs

1 $ yum -y install nfs-utils rpcbind

共享目录设置权限：

1 $ chmod 755 /data/k8s/

配置 nfs，nfs 的默认配置文件在 /etc/exports 文件下，在该文件中添加下面的配置信息：

1 $ vi /etc/exports
2 /data/k8s  *(rw,sync,no_root_squash)

配置说明：

/data/k8s：是共享的数据目录

*：表示任何人都有权限连接，当然也可以是一个网段，一个 IP，也可以是域名

rw：读写的权限

sync：表示文件同时写入硬盘和内存

no_root_squash：当登录 NFS 主机使用共享目录的使用者是 root 时，其权限将被转换成为匿名使用者，通常它的 UID 与 GID，都会变成 nobody 身份

当然 nfs 的配置还有很多，感兴趣的同学可以在网上去查找一下。

启动服务 nfs 需要向 rpc 注册，rpc 一旦重启了，注册的文件都会丢失，向他注册的服务都需要重启

注意启动顺序，先启动 rpcbind

1 $ systemctl start rpcbind.service
 2 $ systemctl enable rpcbind
 3 $ systemctl status rpcbind

看到上面的 Started 证明启动成功了。

然后启动 nfs 服务：

1 $ systemctl start nfs.service
2 $ systemctl enable nfs
3 $ systemctl status nfs

同样看到 Started 则证明 NFS Server 启动成功了。

另外我们还可以通过下面的命令确认下：

1 $ rpcinfo -p|grep nfs
2     100003    3   tcp   2049  nfs
3     100003    4   tcp   2049  nfs
4     100227    3   tcp   2049  nfs_acl
5     100003    3   udp   2049  nfs
6     100003    4   udp   2049  nfs
7     100227    3   udp   2049  nfs_acl

查看具体目录挂载权限：

1 $ cat /var/lib/nfs/etab
2 /data/k8s    *(rw,sync,wdelay,hide,nocrossmnt,secure,no_root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,secure,no_root_squash,no_all_squash)

到这里我们就把 nfs server 给安装成功了，接下来我们在节点10.151.30.62上来安装 nfs 的客户端来验证下 nfs

安装 nfs 当前也需要先关闭防火墙：

1 $ systemctl stop firewalld.service
2 $ systemctl disable firewalld.service

然后安装 nfs

1 $ yum -y install nfs-utils rpcbind

安装完成后，和上面的方法一样，先启动 rpc、然后启动 nfs：

1 $ systemctl start rpcbind.service 
2 $ systemctl enable rpcbind.service 
3 $ systemctl start nfs.service    
4 $ systemctl enable nfs.service

挂载数据目录客户端启动完成后，我们在客户端来挂载下 nfs 测试下：

首先检查下 nfs 是否有共享目录：

1 $ showmount -e 10.151.30.57
2 Export list for 10.151.30.57:
3 /data/k8s *

然后我们在客户端上新建目录：

1 $ mkdir -p /root/course/kubeadm/data

1 $ mount -t nfs 10.151.30.57:/data/k8s /root/course/kubeadm/data

挂载成功后，在客户端上面的目录中新建一个文件，然后我们观察下 nfs 服务端的共享目录下面是否也会出现该文件：

1 $ touch /root/course/kubeadm/data/test.txt

然后在 nfs 服务端查看：

1 $ ls -ls /data/k8s/
2 
3 total 4
4 
5 4 -rw-r--r--. 1 root root 4 Jul 10 21:50 test.txt

如果上面出现了 test.txt 的文件，那么证明我们的 nfs 挂载成功了。

有了上面的 NFS 共享存储，下面我们就可以来使用 PV 和 PVC 了。PV 作为存储资源，主要包括存储能力、访问模式、存储类型、回收策略等关键信息，下面我们来新建一个 PV 对象，使用 nfs 类型的后端存储，1G 的存储空间，访问模式为 ReadWriteOnce，回收策略为 Recyle，对应的 YAML 文件如下：(pv1-demo.yaml)

1 apiVersion: v1
 2 
 3 kind: PersistentVolume
 4 
 5 metadata:
 6 
 7   name:  pv1
 8 
 9 spec:
10 
11   capacity: 
12 
13     storage: 1Gi
14 
15   accessModes:
16 
17   - ReadWriteOnce
18 
19   persistentVolumeReclaimPolicy: Recycle
20 
21   nfs:
22 
23     path: /data/k8s
24 
25     server: x.x.x.x

Kubernetes 支持的 PV 类型有很多，比如常见的 Ceph、GlusterFs、NFS，甚至 HostPath也可以，不过 HostPath 我们之前也说过仅仅可以用于单机测试，更多的支持类型可以前往 Kubernetes PV 官方文档进行查看，因为每种存储类型都有各自的特点，所以我们在使用的时候可以去查看相应的文档来设置对应的参数。

然后同样的，直接使用 kubectl 创建即可：

1 $ kubectl create -f pv1-demo.yaml
2 
3 persistentvolume "pv1" created
4 
5 $ kubectl get pv
6 
7 NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM               STORAGECLASS   REASON    AGE
8 
9 pv1       1Gi        RWO            Recycle          Available                                                12s

我们可以看到 pv1 已经创建成功了，状态是 Available，表示 pv1 就绪，可以被 PVC 申请。我们来分别对上面的属性进行一些解读。

Capacity（存储能力）

一般来说，一个 PV 对象都要指定一个存储能力，通过 PV 的 capacity属性来设置的，目前只支持存储空间的设置，就是我们这里的 storage=1Gi，不过未来可能会加入 IOPS、吞吐量等指标的配置。

AccessModes（访问模式）

AccessModes 是用来对 PV 进行访问模式的设置，用于描述用户应用对存储资源的访问权限，访问权限包括下面几种方式：

ReadWriteOnce（RWO）：读写权限，但是只能被单个节点挂载

ReadOnlyMany（ROX）：只读权限，可以被多个节点挂载

ReadWriteMany（RWX）：读写权限，可以被多个节点挂载

注意：一些 PV 可能支持多种访问模式，但是在挂载的时候只能使用一种访问模式，多种访问模式是不会生效的。

persistentVolumeReclaimPolicy（回收策略）

我这里指定的 PV 的回收策略为 Recycle，目前 PV 支持的策略有三种：

Retain（保留）- 保留数据，需要管理员手工清理数据