最近准备在kubernetes上搭建kubesphere,利用nfs做为后端存储,k8s集群搭建在ucloud机器上,还有一台配置不高的阿里云机器,顺便在上面搭建个NFS,省的占用ucloud机器太多磁盘空间。

本例演示环境如下:

Name

IP Addr

Descprition

nfs服务端

47.1.1.100

服务端公网 IP,此服务器为阿里云服务器

nfs客户端

36.1.1.100

客户端公网 IP,此服务器为ucloud云服务器

服务端安装

使用 yum 安装 NFS 安装包。

$ sudo yum install nfs-utils

​注意:只安装 nfs-utils 即可,rpcbind 属于它的依赖,也会安装上。​

yum install nfs-utils -y

服务端配置

设置 NFS 服务开机启动

[root@47 nfs]# systemctl enable rpcbind
[root@47 nfs]# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.

配置共享目录

服务启动之后,我们在服务端配置一个共享目录

mkdir /data
chmod 755 /data

根据这个目录,相应配置导出目录

vim /etc/exports

添加如下配置

/data/     192.168.0.0/24(rw,sync,no_root_squash,no_all_squash)

/data: 共享目录位置。

​192.168.0.0/24​​: 客户端 IP 范围,​​*​​ 代表所有,即没有限制(我在实验中会设置为​​*​​)。

​rw​​: 权限设置,可读可写。

​sync​​: 同步共享目录。

​no_root_squash​​: 可以使用 root 授权。

​no_all_squash​​: 可以使用普通用户授权。

​:wq​​ 保存设置。

启动 NFS 服务

[root@47 nfs]# systemctl start rpcbind
[root@47 nfs]# systemctl start nfs

防火墙需要打开 rpc-bind 和 nfs 的服务

$ sudo firewall-cmd --zone=public --permanent --add-service={rpc-bind,mountd,nfs}
success
$ sudo firewall-cmd --reload
success

检查

可以检查一下本地的共享目录

$ showmount -e localhost
Export list for localhost:
/data *

这样,服务端就配置好了。

查看端口

[root@47 ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 40535 status
100024 1 tcp 48227 status
100005 1 udp 20048 mountd
100005 1 tcp 20048 mountd
100005 2 udp 20048 mountd
100005 2 tcp 20048 mountd
100005 3 udp 20048 mountd
100005 3 tcp 20048 mountd
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 3 tcp 2049 nfs_acl
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 3 udp 2049 nfs_acl
100021 1 udp 53325 nlockmgr
100021 3 udp 53325 nlockmgr
100021 4 udp 53325 nlockmgr
100021 1 tcp 37953 nlockmgr
100021 3 tcp 37953 nlockmgr
100021 4 tcp 37953 nlockmgr

上张图可以看到,NFS启动时会随机启动多个端口并向RPC注册,这样如果使用iptables对NFS端口进行限制就会有点麻烦,可以更改配置文件固定NFS服务相关端口。

分配端口,编辑配置文件:

vi /etc/sysconfig/nfs

添加:

RQUOTAD_PORT=30001
LOCKD_TCPPORT=30002
LOCKD_UDPPORT=30002
MOUNTD_PORT=30003
STATD_PORT=30004

重启nfs:

systemctl restart nfs

现在看看启动的端口:

[root@47 data]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 40535 status
100024 1 tcp 48227 status
100005 1 udp 9903 mountd
100005 1 tcp 9903 mountd
100005 2 udp 9903 mountd
100005 2 tcp 9903 mountd
100005 3 udp 9903 mountd
100005 3 tcp 9903 mountd
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 3 tcp 2049 nfs_acl
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 3 udp 2049 nfs_acl
100021 1 udp 9902 nlockmgr
100021 3 udp 9902 nlockmgr
100021 4 udp 9902 nlockmgr
100021 1 tcp 9901 nlockmgr
100021 3 tcp 9901 nlockmgr
100021 4 tcp 9901 nlockmgr

​iptables设置,或者在阿里云控制台设置放行入出端口​​。

iptables -A INPUT -p tcp --dport 111 -j ACCEPT
iptables -A INPUT -p tcp --dport 2049 -j ACCEPT
iptables -A INPUT -p tcp --dport 9902 -j ACCEPT
iptables -A INPUT -p tcp --dport 9901 -j ACCEPT
iptables -A INPUT -p tcp --dport 9900 -j ACCEPT
iptables -A INPUT -p tcp --dport 9903 -j ACCEPT
iptables -A INPUT -p tcp --dport 9904 -j ACCEPT
iptables -A INPUT -p tcp --dport 9905 -j ACCEPT
iptables -A INPUT -p tcp --dport 40535 -j ACCEPT
iptables -A INPUT -p tcp --dport 48227 -j ACCEPT

客户端连接 NFS

先查服务端的共享目录,两个云厂商服务器,所以需要用公网IP:

$ showmount -e 47.1.1.100

执行上面这个可能会报如错:​​clnt_create: RPC: Port mapper failure - Timed out​​​,网上查了好多资料还是没解决。但直接​​mount​​是没问题的,继续往下看。

在客户端创建目录

$ mkdir -p /mny/nfs-data

挂载

$ mount -t nfs 47.1.1.100:/data /mnt/nfs-data

挂载之后,可以使用 mount 命令查看一下

$ mount
47.1.1.100:/data on /mnt/nfs-data type nfs4 (rw,relatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.0.2.175,local_lock=none,addr=47.1.1.100)

这说明已经挂载成功了。

测试 NFS

测试一下,在客户端向共享目录创建一个文件

$ cd /mnt/nfs-data
$ mkdir test-nfs

之后取 NFS 服务端查看一下

$ cd /data
$ ll
drwxr-xr-x 2 root root 4096 Dec 15 15:51 test-nfs

可以看到,共享目录已经写入了。

客户端自动挂载

自动挂载很常用,客户端设置一下即可。

$ vim /etc/fstab

在结尾添加类似如下配置

#
# /etc/fstab
# Created by anaconda on Sun Oct 15 15:19:00 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
#....
47.1.1.100:/data /mnt/nfs-data nfs defaults 0 0

由于修改了 /etc/fstab,需要重新加载 systemctl。

$ systemctl daemon-reload

参考

如何解决RPC:端口映射器故障–超时错误

固定NFS启动端口便于iptables设置

CentOS 7 下 yum 安装和配置 NFS