怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_大数据

(10)启动服务

[root@hadoop hadoop]# ./sbin/start-dfs.sh

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_02

(12)查看jps

[root@hadoop hadoop]# jps
68187 Jps
68060 SecondaryNameNode
67854 NameNode
[root@hadoop hadoop]# ssh node01 jps
61868 Jps
61773 DataNode
[root@hadoop hadoop]# ssh node02 jps
10842 Jps
10747 DataNode
[root@hadoop hadoop]# ssh node03 jps
61872 Jps
61777 DataNode

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_03

(13) 验证

[root@hadoop hadoop]# ./bin/hdfs dfsadmin -report
Configured Capacity: 616594919424 (574.25 GB)
Present Capacity: 598913466368 (557.78 GB)
DFS Remaining: 589148815360 (548.69 GB)
DFS Used: 9764651008 (9.09 GB)
DFS Used%: 1.63%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (3):

Name: 192.168.204.53:50010 (node03)
Hostname: node03
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 3123707904 (2.91 GB)
Non DFS Used: 5622108160 (5.24 GB)
DFS Remaining: 196785823744 (183.27 GB)
DFS Used%: 1.52%
DFS Remaining%: 95.74%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024


Name: 192.168.204.51:50010 (node01)
Hostname: node01
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2998738944 (2.79 GB)
Non DFS Used: 6029377536 (5.62 GB)
DFS Remaining: 196503523328 (183.01 GB)
DFS Used%: 1.46%
DFS Remaining%: 95.61%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024


Name: 192.168.204.52:50010 (node02)
Hostname: node02
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 3642204160 (3.39 GB)
Non DFS Used: 6029967360 (5.62 GB)
DFS Remaining: 195859468288 (182.41 GB)
DFS Used%: 1.77%
DFS Remaining%: 95.29%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_大数据_04

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_hadoop_05

(14)卸载 (nfsgateway节点)

[root@nfsgateway ~]# yum remove -y rpcbind nfs-utils

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_大数据_06

完成

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_学习_07

(15)安装java运行环境

[root@nfsgateway ~]# yum install -y java-1.8.0-openjdk-devel.x86_64

查看jps

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_学习_08

(16)SSH免密认证

[root@hadoop hadoop]# cd /root/.ssh/
[root@hadoop .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub 192.168.204.56
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "id_rsa.pub"
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.204.56's password:

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh '192.168.204.56'"
and check to make sure that only the key(s) you wanted were added.

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_大数据_09

(17)关闭安全机制(需要reboot重启)

[root@nfsgateway ~]# vim /etc/selinux/config
……
SELINUX=disabled
……

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_hadoop_10

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_11

(18)同步hadoop配置

[root@nfsgateway ~]# rsync -aXSH --delete hadoop:/usr/local/hadoop /usr/local/

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_12

(19)修改NFS网关配置文件 (nfsgateway节点)

[root@nfsgateway hadoop]# vim hdfs-site.xml

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_13

修改前:

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_14

修改后:

<property>
          <name>nfs.exports.allowed.hosts</name>
          <value>* rw</value>
      </property>
      <property>
          <name>nfs.dump.dir</name>
          <value>/var/nfstmp</value>
      </property>

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_大数据_15

(20)创建转储目录

[root@nfsgateway hadoop]# mkdir /var/nfstmp

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_16

(21)为代理用户授权

[root@nfsgateway hadoop]# chown nfsuser.nfsuser /var/nfstmp

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_17

(22)在日志文件夹为代理用户授权

删除

[root@nfsgateway hadoop]# cd logs

[root@nfsgateway logs]# ls

[root@nfsgateway logs]# rm -f *

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_18

授权

[root@nfsgateway hadoop]# setfacl -m u:nfsuser:rwx logs

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_hadoop_19

查看授权

[root@nfsgateway hadoop]# getfacl logs

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_20

(23)启动portmap

[root@nfsgateway hadoop]# ./sbin/hadoop-daemon.sh --script ./bin/hdfs start portmap

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_学习_21

查看jps

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_hadoop_22

查看日志

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_23

(24)启动 nfs3

[root@nfsgateway hadoop]# sudo -u nfsuser ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_24

查看jps

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_25

查看日志权限

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_26

3. NFS客户端挂载HDFS文件系统

(1)安装NFS (node04节点)

[root@node04 ~]# yum install -y nfs-utils

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_27

查看

[root@node04 ~]# showmount -e 192.168.204.56

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_学习_28

(2)客户端一mount挂载

[root@node04 ~]# mount -t nfs -o vers=3,proto=tcp,nolock,noatime,noacl,sync 192.168.204.56:/ /mnt/

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_29

查看

[root@node04 ~]# cd /mnt/
[root@node04 mnt]# ls -l
总用量 4730432
drwxr-xr-x 5 root 2584148964        160 3月  14 11:05 devops
-rw-r--r-- 1 root 2584148964 1331869184 3月  14 15:49 jenkins.tar.gz
drwxr-xr-x 4 root 2584148964        128 3月  14 13:51 output
-rw-r--r-- 1 root 2584148964 3512090624 3月  14 15:53 pinpoint.tar.gz
drwxr-xr-x 2 root 2584148964         64 3月  14 15:15 system
-rw-r--r-- 1 root 2584148964          0 3月  14 11:11 tfile
drwx------ 3 root 2584148964         96 3月  14 13:50 tmp

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_30

(3)web查看

与NFS客户端内容一致

http://192.168.204.50:50070/

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_hadoop_31

(4)安装NFS (node05节点)

[root@node05 ~]# yum install -y nfs-utils

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_hadoop_32

查看

[root@node05 ~]# showmount -e 192.168.204.56

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_33

(5)客户端二mount挂载

[root@node05 ~]# mount -t nfs -o vers=3,proto=tcp,nolock,noatime,noacl,sync 192.168.204.56:/ /mnt/

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_34

查看

[root@node05 mnt]# cd /mnt
[root@node05 mnt]# ll

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_大数据_35

新建文件

[root@node05 mnt]# touch cicd
[root@node05 mnt]# echo 123 >cicd

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_36

(6)客户端一查看

[root@node04 mnt]# ls
cicd  devops  jenkins.tar.gz  output  pinpoint.tar.gz  system  tfile  tmp
[root@node04 mnt]# cat cicd

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_学习_37

二、问题

1.关闭服务报错

(1)报错

node04: no datanode to stop

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_学习_38

(2)原因分析

配置文件未移除node04节点。

(3)解决方法

[root@hadoop hadoop]# vim slaves

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_怎么确认nfs的客户端是否正确_39

修改前:

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_hadoop_40

修改后:

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_hadoop_41

查看排除文件

[root@hadoop hadoop]# cat exclude

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_面试_42

清空查看

[root@hadoop hadoop]# >exclude
[root@hadoop hadoop]# cat exclude

怎么确认nfs的客户端是否正确 nfs查看客户端连接情况_大数据_43



![](https://s2.51cto.com/images/blog/202406/22122521_66765231cf14015125.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)


清空查看
[root@hadoop hadoop]# >exclude
 [root@hadoop hadoop]# cat exclude