HDFS节点类型 hdfs名称节点

转载

智能探索者之家 2024-08-29 19:06:59

文章标签 HDFS节点类型 Hadoop hadoop vim 文章分类 架构后端开发

服役新数据节点

随着业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

准备新节点

第一步：复制一台新的虚拟机出来，作为新的节点

第二步：修改mac地址以及IP地址

修改mac地址命令： vim /etc/udev/rules.d/70-persistent-net.rules
修改ip地址命令：vim /etc/sysconfig/network-scripts/ifcfg-eth0

第三步：关闭防火墙，关闭selinux

关闭防火墙： service iptables stop
关闭selinux ： vim /etc/selinux/config

第四步：更改主机名

更改主机名命令： vim /etc/sysconfig/network

第五步：四台机器更改主机名与IP地址映射

四台机器都要添加hosts文件： vim /etc/hosts
192.168.100.201 node01
192.168.100.202 node02
192.168.100.203 node03
192.168.100.204 node04

第六步：node04服务器关机重启并生成公钥与私钥

node04执行以下命令关机重启： reboot
node04执行以下命令生成公钥与私钥： ssh-keygen
node04执行以下命令将node04的私钥拷贝到node01服务器： ssh-copy-id node01
node01执行以下命令将node04的私钥拷贝到node04服务器： ssh-copy-id node04

第七步：node04安装jdk

node04 统一两个路径
mkdir -p /export/softwares/
mkdir -p /export/servers/
然后解压jdk安装包，配置环境变量,或将集群中的java安装目录拷贝一份，并配置环境变量

第八步：解压Hadoop安装包

第九步：将node01关于Hadoop的配置文件全部拷贝到node04

重：

第一步：创建dfs.hosts文件

在 node01 也就是 namenode 所在的机器的 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 目录下创建 dfs.hosts 文件
[root@node01 Hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[root@node01 Hadoop]# touch dfs.hosts
[root@node01 Hadoop]# vim dfs.hosts
添加如下主机名称（包含新服役的节点）
node01
node02
node03
node04

第二步：node01编辑hdfs-site.xml添加以下配置

在 namenod e的 hdfs-site.xml
node01执行以下命令
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim hdfs-site.xml
<property> <name>dfs.hosts</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value> </property>

第三步：刷新namenode

node01执行以下命令刷新 namenode
[root@node01 Hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful

第四步：更新 resourceManager 节点

node01执行以下命令刷新 resourceManager
[root@node01 Hadoop]# yarn rmadmin -refreshNodes
19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033
响应结果

第五步：namenode的slaves文件增加新服务节点主机名称

node01编辑 slaves 文件，并添加新增节点的主机，更改完后，slaves 文件不需要分发到其他机器上面去
node01执行以下命令编辑 slaves 文件
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim slaves
node01
node02
node03
node04

第六步：单独启动新增节点

node04服务器执行以下命令，启动 datanode 和 nodemanager
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

第七步：浏览器查看