从零搭建生产Hadoop集群（八）——上线与下线数据节点流程

  • 一、概述
  • 二、节点上线流程
  • 1. 服务器初始化
  • 2. 添加新主机到CM管理系统中
  • 3.添加角色实例
  • 三、节点下线流程


一、概述

Hadoop集群中，经常需要在不重启集群的前提下，动态地上线与下线数据节点，而使用Cloudera Manager管理的集群，可以很方便地做到这一点，本文将介绍其相关流程。

二、节点上线流程

1. 服务器初始化

新节点的硬件配置最好能够跟原集群服务器保持一致或相差不大，而且上线之前，需要对硬件与系统层面的配置检查与初始化，可以参考本系列文章从零搭建生产Hadoop集群（三）——CDH集群搭建的第二节——硬件检查与系统配置，如关闭防火墙与Selinux、开启ntpd服务、配置hosts等。

2. 添加新主机到CM管理系统中

下面根据CM的向导添加主机到集群当中：

  1. 在CM“主机”页面点击“向集群添加新主机”
  2. 选择需要添加的集群，点击“继续”
  3. 填写新节点的主机ip，点击“继续”
  4. 选择存储库，选择与“此cloudera manager server匹配的发行版”即可
  5. 输入服务器用户名密码，继续下一步便会对主机安装cloudera manager agent及同步CDH的parcel包
  6. 对服务器与集群其他服务器版本检查是否一致，不一致则需修改完再检查一次，无误则点击“继续”
  7. 集群部署客户端配置

至此，新节点均已加入到CM管理当中，不过这里别忘了，为主机分配机架，因为hadoop是有机架感知机制的，对副本的分布有很大影响。可在“主机”页面勾选新节点，选择“分配机架”，填写对应机架即可。

3.添加角色实例

一般新数据节点上会启动datanode与nodemanager进程，也有可能有其他实例，这里以datanode添加过程为例，其他实例也类似：

  1. 在CM页面点击相应集群的“HDFS”服务
  2. 点击“实例”进入实例页面
  3. 点击“添加角色实例”
  4. 在“DataNode”选项中，选择“自定义”，而后选择新添加的主机
  5. 一路点击下一步，确认数据盘分布等信息无误即可将加入服务中

实例加入HDFS服务之后，若自定义了多个配置组，需要为其制定合适的配置组：

  1. 在CM页面点击相应集群的“HDFS”服务
  2. 点击“配置”进入配置页面
  3. 点击“角色组”
  4. 点击“DataNode”配置组，将新实例勾选，移动到合适的配置组中

以上步骤完了之后，便可到实例页面，勾选对应的datanode实例，选择启动即可。若启动失败，可点击对应日志检查。

三、节点下线流程

下线节点流程比较简单：

  1. 到对应的服务实例页面，勾选对应实例选择“解除授权”，执行后角色实例进程将会停止，再将其勾选删除即可。需要注意的是，datanode下线时需要对数据进行均衡，因此如果节点数据量比较大的话，下线需要一定的时间，而且不要同时下线两台及以上的数据节点，可能会造成数据丢失。
  2. 到下线主机上停止CM Agent进程
  3. 确认下线主机上的实例进程均已删除和关闭后，在“主机”页面勾选对应主机选择“删除”