温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


Fayson的github:https://github.com/fayson/cdhproject


1.文档编写目的




在使用CDH集群的过程中,会涉及到修改集群DataNode的HOSTNAME,在修改HOSTSNAME的时候需要注意什么,如何让新修改HOSTSNAME的CDH集群正常工作?本篇文章主要介绍如何修改CDH集群DataNode节点的HOSTNAME。后续Fayson会继续介绍如何修改Cloudera Manager的hostname/ip,KDC的hostname/ip,mysql元数据库的hostname/ip等。本文的主要流程如下:


如何修改CDH集群的DataNoe节点HOSTNAME_hadoop


  • 内容概述

1.修改DataNode节点的HOSTNAME

2.修改/etc/hosts配置

3.重启集群


  • 测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作

3.操作系统CentOS6.5


2.集群HOSTNAME列表




DataNode原始HOSTNAME

IP

HOSTNAME

172.31.9.33

ip-172-31-9-33.fayson.com


需要修改为


IP

HOSTNAME

172.31.9.33

cdh04.fayson.com


3.修改DataNode节点的HOSTNAME




1.修改/etc/sysconfig/network配置文件,内容如下


[root@ip-172-31-9-33 ~]# vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=cdh04.fayson.com


如何修改CDH集群的DataNoe节点HOSTNAME_hive_02


2.在命令行执行如下命令使立即生效


[root@ip-172-31-9-33 ~]# hostname cdh04.fayson.com


如何修改CDH集群的DataNoe节点HOSTNAME_cloudera_03


退出终端再重新登录可以看到HOSTNAME已更新


如何修改CDH集群的DataNoe节点HOSTNAME_hive_04


4.更新CDH集群所有节点的hosts文件




将修改后节点HOSTNAME信息同步至集群所有节点的/etc/hosts文件中


[root@cdh04 ~]# more /etc/hosts127.0.0.1               localhost.localdomain localhost::1             localhost6.localdomain6 localhost6172.31.6.148  ip-172-31-6-148.fayson.com172.31.5.190  ip-172-31-5-190.fayson.com172.31.10.118 ip-172-31-10-118.fayson.com172.31.9.33   cdh04.fayson.com172.31.7.172 ip-172-31-7-172[root@cdh04 ~]#


如何修改CDH集群的DataNoe节点HOSTNAME_cloudera_05


注意:这里是需要将hosts信息同步至集群的所有节点。


5.重启该DataNode节点的Agent服务




[root@cdh04 ~]# ps -ef |grep supervisorroot      1058     1  0 15:23 ?        00:00:05 /usr/lib64/cmf/agent/build/env/bin/python /usr/lib64/cmf/agent/build/env/bin/supervisordroot     18152 18108  0 16:42 pts/0    00:00:00 grep supervisor[root@cdh04 ~]# kill -9 1058[root@cdh04 ~]# service cloudera-scm-agent restartStopping cloudera-scm-agent:                               OK  ]Starting cloudera-scm-agent:                               OK  ][root@cdh04 ~]#


如何修改CDH集群的DataNoe节点HOSTNAME_hive_06


重启完成后查看集群列表可以看到172.31.9.33节点的HOSTNAME信息已更新


如何修改CDH集群的DataNoe节点HOSTNAME_cloudera_07


重启完成CM后,回到CM主页根据提示重启集群,集群运行正常


如何修改CDH集群的DataNoe节点HOSTNAME_hive_08


6.运行作业测试集群是否正常




[root@ip-172-31-6-148 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10


如何修改CDH集群的DataNoe节点HOSTNAME_cloudera_09


通过Yarn的8088界面可以看到我们修改HOSTNAME的节点任务也正常执行


如何修改CDH集群的DataNoe节点HOSTNAME_hadoop_10

如何修改CDH集群的DataNoe节点HOSTNAME_cloudera_11

如何修改CDH集群的DataNoe节点HOSTNAME_hive_12

如何修改CDH集群的DataNoe节点HOSTNAME_hive_13



为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。





推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何修改CDH集群的DataNoe节点HOSTNAME_cloudera_14

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操