温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
Fayson的github:https://github.com/fayson/cdhproject
1.文档编写目的
在使用CDH集群的过程中,会涉及到修改集群DataNode的HOSTNAME,在修改HOSTSNAME的时候需要注意什么,如何让新修改HOSTSNAME的CDH集群正常工作?本篇文章主要介绍如何修改CDH集群DataNode节点的HOSTNAME。后续Fayson会继续介绍如何修改Cloudera Manager的hostname/ip,KDC的hostname/ip,mysql元数据库的hostname/ip等。本文的主要流程如下:
- 内容概述
1.修改DataNode节点的HOSTNAME
2.修改/etc/hosts配置
3.重启集群
- 测试环境
1.CM和CDH版本为5.13.0
2.采用root用户操作
3.操作系统CentOS6.5
2.集群HOSTNAME列表
DataNode原始HOSTNAME
IP | HOSTNAME |
172.31.9.33 | ip-172-31-9-33.fayson.com |
需要修改为
IP | HOSTNAME |
172.31.9.33 | cdh04.fayson.com |
3.修改DataNode节点的HOSTNAME
1.修改/etc/sysconfig/network配置文件,内容如下
2.在命令行执行如下命令使立即生效
退出终端再重新登录可以看到HOSTNAME已更新
4.更新CDH集群所有节点的hosts文件
将修改后节点HOSTNAME信息同步至集群所有节点的/etc/hosts文件中
[root@cdh04 ~]# more /etc/hosts127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6172.31.6.148 ip-172-31-6-148.fayson.com172.31.5.190 ip-172-31-5-190.fayson.com172.31.10.118 ip-172-31-10-118.fayson.com172.31.9.33 cdh04.fayson.com172.31.7.172 ip-172-31-7-172[root@cdh04 ~]#
注意:这里是需要将hosts信息同步至集群的所有节点。
5.重启该DataNode节点的Agent服务
[root@cdh04 ~]# ps -ef |grep supervisorroot 1058 1 0 15:23 ? 00:00:05 /usr/lib64/cmf/agent/build/env/bin/python /usr/lib64/cmf/agent/build/env/bin/supervisordroot 18152 18108 0 16:42 pts/0 00:00:00 grep supervisor[root@cdh04 ~]# kill -9 1058[root@cdh04 ~]# service cloudera-scm-agent restartStopping cloudera-scm-agent: [ OK ]Starting cloudera-scm-agent: [ OK ][root@cdh04 ~]#
重启完成后查看集群列表可以看到172.31.9.33节点的HOSTNAME信息已更新
重启完成CM后,回到CM主页根据提示重启集群,集群运行正常
6.运行作业测试集群是否正常
[root@ip-172-31-6-148 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10
通过Yarn的8088界面可以看到我们修改HOSTNAME的节点任务也正常执行
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操