温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​https://github.com/fayson/cdhproject​


提示:代码块部分可以左右滑动查看噢


1

文档编写目的


前面Fayson写过《0524-6.1-如何使用Cloudera Manager启用HDFS的HA》。本篇文章主要讲述如何使用Cloudera Manager禁用HDFS HA。


  • 内容概述

1.禁用HDFS HA

2.更新Hive Metastore NameNode

3.HDFS功能可用性测试

4.Hive及Impala测试


  • 测试环境

1.CM和CDH版本为6.1

2.Redhat7.4

3.拥有Cloudera Manager的管理员账号

4.CDH集群已启用HDFS HA并正常使用

5.集群已启用Kerberos


2

禁用HDFS HA


1.使用管理员用户登录Cloudera Manager的Web管理界面,进入HDFS服务


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hive


2.点击“禁用High Avaiability”,选择禁用HA后运行NameNode的主机及SecondNameNode主机


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hadoop_02


3.点击“继续”,设置HDFS的检查点目录,默认继承SecondNameNode Default Group


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hive_03


4.点击“继续”,禁用High Availability


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hdfs_04


禁用成功


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hive_05


5.点击“完成” ,查看HDFS的实例


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hadoop_06


通过实例列表可以看到HDFS HA相关的服务已被删除,只剩下NameNode和SecondNameNode服务,至此已完成HDFS HA禁用,接下来更新Hive Metastore NameNode及简单的功能测试。


3

更新Hive Metastore NameNode


1.停止Hive服务


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hive_07

0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hdfs_08


2.进入Hive服务,点击“操作”


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hadoop_09


3.点击“更新Hive Metastore NameNode”


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hive_10


4.更新Hive Metastore NameNode


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hdfs_11


5.启动Hive服务


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hdfs_12


启动成功


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hdfs_13


Hive服务启动成功,至此就完成了Hive Metastore NameNode数据更新。


4

HDFS功能可用性测试


对HDFS进行mkdir、put、get、rmr等操作,验证HDFS服务功能是否可用。


[root@ip-172-31-6-83 generatedata]# hadoop fs -mkdir /tmp/test
[root@ip-172-31-6-83 generatedata]# hadoop fs -put 100m.csv /tmp/test
[root@ip-172-31-6-83 generatedata]# hadoop fs -ls /tmp/test
Found 1 items
-rw-r--r-- 3 fayson supergroup 104094922 2019-01-24 22:29 /tmp/test/100m.csv
[root@ip-172-31-6-83 generatedata]# rm -rf 100m.csv
[root@ip-172-31-6-83 generatedata]# hadoop fs -get /tmp/test/100m.csv .
[root@ip-172-31-6-83 generatedata]# ll 100m.csv
-rw-r--r-- 1 root root 104094922 Jan 24 22:29 100m.csv
[root@ip-172-31-6-83 generatedata]# hadoop fs -rm -r /tmp/test/100m.csv
19/01/24 22:30:01 INFO fs.TrashPolicyDefault: Moved: 'hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/tmp/test/100m.csv' to trash at: hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/user/fayson/.Trash/Current/tmp/test/100m.csv
[root@ip-172-31-6-83 generatedata]# hadoop fs -ls /tmp/test/


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hdfs_14


5

Hive功能测试


执行select操作


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hadoop_15


执行insert操作


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hdfs_16


执行count操作


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hdfs_17


6

Impala功能测试


执行select操作


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hadoop_18


执行insert操作


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hive_19


执行Count操作


0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hive_20


提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

0525-6.1-如何使用Cloudera Manager禁用HDFS的HA_hive_21

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操