hadoop namenode 内存计算 hadoop cm

Hadoop的安装

首先登录CM管理平台 账号admin 密码 admin

勾选图示按钮选择继续，选择图示版本

点击继续选择当前管理的主机

选择下面的版本安装

这一步等了好长时间

接着下一步

关闭交换空间 & 大页面空间（三台都需要操作）

#Cloudera建议将交换空间设置为0，过多的交换空间会引起GC耗时的激增，所以还是关闭的为好

echo "vm.swappiness = 0" >> /etc/sysctl.conf

echo "10" > /proc/sys/vm/swappiness

#关闭大页面压缩

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

点击重新运行问题解决

点击完成就OK啦

选择自定义服务

继续下一步、分配节点

点击继续不解释

安装过程中如果安装失败，可能会出现Failed to format NameNode需要删除服务重新安装

先手动格式化namenode，查看日志：

hdfs namenode -format

问题原因

是由于之前初始化 namenode 在 /dfs/nn 留下了残留数据（失效数据），从而影响再次初始化

解决方法
清空残留数据后，重新初始化

namenode节点和datanode节点：

rm -rf /dfs/

结果又报错下面内容

神么原因引起的咱也不清楚，个人感觉可能是HDFS的权限问题输入以下代码搞定它

su - hdfs
hdfs dfsadmin -safemode leave

可以继续了

完成。