原有服务器集群因计算力不够、磁盘空间不足等原因需要在原有cdh集群上添加新的计算节点(datanode),ClouderaManager提供了一种可视化的添加方式。
一、节点规划
NO | IP | HOSTNAME | ROLE |
1 | 11.11.11.11 | server11-11 | dn |
2 | 11.11.11.12 | server11-12 | dn |
二、安装前准备
2.1 配置yum仓库
Yum资源库配置目录位于/etc/yum.repos.d下:
①、创建CM的yum资源库配置文件cloudera-repo.repo
[cloudera-repo]
name=cloudera-repo
baseurl=http://11.11.11.10/cm6
enabled=1
gpgcheck=0
②、拷贝cloudera-repo.repo到其他2台新dn节点server上。
cd /etc/yum.repos.d/
scp -P 22 -i cloudrea-repo.repo "root@11.11.11.11:`pwd`"
scp -P 22 -i cloudrea-repo.repo "root@11.11.11.11:`pwd`"
2.2 系统环境设置
①、服务器修改主机名:
hostnamectl set-hostname server11-11
hostnamectl set-hostname server11-12
②、主机名与ip映射
cat /etc/hosts
11.11.11.11 server11-11
11.11.11.12 server11-12
③、永久关闭防火墙&selinux:
systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld.service #设置防火墙关闭启动
setenforce 0 #临时关闭selinux
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config #永久关闭selinux
④、集群时钟同步操作
每台服务器配置ntp服务,添加时间服务器,并启动时间服务器,开机启动,写入硬件时钟:
A).安装ntp服务
yum -y remove chrony #卸载掉默认的chrony时钟软件
yum install ntp -y
B).修改配置文件
修改/etc/ntp.conf文件:
#Use public servers from the pool.ntp.org project.
#Please consider joining the pool (http://www.pool.ntp.org/join.html).
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 0.pool.ntp.org
server 1.pool.ntp.org
server 2.pool.ntp.org
C).ntp服务启动&开机自启设置
systemctl start ntpd #启动ntp服务
systemctl enable ntpd #设置ntp开机自启
D).时钟同步验证
如下命令,左边如出现*号表示同步成功。一般需要5~10分钟,多刷几次。ntpq -p
⑤、安装python2.7
centos7默认已安装python2.7
检验命令如下:
#python --version
Python 2.7.5
⑥、设置主节点服务器以root身份免密码登陆从节点服务器#ssh-keygen -t rsa
不输入任何密码,一路敲回车,生成无密码的密钥对。
然后将公钥添加到CDH集群中每台server中的authorized_keys认证文件中:
ssh-copy-id -p 22 -i ~/.ssh/id_rsa.pub "root@11.11.11.11"
ssh-copy-id -p 22 -i ~/.ssh/id_rsa.pub "root@11.11.11.12"
发送公钥到各节点之后进行ssh访问过程中,如果提示输入密码则可能为公钥并未发送成功至各节点,可能为目标节点上root用户下无 .ssh 目录,请在该节点以root身份执行如下操作:#ssh-keygen -t rsa
之后,再执行ssh-copy-id命令。
三、安装过程
3.1 添加主机
1、依次点击“主机”-》“更多主机”-》“Add Hosts”
2、继续,填入FQDN格式主机名,搜索要添加的主机
3、选择安装jdk;
4、上传ssh私钥 id_rsa,以完成新节点登陆;
5、系统自动安装agent;
6、添加Parcels选项里填写自己的yum源地址,主机模板如果首次安装,选择无;如果第二次安装同样的服务器,则选择已有模板;
7、点击完成,全部执行完毕后,即可在返回的列表页面中看到自己新添加的2台server。
3.2 为添加添加角色
1、选择主机模板
2、点击“创建”,编辑模板名称“my_host_template”,此时勾选想要安装的组件。
3、编辑该模板,可以修改模板名称,选择大数据欲安装组件列表。
为2台新节点勾选的服务组件样例:
5、依次点击“主机”–》“所有主机”
6、勾选2台新节点,依次点击“已选定的操作” --》“应用主机模板”,将该模板中包含的软件集安装到该主机上。
7、步骤6完成后,则新节点按主机模板安装服务完成。