原有服务器集群因计算力不够、磁盘空间不足等原因需要在原有cdh集群上添加新的计算节点(datanode),ClouderaManager提供了一种可视化的添加方式。

一、节点规划

NO

IP

HOSTNAME

ROLE

1

11.11.11.11

server11-11

dn

2

11.11.11.12

server11-12

dn

二、安装前准备

2.1 配置yum仓库

Yum资源库配置目录位于/etc/yum.repos.d下:
①、创建CM的yum资源库配置文件cloudera-repo.repo

[cloudera-repo]
name=cloudera-repo
baseurl=http://11.11.11.10/cm6
enabled=1
gpgcheck=0

②、拷贝cloudera-repo.repo到其他2台新dn节点server上。

cd /etc/yum.repos.d/
scp -P 22 -i cloudrea-repo.repo "root@11.11.11.11:`pwd`" 
scp -P 22 -i cloudrea-repo.repo "root@11.11.11.11:`pwd`"

2.2 系统环境设置

①、服务器修改主机名:

hostnamectl set-hostname server11-11
hostnamectl set-hostname server11-12

②、主机名与ip映射

cat /etc/hosts
11.11.11.11   server11-11
11.11.11.12   server11-12

③、永久关闭防火墙&selinux:

systemctl stop firewalld.service                 #关闭防火墙
systemctl disable firewalld.service             #设置防火墙关闭启动
setenforce 0                                         #临时关闭selinux
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config #永久关闭selinux

④、集群时钟同步操作

每台服务器配置ntp服务,添加时间服务器,并启动时间服务器,开机启动,写入硬件时钟:
A).安装ntp服务

yum -y remove chrony #卸载掉默认的chrony时钟软件
yum install ntp -y

B).修改配置文件
修改/etc/ntp.conf文件:

#Use public servers from the pool.ntp.org project.
#Please consider joining the pool (http://www.pool.ntp.org/join.html).
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 0.pool.ntp.org
server 1.pool.ntp.org
server 2.pool.ntp.org

C).ntp服务启动&开机自启设置

systemctl start ntpd #启动ntp服务
systemctl enable ntpd #设置ntp开机自启

D).时钟同步验证
如下命令,左边如出现*号表示同步成功。一般需要5~10分钟,多刷几次。
ntpq -p ⑤、安装python2.7
centos7默认已安装python2.7

检验命令如下:

#python --version
Python 2.7.5

⑥、设置主节点服务器以root身份免密码登陆从节点服务器
#ssh-keygen -t rsa

不输入任何密码,一路敲回车,生成无密码的密钥对。
然后将公钥添加到CDH集群中每台server中的authorized_keys认证文件中:

ssh-copy-id -p 22 -i ~/.ssh/id_rsa.pub "root@11.11.11.11"
ssh-copy-id -p 22 -i ~/.ssh/id_rsa.pub "root@11.11.11.12"

发送公钥到各节点之后进行ssh访问过程中,如果提示输入密码则可能为公钥并未发送成功至各节点,可能为目标节点上root用户下无 .ssh 目录,请在该节点以root身份执行如下操作:
#ssh-keygen -t rsa 之后,再执行ssh-copy-id命令。

三、安装过程

3.1 添加主机

1、依次点击“主机”-》“更多主机”-》“Add Hosts”

CDH集群怎么docker部署 cdh集群添加节点_CDH集群怎么docker部署


2、继续,填入FQDN格式主机名,搜索要添加的主机

CDH集群怎么docker部署 cdh集群添加节点_CDH集群怎么docker部署_02


3、选择安装jdk;

4、上传ssh私钥 id_rsa,以完成新节点登陆;

5、系统自动安装agent;

6、添加Parcels选项里填写自己的yum源地址,主机模板如果首次安装,选择无;如果第二次安装同样的服务器,则选择已有模板;

7、点击完成,全部执行完毕后,即可在返回的列表页面中看到自己新添加的2台server。

3.2 为添加添加角色

1、选择主机模板

CDH集群怎么docker部署 cdh集群添加节点_linux_03

2、点击“创建”,编辑模板名称“my_host_template”,此时勾选想要安装的组件。

CDH集群怎么docker部署 cdh集群添加节点_CDH集群怎么docker部署_04


3、编辑该模板,可以修改模板名称,选择大数据欲安装组件列表。

CDH集群怎么docker部署 cdh集群添加节点_服务器_05


为2台新节点勾选的服务组件样例:

CDH集群怎么docker部署 cdh集群添加节点_服务器_06

5、依次点击“主机”–》“所有主机”

6、勾选2台新节点,依次点击“已选定的操作” --》“应用主机模板”,将该模板中包含的软件集安装到该主机上。

CDH集群怎么docker部署 cdh集群添加节点_centos_07


7、步骤6完成后,则新节点按主机模板安装服务完成。