CDH5.12.0 中扩容增加计算节点

标签(空格分隔): 大数据平台构建


  • 一: 环境准备
  • 二: 增加节点环境系统初始化
  • 三: 增加节点关于CDH5.12.0环境配置
  • 四: 在CM 上面节点增加

一:环境的概述与准备

概述:

很多时候,企业的大数据环境(CDH5.12.0),根据使用的时间越来越长,空间会有不足的情况,集群的计算 能力也因此下降, 此时需要对将大数据的 集群环境进行扩容 增加计算节点。

1.1 系统逻辑部署图

image_1cdqdt9o4c5nf6019v7nvoem19.png-136.9kB

1.2 安装文件详细信息列表:

CM:
cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
Jdk: 
   jdk-8u151-linux-x64.rpm

image_1cdqdutav17j81gff1mi58re12agm.png-215.3kB

1.3 系统主机名

image_1cdqe0g1k1n281n9519ne2orlc713.png-212.5kB

 注意: 生产安装环境 IP 地址 尽量是连续的。届时host 文件按照具体IP 地址进行配置。

二: 增加节点系统初始化

2.1: jdk 配置

root 用户执行
卸载内置的open-jdk版本:

#rpm -e jdk-***.rpm 
把有关jdk 的包都卸载掉
# rpm -ivh jdk-8u151-linux-x64.rpm
# java -version

image_1cdqe3ijoj0p1fuh1r9a1npuq2h1g.png-130.9kB

2.2: 配置系统时间chrony时间同步服务器:

root用户执行命令:
安装包:
yum install -y chrony*

echo "server 192.168.4.11  iburst" >> /etc/chrony.conf

image_1cdqe66mmdqo231h3i158e5gf1t.png-181.6kB

启动chrony.service 
/bin/systemctl restart chronyd.service 
/bin/systemctl enable chronyd.service 
chronyc sources -v 

image_1cdqe6tqj10g1tnrb0clf4j0m2a.png-304kB

2.3 同步到bios 时间

root用户执行命令

hwclock --localtime -w 

image_1cdqe8g9pidscgn1p1a1mi01j5i2n.png-70.8kB

2.4 关闭firewalld iptables 和禁用selinux

关闭iptables 
systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state

关闭iptables

 iptables -F
 systemctl stop iptables.service 
 service iptables save 

禁用 selinux

sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config  
setenforce 0
getenforce 0
sestatus

重启机器

reboot 

2.5 修改文件系统的最大连接数:

以root用户执行:
vim /etc/security/limits.conf
在最后加上:

*               soft    nofile          32728
*               hard    nofile          1029345
*               soft    nproc           unlimited
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited

2.6 配置新增节点服务器的无密钥认证登录

做root用户无密钥认证
 ssh-keygen ---一直敲回车到最后
 cat id_rsa.pub >> authorized_keys 
 将所有节点的公钥导入authorized_keys  分发到 所有的 机器的.ssh/ 下面

 chmod 600 .ssh/authorized_keys

 然后进行无密钥登录认证测试

三: 增加节点关于CDH5.12.0环境配置

3.1: 安装CDH5.12.0 组建所依赖的包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

3.2: 创建CM 的安装目录

root 用户执行命名:
mkdir /opt/cloudera-manager
上传已经下载好的CM 5.12.0软件
cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
去哪里下载:
http://archive.cloudera.com/cm5/cm/5/

3.3 解压CM包到/opt/cloudera-manager

以root用户执行命令:
tar -zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz -C /opt/cloudera-manager

3.4 修改agent 的配置文件config.ini

以root用户执行命令:

cd /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent
vim config.ini
server_host=NN01.sge.com.cn

3.5 创建cloudera-scm 用户用作安装

useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.6 提升cloudera-scm 的权限:

vim /etc/sudoers
在root 权限下面 增加 一行:
cloudera-scm    ALL=(ALL)       ALL

3.7 新建新增节点的目录

以root用户执行下面的命令:
mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/
新建目录: 
mkdir -p /var/lib/cloudera-scm-server
mkdir -p /var/lib/cloudera-scm-agent
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server/
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-agent/

3.8 启动新增DN03的agent端

启动CM-server的agent 端
cd /opt/cloudera-manager/cm-5.12.0/etc/init.d
./cloudera-scm-agent start 

image_1cdqev9hb1h1qsf4vfk1thcdvs34.png-118.2kB

以root 用户执行命令
echo "10" > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local

image_1cdqf0h2l16dclb126b17cnr7h3h.png-75.9kB

四:在CM 上面节点增加计算节点

4.1 增加一个主机的模板

image_1cdqf3tdk10m213g5120u7j4133b4e.png-185.6kB

image_1cdqf49ebhgich91ln4hi1m4q4r.png-141.5kB

创建一个新的主机简单的模板:
只有hadoop 的组建 hdfs 的 DataNode 与 yarn 的NodeManager

image_1cdqf53io1glq1uh01de01nafaj058.png-174.1kB

后期如果需要增加角色可以等计算节点已经增加到该 CDH集群当中,在进行分配处理。

image_1cdqf5nbk83r15vt1j0i2vq1ech5l.png-128.8kB

4.2 开始向CDH5.12.0集群中增加主机

image_1cdqf6ikq1bk913f7kq64ou10ed62.png-246.3kB

next

image_1cdqf73qo1ljdethhob1nsj17936f.png-217.6kB

next

image_1cdqf7v6716pp1got1rpatdpra96s.png-101.2kB

Next: 开始向该增加主机分发 parcel 
一直到分发完成。

image_1cdqf95mg1nu912vgh8vkuh10pv79.png-108.7kB

image_1cdqf9gclrnjf7f1rd514gmka37m.png-118.8kB

Next:

image_1cdqfa68l57r1r1itde1b1cqdm83.png-220.9kB

Next: 选择一开始创建的主机角色模板

image_1cdqfb66iov21igr16s215bm19rr8g.png-105.9kB

image_1cdqfbgir1je3gmk1ptj1mdp1ad98t.png-221.3kB

查看新增主机的角色:主机--> 角色:

image_1cdqfc8cr1su7135atkb63drbj9a.png-88.2kB

至此在CDH5.12.0 上面增加计算节点完成。