1.使用CDH,其中CDH表示的意思是Cloudera’s Distribution Including Apache Hadoop,简称“CDH”)

基于web的用户界面,支持大多数的hadoop组件,包括了HDFS,MapReduce以及HIve和Pig

Hbase以及Zookeeper以及Sqoop,简化了大数据平台的安装以及使用的难度

首先第一步,关闭防火墙,具体的linux命令如下所示;

CDH集成kafka有什么应用 cdh集群是什么意思_CDH集成kafka有什么应用

扩展:防火墙命令相关基本设置如下所示:

1、firewalld的基本使用
启动: systemctl start firewalld
关闭: systemctl stop firewalld
查看状态: systemctl status firewalld 
开机禁用  : systemctl disable firewalld
开机启用  : systemctl enable firewalld

然后使用linux命令进行相关的验证一下:

CDH集成kafka有什么应用 cdh集群是什么意思_linux命令_02

然后去更改主机名:

使用命令如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_CDH集成kafka有什么应用_03

使用命令hostnamectl status

展示结果如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_linux命令_04

展示hostanme的状态:

将主机名的名称进行更改相关的参数如下所示:

我是将hostname的名称改成了cm-server

setenforce 0
设置SELinux 成为permissive模式 临时关闭selinux的

更改过后,然后查看以下相关的状态,执行一下相关的linux命令进行相关的查看具体命令如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_CDH集成kafka有什么应用_05

使用ssh的主节点访问子节点时候的节点免密去访问:

记录:主节点访问子节点的时候ssh是没有认证以及admin的认证的:

相关部分的的配置如图所示;:

CDH集成kafka有什么应用 cdh集群是什么意思_linux命令_06

下一步在cm-server也就是当前ssh登陆所使用上安装数据库

相关的操作步骤如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_主机名_07

安装过程如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_linux_08

 

下载完成过后如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_主机名_09

读入y进行相关的安装包的安装;

CDH集成kafka有什么应用 cdh集群是什么意思_主机名_10

在cm-server上安装mariadb上,其目的是用于后期数据存储

完成之后展示过程如下所示:

完毕过后,显示如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_主机名_11

 

之后进行相关配置的更改,过程如下所示:

linux下在该配置文件下更改目录,详细目录如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_CDH集成kafka有什么应用_12

本人机器的目录如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_CDH集成kafka有什么应用_13

 

将onboot改成如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_CDH集成kafka有什么应用_14

之前将主机名更改成如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_CDH集成kafka有什么应用_15

显示结果如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_linux_16

为了使用ifconfig查看网络:

显示结果如下所示:

CDH集成kafka有什么应用 cdh集群是什么意思_主机名_17

安装JDK(每台机器,分布式的机器都需要,每一台),首先卸载原有的openjdk

linux下卸载jdk相关教程,如下所示:

将机器中原始的JDK删除,装上带有rpm后缀的新的JDK

 

在该文件夹下更改相关的配置,如下图所示:

CDH集成kafka有什么应用 cdh集群是什么意思_linux_18

修改每台服务器的有关配置hostname,selinux关闭,防火墙关闭,hostname修改,分别对三台都进行更改,并且注意每台名称

和ip.每台都要配上hosts,下面以cdh1为例

三个集群之间网络同步:

CDH集成kafka有什么应用 cdh集群是什么意思_linux_19

ntp服务器配置:

目的用于3个节点之间实现时间同步:

CDH集成kafka有什么应用 cdh集群是什么意思_linux_20