1.使用CDH,其中CDH表示的意思是Cloudera’s Distribution Including Apache Hadoop,简称“CDH”)
基于web的用户界面,支持大多数的hadoop组件,包括了HDFS,MapReduce以及HIve和Pig
Hbase以及Zookeeper以及Sqoop,简化了大数据平台的安装以及使用的难度
首先第一步,关闭防火墙,具体的linux命令如下所示;
扩展:防火墙命令相关基本设置如下所示:
1、firewalld的基本使用
启动: systemctl start firewalld
关闭: systemctl stop firewalld
查看状态: systemctl status firewalld
开机禁用 : systemctl disable firewalld
开机启用 : systemctl enable firewalld
然后使用linux命令进行相关的验证一下:
然后去更改主机名:
使用命令如下所示:
使用命令hostnamectl status
展示结果如下所示:
展示hostanme的状态:
将主机名的名称进行更改相关的参数如下所示:
我是将hostname的名称改成了cm-server
setenforce 0
设置SELinux 成为permissive模式 临时关闭selinux的
更改过后,然后查看以下相关的状态,执行一下相关的linux命令进行相关的查看具体命令如下所示:
使用ssh的主节点访问子节点时候的节点免密去访问:
记录:主节点访问子节点的时候ssh是没有认证以及admin的认证的:
相关部分的的配置如图所示;:
下一步在cm-server也就是当前ssh登陆所使用上安装数据库
相关的操作步骤如下所示:
安装过程如下所示:
下载完成过后如下所示:
读入y进行相关的安装包的安装;
在cm-server上安装mariadb上,其目的是用于后期数据存储
完成之后展示过程如下所示:
完毕过后,显示如下所示:
之后进行相关配置的更改,过程如下所示:
linux下在该配置文件下更改目录,详细目录如下所示:
本人机器的目录如下所示:
将onboot改成如下所示:
之前将主机名更改成如下所示:
显示结果如下所示:
为了使用ifconfig查看网络:
显示结果如下所示:
安装JDK(每台机器,分布式的机器都需要,每一台),首先卸载原有的openjdk
linux下卸载jdk相关教程,如下所示:
将机器中原始的JDK删除,装上带有rpm后缀的新的JDK
在该文件夹下更改相关的配置,如下图所示:
修改每台服务器的有关配置hostname,selinux关闭,防火墙关闭,hostname修改,分别对三台都进行更改,并且注意每台名称
和ip.每台都要配上hosts,下面以cdh1为例
三个集群之间网络同步:
ntp服务器配置:
目的用于3个节点之间实现时间同步: