cdh集群安装hdfs cdh安装部署

1.基础环境准备

1.1创建一个新的虚拟机

1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。

1.3修改配置文件

1.4测试是否可以联网

1.5安装常用命令

1.6关闭防火墙

1.7复制两台虚拟机并修改名称

1.8生成MAC地址并记录此地址之后取消

1.9启动第二台虚拟机

1.10修改配置文件，修改以下三处内容（MAC地址为之前记录的）。

1.11修改MAC地址与配置文件中一致

1.12对第三台服务器重复1.8-1.11

1.13修改主机名

1.14配置host

为了以后,我们使用谷歌或者其他浏览器访问域名也可以,那么我们需要对windows中的hosts文件进行配置。打开C:\Windows\System32\drivers\etc下的hosts文件,进行相应的配置：

1.14关闭selinux（在配置文件第一次设置时需要重启服务器）

2.安装jdk和mysql

2.1传输文件

2.2解压

2.3配置环境变量

2.4下载MySQL安装源

若提示wget命令不存在，先执行

2.5安装MySQL安装源

2.6在线安装MySQL

在这里提醒，下载的东西很多而且是镜像下载。需要耐心等待。

2.7启动MySQL服务

2.8设置开机启动

2.9修改root登录密码

复制得到的密码，使用此密码登陆root

修改密码：

2.10配置mysql默认编码为utf-8

2.11重启MySQL

2.12设置允许远程、本地、host的访问权限

3.配置ssh免密

只在CDH001上操作:

3.1生成公钥和私钥

3.2在各自的~/.ssh目录下会生成两个文件

3.3将公钥拷贝到要免密登录的目标机器上

4.NTP时间同步

4.1在所有节点安装ntp服务

4.2设置时区

4.3开机自启动

4.4启动服务

4.5编辑ntp配置文件（4.5和4.6只在master节点配置）

4.6手动同步一次时间，免得本机与外部时间服务器时间差距太大，让ntpd不能正常同步

4.7编辑ntp配置文件（4.7和4.8只在slave节点配置）

4.8手动同步一次时间，免得本机与外部时间服务器时间差距太大，让ntpd不能正常同步

4.9启动ntp服务（所有节点）

5.安装CM

5.1下载cm

cm6.2.0 地址：https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

5.2传输文件到/home/cdh/softwares

CDH001四个安装包全部传输，CDH002和CDH003上传除了server和server-db外的两个包

5.3在所有结点上安装依赖

命令很长：yum install -y bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse- libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python fuse-libs5.4安装管理结点

5.5初始化管理节点数据库

5.6登录mysql创建scm用户

5.7创建hive用户

5.8初始化scm数据库

若报如下图错误

则要在root用户下配置java的环境变量

5.9上传parcel

5.10复制文件

5.11在所有的子节点上安装cloudera-manager-daemons、cloudera-manager-agent

若报如下图所示错误，在root用户下配置java环境变量

若缺少依赖，则安装对应依赖

5.12修改agent配置

5.13启动cloudera-scm-server

5.14设置开机自启

5.15启动cloudera-scm-agent

5.16设置开机自启

6.登陆管理界面

使用浏览器访问主节点的7180端口，用户名密码默认都是admin

这一步出现错误，可以参考解决方法：

1.将jdk压缩包解压到/usr/java（因为默认会到这个目录下寻找）。

2.清空nn和dn下的数据。