ClouderaManager5和CDH5离线安装,CDH-5.7.1

精选转载

yzy121403725 2016-11-30 16:35:51 博主文章分类：分布式文件系统

文件下载

CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

相关包的下载地址：

Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/

下载对应的文件，我下载的是：cloudera-manager-el6-cm5.7.1_x86_64.tar.gz

CDH安装包地址：http://archive.cloudera.com/cdh5/parcels

由于我们的操作系统为CentOS6.5，需要下载以下文件,找到对应的版本：

CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel

CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1

manifest.json

准备JDBC，等下连接mysql会用到：http://download.softagency.net/MySQL/Downloads/Connector-J/

算上jdbc一共是5个文件

强烈建议：有条件的话，以下所有操作都在root下完成，不要问我为什么知道的。

否侧，出现错误，10个有9个都是目录权限问题，根据log查错即可。

准备工作：系统环境搭建

如果使用虚拟机安装的话，每个节点至少保证硬盘空间20G，推荐30G以上。

内存，master至少6G，推荐8G以上，slave至少4G

以下操作均需要(root)管理员权限

1.网络配置(所有节点)

修改主机名：vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=node1

GATEWAY=192.168.3.253

修改ip与主机名的对应关系：vim /etc/hosts

192.168.3.201 node1

192.168.3.202 node2

192.168.3.203 node3

192.168.3.204 node4

修改网络配置

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO=none

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="038b2dab-5902-46d7-9d4c-2c0fb42599b9"

HWADDR=00:0C:29:50:84:9A

IPADDR=192.168.3.201

PREFIX=24

GATEWAY=192.168.3.253

DNS1=192.168.1.242

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME="System eth0"

LAST_CONNECT=1468601480

2.打通SSH，设置ssh无密码登陆(所有节点)

执行ssh-keygen -t rsa，一路回车，生成无密码的密钥对。

将公钥添加到认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，并设置authorized_keys的访问权限：chmod 600 ~/.ssh/authorized_keys。

通过scp命令将各节点的认证文件拷贝到所有其他节点使得各节点能够相互访问。

3.安装Oracle的Java(所有节点)

CentOS自带OpenJdk，不过运行CDH5需要使用Oracle的JDK，需要Java 7的支持。

卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载之。

去Oracle的官网下载jdk的rpm安装包，并使用rpm -ivh 包名安装，最后配置环境变量。

在 etc/profile中，

vi /etc/profile

添加如下(使用rpm安装的java在/usr/java/jdk1.8XXXX)：

export JAVA_HOME=/usr/java/jdk1.8.0_91

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

然后使环境变量生效：

source /etc/profile

4.安装配置MySql(主节点)

# mysql 客户端程序

# mysql-server 服务端程序

# mysql-devel 开发设计的库

[root@localhost ~]# yum -y install mysql mysql-server mysql-devel

# 开机启动

[root@localhost ~]# chkconfig mysqld on

# 启动mysqld服务

[root@localhost ~]# service mysqld start

# 进行一些安全性配置

[root@localhost ~]# /usr/bin/mysql_secure_installation

注意：这里远程连接mysql可能会出现权限报错，需要修改user表，具体方法请自行搜索

mysql -u root -p

xxxxxx

进入mysql命令行，创建以下数据库：

#hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;、

#activity monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#activity oozie 如果需要的话

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

设置root授权访问以上所有的数据库：

#授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'node1' identified by 'xxxx' with grant option;

flush privileges;

5.关闭防火墙和SELinux

注意：需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙：

service iptables stop (临时关闭)

chkconfig iptables off (重启后生效)

关闭SELINUX(实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证):

set enforce 0 (临时生效)

修改 vi /etc/selinux/config 下的

SELINUX=disabled (重启后永久生效)

# This file controls the state of SELinux on the system.

# SELINUX= can take one of these three values:

# enforcing - SELinux security policy is enforced.

# permissive - SELinux prints warnings instead of enforcing.

# disabled - No SELinux policy is loaded.

SELINUX=disabled

# SELINUXTYPE= can take one of these two values:

# targeted - Targeted processes are protected,

# mls - Multi Level Security protection.

SELINUXTYPE=targeted

6.所有节点配置NTP服务 (这一步暂时可以跳过，但是在集群启动以后，会提示时间不同步)

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。具体思路如下：

master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。

所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件：yum install ntp。

启动 ntp：

$ service ntpd start

设置开机启动:

$ chkconfig ntpd on

检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功。

可以通过以下命令先进行时间同步：

ntpdate us.pool.ntp.org

主节点配置(master节点)

vi /etc/ntp.conf

ntp服务只有一个配置文件，配置好了就OK。这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出(大部分把#去掉即可，不需要添加)：

driftfile /var/lib/ntp/drift

# Permit time synchronization with our time source, but do not

# permit the source to query or modify the service on this system.

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface. This could

# be tightened as well, but to do so would effect some of

# the administrative functions.

restrict 127.0.0.1

restrict -6 ::1

# Hosts on local network are less restricted.

restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

配置文件完成，保存退出，启动服务，执行如下命令：service ntpd start

检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：

synchronisedto NTP server () at stratum 2time correct towithin74 mspolling server every 128 s

如果出现异常请等待几分钟，一般等待5-10分钟才能同步。

在其他节点，直接运行

ntpdate -u node1

(主节点ntp服务器) 即可，和node1同步

这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务：service ntpd start

因为是连接内网，这次启动等待的时间会比master节点快一些，但是也需要耐心等待一会儿。

开始安装Cloudera Manager

安装Cloudera Manager Server 和Agent

主节点解压安装

cloudera manager的目录默认位置在/opt下，解压：tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.7.1和cloudera目录放到/opt目录下。

为Cloudera Manager 5建立数据库

首先需要去MySql的官网下载JDBC驱动，http://dev.mysql.com/downloads/connector/j/，解压后，找到mysql-connector-java-5.1.35-bin.jar，放到/opt/cm-5.7.1/share/cmf/lib/中。

在主节点初始化CM5的数据库：

/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode1 -uroot -p123123 --scm-host node1 scm scm scm

在这里后面的参数分别是：数据库类型数据库名称数据库主机名数据库用户名密码 --scm-host cmserver主机名 scm scm scm

Agent配置

修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

同步Agent到其他所有节点：

scp -r /opt/cm-5.7.1 root@node2:/opt/

在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.7.1/run/cloudera-scm-server/ --no -create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo需要手动创建)。

相关启动脚本

通过/opt/cm-5.7.1/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.7.1/etc/init.d/cloudera-scm-agent start启动Agent服务。 (所有节点都要启动Agent服务，包括服务端)

我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。

安装到此处，可以考虑备份节点，为将来的节点拓展做准备。

CDH5的安装配和集群配置 Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间，这里可能要等待一会才能访问成果，可能需要3-5分钟)，默认的用户名和密码均为admin：

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_02

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_03

各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_04

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_05

接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_06

如果此处发现不到parcel包，就重启所有节点的agent服务，和master的server服务。

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_07

点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，这个过程的速度就取决于节点之间的传输速度。

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_08

当前受管

假如在安装的时候出现问题，如网络连接中断，机器死机，继续安装的时候可能会出现查询不到机器，并且根据ip搜索机器的时候，出现“当前受管”

的状态为“是”，安装失败的机器不能再选择了。

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_09

先停止所有服务。清除数据库。

1> 删除Agent节点的UUID

# rm -rf /opt/cm-5.7.1/lib/cloudera-scm-agent/*

2> 清空主节点CM数据库

进入主节点的Mysql数据库，然后drop database cm;

3> 在主节点上重新初始化CM数据库

# /opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

等待一下，连接访问master:7180即可

所有节点部署完成

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_10

接下来是主机检查，可能会遇到以下问题：

ClouderaManager5和CDH5离线安装,CDH-5.7.1_hadoop cloudera_11

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

通过echo 10 > /proc/sys/vm/swappiness即可解决。(注意切换到root)

已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始脚本中，以便在系统重启时予以设置。以下主机将受到影响