cdh里面yarn扩容方法 cdh使用教程

转载

mob64ca13f50747 2023-08-04 13:01:31

文章标签 cdh里面yarn扩容方法 cloudera mysql java 文章分类 Yarn 大数据

环境

系统环境：CentOS 6.5 64bit

Java版本：java7

Mysql数据库版本：mysql5.6

Cloudera Manager 版本：5.3.4

CDH版本：5.3.4

准备工作：

修改主机名字：vi /etc/sysconfig/network

修改主节点hosts文件vi /etc/hosts

然后把hosts文件scp到其他节点

scp /etc/hosts root@big02.beicai.edu:/etc/

关闭防火墙和SELinux（所有节点）

关闭防火墙：
service iptables stop （临时关闭）
chkconfig iptables off （重启后生效）

关闭SELINUX：

setenforce 0（临时生效）
修改/etc/selinux/config 下的 SELINUX=disabled（重启后永久生效）

在主节点打通其他主机的ssh：

用ssh-keygen -t rsa 生成密钥一路回车

进入到~/.ssh/目录：cd ~/.ssh/

然后cat id_rsa.pub >> authorized_keys

再然后把authorized_keys文件通过scp拷贝到各个主机的~/.ssh目录下:

scp authorized_keys root@big02:~/.ssh/

为了方便可以两两主机之间都打通ssh

所有节点

ssh-keygen -t rsa 生成密钥

进入到~/.ssh/目录：cd ~/.ssh/

然后把各个节点的公钥放入到authorized_keys中cat id_rsa.pub >> authorized_keys

再把authorized_keys通过scp到各个节点的.ssh目录下

并且手动ssh登录一遍以打通节点

安装Oracle的Java:

CentOS自带Open Jdk，不过运行CDH5需要使用Oracle的jdk，需要Java 7的支持。jdk安装的时候，一定要采用rpm的安装方式，而不要采用tar解压的安装方式。因为rpm的安装方式，会在/usr/lib下新建两个软连接。

首先，卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载掉。

由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：

echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

执行命令java -version和javac -version，查看Jdk是否安装正确。

卸载系统自带OPEN-JDK（所有节点）

rpm -qa | grep java
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

安装Oracle的JDK（所有节点）

rpm -ivh jdk-7u80-linux-x64.rpm
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
java -version

安装MYsql(主节点)

通过yum -y install mysql-server安装mysql服务器。

设置开机启动chkconfig mysqld on，并启动mysql服务service mysqld start，

root的初始密码：

mysqladmin -u root password 'xxxx'。
mysqladmin -u root password 'beicaiHADOOP'

进入mysql命令行mysql -uroot -pxxxx，创建以下数据库：

mysql -uroot -pbeicaiHADOOP
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

给用户授权

grant all privileges on *.* to 'root'@'%' identified by 'beicaiHADOOP';
 flush privileges;刷新权限

安装和配置NTP服务（所有节点）

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。

具体思路如下：

master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件：yum install ntp。

完成后，配置开机启动：chkconfig ntpd on，

检查是否设置成功：chkconfig --list ntpd，其中2-5为on状态就代表成功。

配置内网NTP服务器（主节点）

在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。这里选用202.112.10.36作为对时中心，命令如下：ntpdate -u 202.112.10.36。

ntp服务只有一个配置文件，配置好就可以。这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出。

先备份在编辑

重启服务

配置ntp客户端

手动同步时间

重启服务

安装详解：

安装与配置Cloudera Manager Server 和Agent：

http://archive.cloudera.com/cm5/redhat/5/x86_64/cm/5.3.4

在/opt/目录下解压tar -zxvf cloudera-manager-el6-cm5.3.4_x86_64.tar.gz

给所有节点添加cloudera-scm用户

useradd --system --home=/opt/cm-5.3.4/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

为Cloudera Manager 5建立数据库：

因为我们用的是Mysql数据库，所以我们需要下载Mysql的JDBC驱动，本次从官网上下载的版本是：mysql-connector-java-5.1.38-bin.jar放到/opt/cm-5.3.4/share/cmf/lib/目录下。

mv mysql-connector-java-5.1.38-bin.jar /opt/cm-5.3.4/share/cmf/lib/
然后，建立数据库：
/opt/cm-5.3.4/share/cmf/schema/scm_prepare_database.sh mysql -h localhost -uroot -pbeicaiHADOOP --scm-host localhost scm root scm

格式是: scm_prepare_database.sh 数据库类型数据库服务器用户名密码 --scm-host Cloudera_Manager_Server所在的机器 .......

此步骤可能出现的错误

错误分析因为password显示为yes也就是说账号密码正确，所以确定scm用户登录数据库权限不足

解决办法为scm加权

grant all privileges on *.* to 'scm'@'%' identified by 'scm';
开启Cloudera Manager 5 Server端：
/opt/cm-5.3.4/etc/init.d/cloudera-scm-server start
设置成开机启动：
cp /opt/cm-5.3.4/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
chkconfig cloudera-scm-server on

注意：
server首次启动不要立即关闭或重启，因为首次启动会自动创建相关表以及数据，
如果因为特殊原因中途退出，请先删除所有表以及数据之后再次启动，否则将会出现启动不成功的情况。

Agent配置（所有节点）

开启Cloudera Manager 5 Agents端。

现在主节点修改/opt/cm-5.3.4/etc/cloudera-scm-agent/config.ini下面的serer_host为主节点的主机名。

/opt/cm-5.3.4/etc/init.d/cloudera-scm-agent star
 vi /opt/cm-5.3.4/etc/cloudera-scm-agent/config.ini
 
先复制/opt/cm-5.3.4到其他节点上，
scp -r /opt/cm-5.3.4 root@big02.beicai.edu:/opt/
其他节点启动agent
/opt/cm-5.3.4/etc/init.d/cloudera-scm-agent star
设置开机启动：
cp /opt/cm-5.3.4/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
chkconfig cloudera-scm-agent on

制作本地源

先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4/，这里需要下载三样东西，首先是与自己系统版本相对应的parcel包，然后是manifest.json文件。

CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel
CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha1
manifest.json

下载完成后，将这两个文件放到master节点的/opt/cloudera/parcel-repo下（目录在安装Cloudera Manager 5时已经生成），注意目录一个字都不能错。

接下来打开manifest.json文件，里面是json格式的配置，我们需要的就是与我们系统版本相对应的hash码，因为我们用的是Centos6.5，所以找到如下位置找到“hash”所对应的值：

将“hash”的值复制下来，然后，将CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha1文件名改为CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha，将复制下来的hash值替换掉文本中的hash值，按理说应该是一致的。保存好了，这样，我们的本地源制作完成了。

然后的操作就是控制台按照步骤安装即可。

安装CDH

在浏览器中打开，url为主节点ip加端口号

http://123.59.146.157:7180

账号密码都是admin

选取安装版本然后继续

继续

选择要安装的主机可以用规则搜索

搜索规则如下