一、准备工作


1、下载CDH相关文件


       


Cloudera Manager : http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.9.0_x86_64.tar.gz


CDH安装包:  http://archive.cloudera.com/cdh5/parcels/5.9.0/CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel


                        http://archive.cloudera.com/cdh5/parcels/5.9.0/CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1


                        http://archive.cloudera.com/cdh5/parcels/5.9.0/manifest.json


myslq连接jar: http://download.softagency.net/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.40.zip


CDH安装的RPM包: http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/






2、安装Centos6.5


vim /etc/selinux/config   修改为 SELINUX=disabled


卸载自带openJdk(CDH不支持openjdk):


[root@server1 ~]# rpm -qa | grep jdk     \\查询系统自带jdk



java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64



java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64



[root@server1 ~]# yum -y remove java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64  \\卸载自带jdk






[root@server1 ~]# yum -y remove java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64   \\卸载自带jdk


安装oracle jdk


下载oracle jdk


  http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html


/usr/local /



[root@server1 .ssh]# vi /etc/profile 配置环境变量





export JAVA_HOME=/usr/local/jdk1.8



export PATH=$JAVA_HOME/bin:$PATH



export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar





[root@server1 .ssh]# source /etc/profile



关闭防火墙:


[root@server1 ~]# service iptables stop \\即时生效



[root@server1 ~]# chkconfig iptables off \\重启生效


修改主机名


[root@server1 ~]# vi /etc/sysconfig/network



NETWORKING=yes



HOSTNAME=server1   \\hostname 为主机名


修改hosts


[root@server1 ~]# vi /etc/hosts





192.168.1.31 server1



192.168.1.32 server2



192.168.1.33 server3


配置ssh免密码登录


\\主机执行



[root@server1 ~]# ssh-keygen -t rsa  \\回车键到结束






[root@server1 .ssh]# cd /root/.ssh/



[root@server1 .ssh]# ls



id_rsa id_rsa.pub known_hosts






[root@server1 .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys



[root@server1 .ssh]# ls



authorized_keys id_rsa id_rsa.pub known_hosts






\\分发到各子机



[root@server1 .ssh]# scp /root/.ssh/authorized_keys root@server2:/root/.ssh/   



root@server2's password:



authorized_keys





配置ntp服务




\\所有节点执行



[root@server1 .ssh]# yum install ntp



[root@server1 .ssh]# chkconfig ntpd on  \\设置开机启动



[root@server1 .ssh]# chkconfig --list ntpd \\检查是否设置成功  与系统基本相同的为“启动”






\\主机同步中心时间  阿里云时钟服务



[root@server1 .ssh]# ntpdate -u ntp1.aliyun.com



【主机ntp服务配置】



[root@server1 .ssh]# vi /etc/ntp.conf



修改为



# Please consider joining the pool (http://www.pool.ntp.org/join.html).



server ntp1.aliyun.com prefer



#broadcast 192.168.1.255 autokey



\\启动ntp服务



[root@server1 .ssh]# service ntpd start



【子机ntp配置】



[root@server2 .ssh]# vi /etc/ntp.conf



修改server为主机的ip



# Please consider joining the pool (http://www.pool.ntp.org/join.html).



server 192.168.1.31



#broadcast 192.168.1.255 autokey









ntp服务配置完成  可以用 date命令查看时间是否一致





在主节点(本次是server1)安装mysql


参考rpm包方式安装mysql 



二 安装clourdera-manage


【主机操作】


将cloudera-manager-el6-cm5.9.0_x86_64.tar.gz放至/opt



tar xzvf cloudera-manager*.tar.gz  \\在opt目录下执行解压


将mysql-connector-java-5.1.40-bin.jar拷贝至/opt/cm-5.9.0/share/cmf/lib


将mysql-connector-java-5.1.40-bin.jar拷贝至/usr/share/java 并重新命名为mysql-connector-java.jar(有时包jdbc驱动找不到一般是此步骤未做)



初始化mysql库


[root@server1 cm-5.9.0]# /opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm


这时我们登录mysql可以看到已经有个CM库了




创建用户(所有节点执行)


[root@server1 cm-5.9.0]# useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm






Agent配置 


[root@server1 cloudera-scm-agent]# vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini



\\将server_host 改为主节点 主机名



server_host=server1





将Agent分发到各子节点


[root@server1 cloudera-scm-agent]# scp -r /opt/cm-5.9.0/ root@server2:/opt/



[root@server1 cloudera-scm-agent]# scp -r /opt/cm-5.9.0/ root@server3:/opt/




将parcel文件放至/opt/cloudera/parcel-repo


三个文件:CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel


                CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1


                manifest.json


CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 重命名为 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha








安装RPM包


主机安装安装所有RPM包


在rpm包路径下执行 


[root@server1 cdh-rpm]# yum install *.rpm


在这里如果提示mysql版本冲突则需要执行以下命令升级mysql源


rpm -Uvh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm


如果是用yum 安装的mysql 此处用yum安装不会存在版本冲突问题


在所有子机安装rpm包


cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm


cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm


将这两个文件拷贝到子机目录下 在该目录下执行


[root@server3 cdh-rpm]# yum install *.rpm


关闭server开机启动




[root@server1 init.d]# chkconfig cloudera-scm-server off




启动server,server启动方式为


[root@server1 init.d]# /opt/cm-5.9.0/etc/init.d/cloudera-scm-server start


启动agent(所有节点)


[root@server1 init.d]# service cloudera-scm-agent start




至此 cloudera manage 安装完毕




在浏览器输入http://192.168.1.31:7180/  ip为主机ip


用户名密码都为 admin




cdh yarn重装_hadoop





选择接受,按步骤到主界面,这时未添加集群,也未安装任何服务,首先添加集群,勾选主机,进入如下界面



cdh yarn重装_Linux_02





集群机器添加完毕后到选择安装的服务处,此处为第一次安装的时候可以选一组的服务,也可跳过此步,后续在集群中单独安装每个服务,但在安装的时候得手动选择服务依赖关系。



cdh yarn重装_hadoop_03



cloudera manage有非常强大丰富的管理、监控、诊断、集成功能,其管理界面的用户交互性等都非常不错,具有较高的学习研究价值


以上介绍了CDH的安装过程,对于Cloudera Manage管理页面操作有问题的朋友请留言




                                                             --史龙刚