因为资源有限，这里准备了三台机器CentOS6.4-x64
192.168.43.121 cdh-bigdata-01(主节点cm-server 从节点cm-agent)
192.168.43.122 cdh-bigdata-02(从节点cm-agent)
192.168.43.123 cdh-bigdata-03(从节点cm-agent)
配置都是4G内存，网卡NAT模式
1、基本配置(所有机器都做)
主机名设置
/etc/sysconfig/network
/etc/hosts
重启生效
2、关闭防火墙(所有机器都做)
service iptables stop
chkconfig iptables off
3、启动ntpd服务(所有机器都做)
service ntpd start
chkconfig ntpd on
4、关闭selinux服务–>disabled(/etc/selinux/config)(所有机器都做)
vim /etc/selinux/config
#SELINUX=enforcing
SELINUX=disabled5、jdk(所有机器都做)
vim /etc/profile
export JAVA_HOME=/opt/jdk ---->在下面执行的scm_prepare_database.sh脚本中要引用
export PATH=$PATH:$JAVA_HOME/bin6、安装msyql元数据库（其中一台服务器即可，这里在cdh-bigdata-01上）
-----在线安装
yum -y install mysql-server
service mysqld start
chkconfig mysqld on
mysql -uroot -proot
mysql > grant all privileges on *.* to 'root'@'%' identified by 'root';
mysql > flush privileges;-------离线安装
1）、卸载依赖
[root@cdh-bigdata-01 opt]# rpm -qa | grep MySQL
[root@cdh-bigdata-01 opt]# rpm -qa | grep mysql
mysql-libs-5.1.71-1.el6.x86_64
[root@cdh-bigdata-01 opt]# rpm -e --nodeps `rpm -qa | grep mysql`
2）、安装服务端和客户端
服务端
[root@cdh-bigdata-01 opt]# rpm -ivh soft/MySQL-server-5.5.45-1.linux2.6.x86_64.rpm
客户端
[root@cdh-bigdata-01 opt]# rpm -ivh soft/MySQL-client-5.5.45-1.linux2.6.x86_64.rpm
3）、启动MySQL服务，同时将其添加进开机启动项
启动服务
[root@cdh-bigdata-01 opt]# service mysql（离线安装的服务名称，在线安装的服务名称为mysqld） start
添加进开机启动项
[root@cdh-bigdata-01 opt]# chkconfig mysql on
4）、设置root用户及其密码
[root@cdh-bigdata-01 opt]# /usr/bin/mysql_secure_installation7、设置/proc/sys/vm/swappiness为0。(所有机器都做)
因为CDH运行需要消耗大量的内存，默认值为60，也就是说当内存使用到100-60=40%的时候，就开始出现有交换分区的使用。
大家知道，内存的速度会比磁盘快很多，这样子会加大系统io，同时造的成大量页的换进换出，严重影响系统的性能，所以我们在操作系统层面，
要尽可能使用内存，对该参数进行调整。
调整：
vim /etc/sysctl.conf
添加内容
vm.swappiness=0
重启可以生效，当然也可以激活：
sysctl -p
8、关闭THP(所有机器都做)
透明大页的开启，同样会消耗掉大量的内容，（包括HDP和CDH）建议将其关闭，添加进/etc/rc.local
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag9、设置SSH免密码登录(所有机器都做)
ssh-keygen -t rsa 一路回车
ssh-copy-id -i root@host
需要将预备的server的ssh-keygen拷贝到其它的agent机器上面(将cdh-bigdata-01的密钥拷贝到cdh-bigdata-02和cdh-bigdata-03)
ssh-copy-id -i root@cdh-bigdata-01
ssh-copy-id -i root@cdh-bigdata-02
ssh-copy-id -i root@cdh-bigdata-03
安装配置：
网络原因，需要下载的安装包非常多，造成安装过程非常缓慢，所以建议离线安装，
安装的CM版本为cloudera-manager-el6-cm5.6.0_x86_64.tar.gz，对应的CDH版本为CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel
下载地址
CM：http://archive.cloudera.com/cm5/cm/5/ cloudera-manager-el6-cm5.6.0_x86_64.tar.gz
CDH：http://archive.cloudera.com/cdh5/parcels/5.6.1/ CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel
CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1(必须要下载)
manifest.json(必须要下载)
10、安装CM
约定：
将下载好的cm和CDH上传到 root@cdh-bigdata-01:/opt/soft/
解压：
opt]# tar -zxvf soft/cloudera-manager-el6-cm5.6.0_x86_64.tar.gz
在/opt目录下会出现两个子目录
/opt/cm-5.6.0
/opt/cloudera
将mysql的驱动jar包拷贝到/opt/cm-5.6.0/share/cmf/lib/中做CM初始化元数据库使用
opt]# cp soft/mysql-connector-java-5.1.39.jar /opt/cm-5.6.0/share/cmf/lib/
11、在主节点初始化CM5的数据库
/opt/cm-5.6.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh-bigdata-01 -P3306 -uroot -proot --scm-host cdh-bigdata-01 scm scm scm
or
/opt/cm-5.6.0/share/cmf/schema/scm_prepare_database.sh mysql cm -uroot -proot --scm-host localhost scm scm scm
问题：MySQLSyntaxErrorException: Access denied for user ‘root’@’%’ to database ‘cm’
重新授权：
grant all privileges on cm.* to ‘root’@’%’ identified by ‘root’ with grant option;
drop database cm;
12、修改cm-agent
vim /opt/cm-5.6.0/etc/cloudera-scm-agent/config.ini
修改
server_host=cdh-bigdata-01
同步到其它的机器
scp -r /opt/cm-5.6.0 root@cdh-bigdata-02:/opt
scp -r /opt/cm-5.6.0 root@cdh-bigdata-03:/opt
13、在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.6.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm
准备Parcels，用以安装CDH5
14、将CDH5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo目录不存在的话需要手动创建）。
opt]# cp soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/
opt]# cp soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha
注意，在/opt/cloudera/parcel-repo/目录下一定要.sha1后缀名改为.sha，不然系统不识别离线安装包，还会从网络中下载
opt]# cp soft/manifest.json /opt/cloudera/parcel-repo/
15、启动相关服务端和客户端脚本
通过/opt/cm-5.6.0/etc/init.d/cloudera-scm-server start|stop|status|restart启动服务端。
通过/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent start|stop|status|restart启动Agent服务。 （所有节点都要启动Agent服务，包括服务端）
基础配置完成，接下来就是在页面中进行配置了
访问http://cdh-bigdata-01:7180
用户名：admin，密码：admin
按照提示一步一步完成安装配置
在安装过程中可能会遇到以下两个问题：
针对Hive、oozie、cms需要mysql驱动的问题
hive
cp cm-5.6.0/share/cmf/lib/mysql-connector-java-5.1.39.jar /opt/cloudera/parcels/CDH-5.6.1-1.cdh5.6.1.p0.3/lib/hive/lib/
oozie
cp cm-5.6.0/share/cmf/lib/mysql-connector-java-5.1.39.jar /var/lib/oozie/
Cloudera Management Service (只需要在配置了该服务的机器上配置即可)
opt]# cp soft/mysql-connector-java-5.1.39.jar /usr/share/java/mysql-connector-java.jar
新增一个节点(jack-cdh-04)
基本配置相同，同样要做jack-cdh-01到jack-cdh-04的ssh拷贝
将cloudera-manager-el6-cm5.6.0_x86_64.tar.gz到新增的机器上
tar zxvf cloudera-manager-el6-cm5.6.0_x86_64.tar.gz -C /opt/
vim etc/cloudera-scm-agent/config.ini 设置server_host为scm机器—>jack-cdh-01
useradd --system --home=/opt/cm-5.6.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm
启动 etc/init.d/cloudera-scm-agent start
在web页面添加完成配置
在cm所在的服务器上面启动
/opt/cm-5.6.0/etc/init.d/cloudera-scm-server start
如果服务端也部署的客户端，也要启动客户端
其他机器上面启动客户端
/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent start
访问：http://<server.ip>:7180
向hdfs写数据的时候，权限报错，只需要修改/etc/hadoop/conf/hdfs-site.xml中的dfs.permissions选项
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
