CDH 是hadoop的发行版,是hadoop分支中的一种,由cloudera维护,基于稳定版的hadoop构建,提供hadoop核心

CDH3:是最早版本,对应hadoop1.x版本 开始免费版只支持50个机器

CDH4,CDH5,对应hadoop2.X版

安装方式:

clouder Manager 是一个管理CDH端到端的应用,管理监控,诊断,集成

Yum

rpm

Tarball

要是三台虚拟机:内存分配(8G内存):5,1,1

开发jar路径:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/


注意:以下步骤除了第8步安装MySQL只在一台机子上做,其他步骤都需要做

1、网络配置 (每台虚拟机联网)

vi /etc/sysconfig/network 修改主机名称

vi /etc/hosts 做好IP机名映射

2,做好几台机子之间免密

执行命令生成密钥。ssh-keygen ,一直enter键就行    (cd /root        ls –al      cd .ssh)

拷贝主节点的公钥到所有节点中去。ssh-copy-id -i id_rsa.pub root@ node2 node2可随意修改node1 node2 (所有需要免密码的服务器)

3、防火墙关闭

service iptables stop 临时关闭防火墙

chkconfig iptables off 永久关闭防火墙

4、SELINUX关闭

(临时生效)

SELINUX=disabled) 重启后永久生效

5、安装JDK配置环境变量

上传jdk-7u67-linux-x64.rpm包到服务器

rpm -ivh jdk-7u67-linux-x64.rpm 安装jdk

vim ~/.bash_profile 打开,配置环境变量

export JAVA_HOME=/usr/java/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

source ~/.bash_profile 刷新环境变量

6,ntpdate自动同步时间:

yum -y install ntpdate 安装ntpdate

ntpdate s2c.time.edu.cn

crontab -e 添加到linux定时任务

文档内容:

*/10 * * * * /usr/sbin/ntpdate s2c.time.edu.cn 每隔10分钟执行一次

7,配置本地yum源(使用的系统版本要和源版一样),因为网络源太慢

vi /etc/yum.repos.d/CentOS-Base.repo 可以先备份该文件

文件内容(其他的都可以删除):

[base]

name=CentOS-Local

file:///mnt/

0

配置镜像库文件:

虚拟机节点-右键-设置-CD/DVD-使用ISO镜像文件-选择CentOS-6.6-x86_64-bin-DVD1.iso完全版本的镜像文件

在虚拟机执行挂载:

mount /dev/cdrom /mnt/

umount /mnt 取消挂载

ls /mnt/

清除yum 缓存 重新生成

yum clean all

yum makecache

8,安装配置mysql (只装一台服务器就行):

如果是centos7,直接安装MySQL会报错:

cdh 安装hive 指定mysql cdh安装hadoop教程_MySQL

原因是:

CentOS7带有MariaDB而不是MySQL,MariaDB和MySQL一样也是开元的数据库

解决方案:

如果必须要安装MySQL,首先必须添加mysql社区repo通过输入命令:sudo rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm,最后使用像安装MySQL的常规方法一样安装mysql: yum install mysql mysql-server mysql-libs mysql-server

-------------------------------------------------------------------------------

yum -y install mysql-server yum安装MySQL

service mysqld start 启动MySQL

chkconfig mysqld on 添加到开机启动项

mysql 进入mysql客户端

use mysql 切换库

delete from user; 删除默认权限表

重新创建权限用户

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;

flush privileges; 刷新权限

quit 退出

mysql -u root -p 登陆(带用户)

9,下载第三方依赖包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb