CDH 是hadoop的发行版,是hadoop分支中的一种,由cloudera维护,基于稳定版的hadoop构建,提供hadoop核心
CDH3:是最早版本,对应hadoop1.x版本 开始免费版只支持50个机器
CDH4,CDH5,对应hadoop2.X版
安装方式:
clouder Manager 是一个管理CDH端到端的应用,管理监控,诊断,集成
Yum
rpm
Tarball
要是三台虚拟机:内存分配(8G内存):5,1,1
开发jar路径:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/
注意:以下步骤除了第8步安装MySQL只在一台机子上做,其他步骤都需要做
1、网络配置 (每台虚拟机联网)
vi /etc/sysconfig/network 修改主机名称
vi /etc/hosts 做好IP机名映射
2,做好几台机子之间免密
执行命令生成密钥。ssh-keygen ,一直enter键就行 (cd /root ls –al cd .ssh)
拷贝主节点的公钥到所有节点中去。ssh-copy-id -i id_rsa.pub root@ node2 node2可随意修改node1 node2 (所有需要免密码的服务器)
3、防火墙关闭
service iptables stop 临时关闭防火墙
chkconfig iptables off 永久关闭防火墙
4、SELINUX关闭
(临时生效)
SELINUX=disabled) 重启后永久生效
5、安装JDK配置环境变量
上传jdk-7u67-linux-x64.rpm包到服务器
rpm -ivh jdk-7u67-linux-x64.rpm 安装jdk
vim ~/.bash_profile 打开,配置环境变量
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bash_profile 刷新环境变量
6,ntpdate自动同步时间:
yum -y install ntpdate 安装ntpdate
ntpdate s2c.time.edu.cn
crontab -e 添加到linux定时任务
文档内容:
*/10 * * * * /usr/sbin/ntpdate s2c.time.edu.cn 每隔10分钟执行一次
7,配置本地yum源(使用的系统版本要和源版一样),因为网络源太慢
vi /etc/yum.repos.d/CentOS-Base.repo 可以先备份该文件
文件内容(其他的都可以删除):
[base]
name=CentOS-Local
file:///mnt/
0
配置镜像库文件:
虚拟机节点-右键-设置-CD/DVD-使用ISO镜像文件-选择CentOS-6.6-x86_64-bin-DVD1.iso完全版本的镜像文件
在虚拟机执行挂载:
mount /dev/cdrom /mnt/
umount /mnt 取消挂载
ls /mnt/
清除yum 缓存 重新生成
yum clean all
yum makecache
8,安装配置mysql (只装一台服务器就行):
如果是centos7,直接安装MySQL会报错:
原因是:
CentOS7带有MariaDB而不是MySQL,MariaDB和MySQL一样也是开元的数据库
解决方案:
如果必须要安装MySQL,首先必须添加mysql社区repo通过输入命令:sudo rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm,最后使用像安装MySQL的常规方法一样安装mysql: yum install mysql mysql-server mysql-libs mysql-server
-------------------------------------------------------------------------------
yum -y install mysql-server yum安装MySQL
service mysqld start 启动MySQL
chkconfig mysqld on 添加到开机启动项
mysql 进入mysql客户端
use mysql 切换库
delete from user; 删除默认权限表
重新创建权限用户
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
flush privileges; 刷新权限
quit 退出
mysql -u root -p 登陆(带用户)
9,下载第三方依赖包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb