前言

一键搭建 zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin

服务器资源

本地Mac有3个虚拟机

server1  192.168.84.128
server2  192.168.84.131
server3  192.168.84.132

yum install wget
yum install unzip

安装docker

mkdir /opt/bigdata
cd /opt/bigdata
# 上传docker-hadoop-test.zip
rz
unzip docker-hadoop-test.zip
cd /opt/bigdata/docker-hadoop-test

chmod 777 docker.install.sh 
chmod 777 compose.install 

bash docker.install.sh 
bash compose.install
systemctl start docker
docker -v

安装zk


依次在3个服务器上做如下操作

chmod 777 zookeeper.sh
# 修改下服务器ip
vi zookeeper/instances.yml

搭建大数据运行环境之一_docker

./zookeeper.sh

​​确认是否启动成功​​

搭建大数据运行环境之一_hadoop_02

安装hadoop集群

​​思路​​

搭建大数据运行环境之一_hadoop_03


  • 免密登陆
./hadoop/ssh下面默认有一份私钥、公钥
这里建议删除默认秘钥改为自己的私钥  
秘钥生成方法参考hadoop-key.sh脚本
  • 依赖资源包下载
链接:https://pan.baidu.com/s/1PtdIYT2Np4MfDg4oB08urw  
密码:iu5w

搭建大数据运行环境之一_hadoop_04

​​下载之后根据启动脚本修改文件名后放入/hadoop/tar/即可​​

  • 修改集群信息
修改hadoop/instances.yml，配置集群信息，用于生成hosts文件


编译镜像并上传阿里镜像库

搭建大数据运行环境之一_zookeeper_05

分别在服务器上启动该docker镜像

cd /opt/bigdata/docker-hadoop-test
./hadoop.sh

搭建大数据运行环境之一_zookeeper_06

截止目前搭建好了zk集群环境 将每一个大数据组件安装在了一个docker中

后记

下篇文章咱再介绍下 
如何启动每一个组件及组件之间数据如何流转的

源码

https://gitee.com/pingfanrenbiji/docker-hadoop-test