通过puppet来部署bigtop的大数据组件是可行的，我就一步步地教大家如何生产部署前开发测试，测试无误后，如何生产部署。本文是开发测试篇。主要用docker来模拟集群环境，测试无误后，才能上正式的机器。生产部署将用rundeck来操作管理。
开发bigtop的部署主要是写yaml配置文件，必要时候需要一点点puppet代码。通过docker模拟节点，并且部署集群。
首先我们需要一个模板代码，
GitHub - vivostar/queen: production deploy bigtop components
模板项目通过分支来部署其相对应的功能。各个分支的功能介绍主要如下所示，master分支部署azkaban集群以及一个节点的hadoop集群；zk分支部署zookeeper集群，这个集群为hbase分支以及hbase-phoenix分支所依赖；ha-zk分支也是部署zookeeper集群，这个集群是ha-auto分支所依赖的。
大概了解之后，就可以“开发测试”了。
首先我们需要一个阿里云的服务器，最好是选择首尔或是美国的，这样我们可以下载一些依赖比较快速一些。
然后我们需要安装docker，ruby, jdk，我的开发测试机为centos7，下面的代码是可以运行的
yum install -y git yum-utils ruby java-1.8.0-openjdk-devel
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y
systemctl start docker然后clone模板代码到服务器上
git clone https://github.com/vivostar/queen.git然后我们可以小试一试牛刀，部署一下一个azkaban的docker集群
cd queen
git branch #确保在master分支上
./test_all.sh
等待几分钟，若无异常日志输出，则表示azkaban已经部署好了，我们在阿里云开通8081端口的端口访问权限，然后可以访问试试看。
登录默认的用户名azkaban,密码azkaban
you get it! 顺利完成了！
现在在服务器上观察:
可见四台容器在运行，模拟了生产环境的的部署方式
这只是小试牛刀，接下来我带各位运行一个hadoop ha的模拟部署
关闭azkaban的集群，切换到ha-zk分支，然后运行，这个分支用来部署ha-auto用到的zookeeper的docker集群
./clear-docker.sh
git checkout ha-zk
./test_all.sh
这个部署可能比较长，我们等待几分钟，等运行结束之之后，我们切换到ha-auto分支上，命令如下：
git checkout ha-auto
./start-docker.sh这一过程时间也比较长，主要原因是需要在线下载hadoop的安装包，若是在生产环境部署的时候，我们完全可以使用本地repo。
终于运行完了， 我们检测以下运行效果
这时候我们已经可以看到hdfs开启了ha。下一篇文章，我会告诉大家这一切究竟是怎么发生的，并且带领大家开发一个bigtop组件部署方案来。
