文章目录
- 前言说明
- 具体操作
- 1. 搭建方式
- 2. 搭建完成结构图
- 3. 推荐最低配置运行环境
- 4. 搭建步骤搭建步骤
- 5. 启动顺序
- 6. 工作节点添加
- 7. 持久化存储
- 8. 集群创建完成后执行以下命令
- 9. 端口
- 1、访问页面的UI
- 2、其他端口
- 10. docker镜像下载地址
- 11. 后续补充学习教程。。。待续
前言说明
最近部署cdh大数据平台，搜索相关资料发现基于docker部署的文章都相对复杂或存在缺失或不可行，所以请教同事后自行制作镜像，方便以后项目部署使用。
本次部署基于rancher2.5.9方式进行搭建，前提你了解rancher,如不了解可自行百度，基于docker镜像，将cdh分为4个镜像包，分别是master、agent、mysql、ntpt,镜像基于centos7.9制作具体操作
1. 搭建方式
rancher集群k8s离线搭建cdh6.2.0，rancher部署参考
2. 搭建完成结构图
3. 推荐最低配置运行环境
CPU4核8线程 内存空余30G以上4. 搭建步骤搭建步骤
- 基于rancher创建项目与命名空间
- ntpd的镜像为: seznam/ntpd:latest
- 将下载后的文件执行加入docker镜像中心或者仓库，解压缩命令如下：
- docker load -i cdh-mysql.6.2.0.tar.gz 其他两个类同
- rancher搭建的工作负载名称完全参考第3步骤中的的名称，不可更换其他，如需更改，需调整镜像中的相应位置参数agent节点可随意起名称
- rancher部署时，请注意以下图中内容填写：
1、入口 (Entrypoint)：/usr/sbin/init（此步可以制作至镜像中） - 2、打开特权模式
- 配置对外端口服务发现（用到什么端口开放什么端口即可）
5. 启动顺序
- 先启动 ntpd、 cdh-mysql，在启动 cdh-master，最后启动节点 cdh-agent
- 启动cdh-master时需要等server完全启动好后方可启动其他
- 进入cdh-master中执行tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
- 当输出日志包含Started jetty server时则代表服务启动成功
- cdh管理端端口：默认7180 如rancher配置了对外服务端口为32120那么对外访问端口则为32120
- cdh管理端账户：admin/admin
- mysql数据库账户：root/Root@123
6. 工作节点添加
直接再次启动一个cdh-agent后，进行添加主机节点即可7. 持久化存储
由于镜像每次启动会是全新的，所以需要进行持久化存储，对应镜像持久化存储路径如下：（不一定齐全）
- cdh-mysql:
- 存储路径：/var/lib/mysql/
- 配置文件路径：/etc/my.cnf
- cdh-master:
- cloudera： /opt/cloudera
-HDFS ： /hbase
-HDFS ： /data/dfs/nn
-HDFS ： /data/dfs/snn
-HDFS ： /data/dfs/dn
-hive: /user/hive/warehouse
-cloudera: /var/lib/cloudera-host-monitor
-cloudera: /var/lib/cloudera-service-monitor
-oozie: /user/oozie
-oozie: /var/lib/oozie/data
-yarn: /data/yarn/nm
-zookeeper: /var/lib/zookeeper
-kafka: /var/local/kafka/data
- cdh-agent:以上内容目录暂不齐全，建议直接将/var、/etc、/opt、/root、/run、/usr全部隐射至外部服务器，由于此镜像为只有cdh的裸镜像，cdh在添加节点时会安装服务、所以讲上述几个目录隐射到本机即可，后续会考虑出安装后的docker镜像
8. 集群创建完成后执行以下命令
hdfs dfs -mkdir /sqoop
测试hdfs是否正常
hadoop dfsadmin -safemode leave
退出安全模式
9. 端口
主要开放cdh-master的端口
1、访问页面的UI
服务 | 端口 |
Hbase | 60010 |
Yarn | 8088 |
Azkaban | 8081 |
Hue | 8889 |
Spark | 18089 |
Hdfs | 50070 |
CM | 7180 |
2、其他端口
服务 | 端口 |
Cloudera Manager | 7180 7183 7182 7432 9000 9001 7184 7185 8084 10101 8086 9997 9996 8087 9999 9998 8090 9995 9994 5678 8083 7186 7187 4867 |
NameNode 8022 | |
CDH节点 | 50010 1004 50075 1006 50020 8020 50070 50470 50090 50495 8485 8480 8021 50030 9290 50060 0 8032 8030 8031 8033 8088 8040 8042 8041 10020 19888 60000 60010 60020 60030 2181 2888 3888 8080 8085 9090 9095 9090 9083 10000 16000 12000 12001 3181 4181 8019 9010 8888 8002 8003 11000 11001 7077 7078 18080 18081 14000 14001 9000 |
jobtracker节点 | 8023 |
zookeeper节点 | 2888 |
impala节点 | 21000 21050 22000 23000 25000 25010 25020 24000 26000 28000 15002 15000 15001 |
solr节点 | 8983 8984 |
NTP防火墙 | 123 |
httpd防火墙 | 80 |
MySQL防火墙 | 3306 |
10. docker镜像下载地址
链接: https://pan.baidu.com/s/12sm9otIPvnWRxa-IUslOGg 提取码: n366
11. 后续补充学习教程。。。待续
