1 下载镜像并启动实例docker pull redis:6.0.8docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
应开发要求，部署ETCD集群，作为服务发现使用;考虑再三，决定使用Docker方式来进行安装。好处嘛，谁用谁知道；一般来说，每种工具的官网都会有安装的方式，于是百度官网看到用docker的安装方式;ETCD官网安装方式考虑到网上另外乱七八糟，误人不浅的文章，故打算从新整理一份，供有需要的弟兄参考，如有错漏，也望多多指正部署步骤：1.环境描述 集群
转载
2023-09-11 22:01:02
221阅读
前言 基于前面的搭建，就会发现三台容器都是发布到一台物理机上，在一台物理机上实现了CDH集群的效果，这拿来测试还行，当时实际环境下，资源是远远不够用的。 接下来，将基于前面的的步骤，使用安装包搭建完全分布式的CDH集群，在多个物理机上时间CDH集群的搭建。 跨服务容器之间的通讯问题是搭建完全
转载
2023-07-04 09:50:09
243阅读
利用 Docker 搭建单机的 Cloudera CDH 以及使用实践想用 CDH 大礼包，于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用。其实操作的流和使用到的命令差不多就一并说了:首先前往官方下载包：https://www.cloudera.com/downloads/quickstart_vms/5-13.html如果使用 mac 并且安装 docker。 我们可以很轻
转载
2023-12-14 22:30:42
35阅读
1、拉取centos8的镜像在用户目录下： 2、构建集群子网按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网docker network create --subnet=172.18.0.0/16 netgroup对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负
转载
2023-12-25 17:27:09
63阅读
CDH 安装市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Cloudera(https://www.cloudera.com/) 公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH 版本，也是市场上使用最多的，Hortonworks 版本（Hortonworks Data Platform，简称“HDP”）cm-cloudera mana
转载
2024-08-03 16:01:28
67阅读
CDH 6.0.x 安装步骤前沿一CDH6新功能介绍二：下面开始进行CDH6安装前的准备工作：1、配置主机名和hosts解析(所有节点)2、关闭防火墙3、关闭SELinux4、添加定时任务5、禁用透明大页面压缩6、优化交换分区三：安装 CM 和 CDH1、配置 Cloudera Manager 仓库 yum源(所有节点)2、配置仓储以及验证秘钥3、配置 JDK (所有节点)4、安装 CM Ser
本案例基于centos6.5安装CDH5.8.2分布式集群环境，都是在root用户下进行操作。到官网下载相应的安装包与校验文件集群环境：192.168.168.124 master；192.168.168.125 slaver1；192.168.168.126 slaver2一、准备工作1、卸载原jdk并安装jdk1.7.0_45，然后配置环境变量2
转载
2023-07-04 14:14:20
195阅读
文章目录1. 配置主机名2. 时间同步3. ssh免密登录4. 关闭防火墙5. 禁用SELinux6. 安装Java环境7. 元数据库安装卸载mariadb安装MySQL8. 安装 Cloudera Manager9. 启动CM相关服务10. Web端操作 在云计算时代，可能很多公司为了成本的考虑，会采用第三方厂商提供的大数据集群，比如阿里的Maxcompute、华为的FusionInsigh
转载
2023-07-04 14:16:16
305阅读
1.基础环境准备1.1创建一个新的虚拟机1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚拟机 1.10修改配置文件，修改以下三处内容（MAC地址为之前记录的）。 1.11修改MAC地址与配置文件中一致 1.12
转载
2024-04-24 11:29:42
208阅读
0 说明本文以CDH搭建数据仓库，基于三台阿里云服务器从零开始搭建CDH集群，节点配置信息如下：节点内存安装服务角色chen10216Gcloudera-scm-serverchen1038Gcloudera-scm-agentchen1048Gcloudera-scm-agent上传需要用到的安装包： ① CDH安装包，百度云分享如下：链接：https://pan.baidu.com/s/1N9
转载
2023-08-18 13:28:15
195阅读
实时大数据平台安装文档文档编号版本号V1.0名称实时大数据平台安装文档总页数正文编写日期审批1. 引言1.1 编写目的该手册旨在记录部署大数据CDH集群的流程，为后续作业提供参考，提高利用CM部署集群的效率和减少出现问题的可能性，帮助现场部署人员更好，更快地完成部署任务。1.2 环境及术语该手册要求，现场部署环境已经安装好操作系统，建议centos7.4，且网络已经配置完毕，磁盘空间达到TB级别C
转载
2024-05-26 17:39:06
47阅读
目录1 测试环境参考方案1.0 资源：集群服务安排1.1 优化：Cloudera Management1.2 优化：Zookeeper1.3 优化：HDFS1.4 优化：YARN + MapReduce1.5 优化：Kafka1.6 优化：HBase1.7 优化：Hive1.8 优化：Oozie、Hue、Solr、Spark2 线上集群参考方案2.0 资源：集群服务安排2.1 优化：Clouder
转载
2023-12-27 16:16:58
86阅读
CDH5.16.1集群新增节点
下面是集群新增节点步骤：1.已经存在一个集群，有两个节点192.168.100.19 hadoop-master192.168.100.20 hadoop-slave1新增节点ip为192.168.100.21 2.新增节点所有的操作都在root下进行，所以首先需要设置ssh可以使用root登
转载
2023-07-04 14:31:25
199阅读
一、Docker Compose容器编排 1、Docker Compose概念及作用 Docker Compose 的前身是Fig，它是一个定义及运行多个容器的工具 使用Docker Compose不再需要使用shell脚本来启动容器 通过Docker Compose可以使用YML文件来配置应用程序所需要的的所有服务 Docker Compose非常适合组合使用多个容器进行开发的场景2、YML文件
转载
2024-10-25 10:09:44
70阅读
# 如何使用Docker搭建CDH集群
## 1. 介绍
在本教程中，我将向您展示如何使用Docker快速搭建CDH（Cloudera Distribution including Apache Hadoop）集群。CDH是一款流行的分布式计算框架，能够帮助您处理大规模数据。
## 2. 流程
下面是搭建CDH集群的步骤：
```mermaid
erDiagram
购买服务器 --
原创
2024-05-15 04:44:53
198阅读
文章目录一、安装环境二、安装集群2.1 选择CM版本2.1.1 欢迎页2.1.2 接受条款2.1.3 选择版本2.2 群集安装2.2.1 欢迎页2.2.2 集群名称2.2.3 选择安装的主机2.2.4 选择存储库2.2.5 JDK安装协议2.2.6 提供 SSH 登录凭据2.2.7 自动安装Agent2.2.8 自动安装Parcels2.2.9 检查群集2.3 群集设置2.3.1 服务选择2.3
转载
2024-07-23 07:03:58
39阅读
原有服务器集群因计算力不够、磁盘空间不足等原因需要在原有cdh集群上添加新的计算节点（datanode），ClouderaManager提供了一种可视化的添加方式。一、节点规划NOIPHOSTNAMEROLE111.11.11.11server11-11dn211.11.11.12server11-12dn二、安装前准备2.1 配置yum仓库Yum资源库配置目录位于/etc/yum.repos.d
转载
2024-06-09 08:55:53
144阅读
Hadoop安装前准备环境Hadoop版本信息Hadoop是一款开源软件，并且开源社区比较活跃，所以Hadoop的版本也就比较多，主要三大版本： Apache Hadoop版本(社区版本) 迭代周期较短，更新较快，完全免费。 Hortonworks数据平台 Hortonworks提供了高可用性支持、高性能的Hive ODBC驱动。CDH信息
转载
2023-07-04 14:40:19
203阅读
# 使用CDH安装Spark集群：详细指南
Apache Spark是一个强大的开源集群计算框架，能够进行快速的处理大数据任务。它在分布式数据处理、机器学习和实时数据分析方面表现优异。为了有效利用Spark的能力，许多用户选择在Cloudera Distribution for Hadoop（CDH）上安装Spark。本篇文章将为您详细介绍在CDH环境中安装Spark集群的过程，并提供相关代码示
