应开发要求，部署ETCD集群，作为服务发现使用;考虑再三，决定使用Docker方式来进行安装。好处嘛，谁用谁知道；一般来说，每种工具的官网都会有安装的方式，于是百度官网看到用docker的安装方式;ETCD官网安装方式考虑到网上另外乱七八糟，误人不浅的文章，故打算从新整理一份，供有需要的弟兄参考，如有错漏，也望多多指正部署步骤：1.环境描述 集群
转载
2023-09-11 22:01:02
221阅读
# CDP集群安装YARN Queue Manager
在现代数据处理和分析领域，YARN（Yet Another Resource Negotiator）作为Hadoop生态系统中的一个核心组件，负责资源管理和作业调度。CDP（Cloudera Data Platform）中集成了YARN Queue Manager，使得YARN的队列管理更加直观和高效。本文将介绍如何在CDP集群中安装YAR
原创
2024-09-14 04:11:04
109阅读
一、前期准备1）实验环境：VMware Workstation 102）搭建SQL群集必须具有：活动目录、DNS服务器、两台节点服务器、CDP储存服务器。3）IP地址的规划：主机LAN规划主机名IP地址角色网络备注qqdc1.qq.local172.16.1.32域控制器、DNS桥接qqnode1.qq.local172.16.1.33群集节点1桥接qqnode2.qq.local172.16.1
转载
2024-01-31 01:37:43
75阅读
# CDP Spark集群搭建指南
在数据科学和大数据处理领域，Apache Spark 是一种强大的工具，为了利用 Spark 的功能，搭建一个高效的 Spark 集群是非常重要的。在这篇文章中，我们会从零开始搭建一个 CDP（Cloud Data Platform）中 Spark 集群，并为初学者提供详细的步骤和代码示例。
## 1. CDP Spark集群搭建流程
首先，我们可以把整个
原创
2024-09-20 14:56:02
60阅读
一. 服务器准备我这里是本地虚拟机搭建,共四台服务器主机,cdp01是管理节点,cdp01,02和03是数据节点.mysql是数据库节点.也可以把mysql节点放在集群内部,由于我这里搭建了c5和c7两个版本的集群,为了不重复搭建mysql就单独搭了一个mysql服务器,后面准备研究以下如何用docker来搭建集群.毕竟笔记本资源有限.服务器配置分别如下:主节点cdp01:
192.168.127
转载
2023-11-01 12:24:43
257阅读
使用Docker搭建NextCloud私人云盘+Collabora文件预览编辑前言开始搭建编写docker-compose.yml文件nginx.conf启动容器NextCloud配置接下来配置文件预览服务启动collabora预览服务在nextCloud中配置collabora结尾 前言今天在看头条的时候，看到了一篇文章，名为《Python3+服务器搭建私人云盘》的文章，看着感觉还不错，也不是
转载
2024-09-19 22:03:22
73阅读
# 安装Hive的步骤指南
作为一名新入行的开发者，可能会对如何在CDP（Cloudera Data Platform）上安装Hive感到困惑。本文将为你详细说明实现这一目标的步骤，确保你能够顺利完成安装。
## 安装流程
安装Hive的整个流程如下表所示：
| 步骤 | 操作 | 说明 |
|------|------|------|
| 1 | 准备环境 | 确保CDP集群已正确
原创
2024-10-12 06:34:05
40阅读
目录环境部署环境描述挂共享磁盘创建所需目录划分磁盘挂存储搭建DSC编辑dmdcr_cfg.ini初始化磁盘组创建dmasvrmal.ini创建dmdcr.ini启动CSS、ASM服务创建DMASM磁盘组创建dminit.ini初始化实例配置归档启动实例服务环境部署环境描述两台相同配置机器，2G 内存，20G 本地磁盘，2 块网卡，另有一块共享磁盘20G。DSC集群机器名初始状态内部通信IP外部通行
转载
2023-12-14 10:34:04
63阅读
我采用的是阿里云服务器的centos，安装docker后，拉取Ubuntu镜像，配置好所需环境后commit为一个新的镜像ubuntu:spark，之后再docker run 三个ubuntu:saprk,进行搭建。基本步骤都是按照参考文章来的，这里主要记录一下遇到的一些问题及解决方法。ps：由于我是根据自己搭建时遇到的问题进行记录的，故排在前面的问题，解决方案可能只解决了当前问题，但仍有不对的地
转载
2023-09-02 17:53:03
58阅读
找了很多文章，没有详细说明如何在docker上搭建spark，写一篇随笔做记录 一，搭建spark二，运行一个wordcount 硬件：centos 8.0 64位 阿里云ECS服务器 安装docker-composesudo pip install docker-compose==1.4.0 拉取镜像：docker pull singulari
转载
2023-07-27 22:37:04
65阅读
一、安装与启动Docker二、单机 安装zookeeper1、先看一下我们有哪些选择。bash docker search zookeeper2、选择镜像 下载 docker pull zookeeperdocker pull zookeeper
C:\Users\admin>docker pull zookeeper
Using default tag: latest
latest: Pu
转载
2023-11-01 13:27:38
132阅读
=
原创
2022-09-11 00:07:41
398阅读
# CDP安装Spark组件
## 介绍
Apache Spark是一种快速、通用的大数据处理框架，非常适合在集群中进行大规模数据处理。本文将介绍如何在CDP（Cloudera Data Platform）中安装和配置Spark组件，并提供代码示例。
## Spark组件安装
CDP提供了一种简单且易于使用的方式来安装和管理Spark组件。下面是安装Spark组件的步骤：
1. 登录CD
原创
2023-11-10 07:14:34
61阅读
CDP（Continuous Data Protection），持续数据保护，它的关键在于持续。就给定的数据集而言，CDP提供恢复点的连续体，能够存取所有时间点上的数据，而不仅仅针对那些由快照流程预先确定的特别时刻。CDP提供了粒度无限的恢复点（RPO），有些情况下能提供接近即时的恢复时间（RTO）。说到CDP，不得不提到容灾备份，它们都属于数据保护领域，然而容灾是解决业务的连续性的问题，所实现的
原创
2016-05-06 09:45:50
1236阅读
文章目录CM+CDH6.2.0环境准备1、 虚拟机及CentOs7配置1.1 打开"VMware Workstation"，选择“创建新的虚拟机”1.2 选择“典型”选项，点击“下一步 ”1.3 选择"稍后安装操作系统“，点击“下一步 ”1.4 选择"Linux CentOS7 64位“，点击“下一步 ”1.5 选择"虚拟机名称及存放位置“，点击“下一步 ”1.6 选择"磁盘大小及单文件存储“，
# 如何安装Docker集群
## 介绍
Docker是当今最流行的容器化平台之一，它可以帮助开发者更轻松地构建、部署和管理应用程序。本文将指导您如何安装Docker集群。为了方便理解，我们将整个过程分解成几个步骤，并提供相应的代码和注释。
## 安装Docker集群的步骤
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 安装Docker |
| 步骤2 | 配置Dock
原创
2023-08-11 13:51:56
155阅读
文章目录docker搭建mysql的集群（双主双从）主机创建用户并授权：链接Master(主)和Slave(从)链接两个主机 docker搭建mysql的集群（双主双从） 首先在docker上拉取mysql的镜像，以及运行起来四个mysql，不会的话大家可以去看我之前搭建一主一从的文章，在这里细节就不多演示了，直接从4台配置开始：我这里直接开过了：master，master01，slave，sl
转载
2023-08-31 23:12:29
0阅读
Docker下Spark分布式集群搭建本教程使用docker模拟3台主机搭建分布式Spark集群，属于伪分布式：1、Docker安装2、下载已经配置好的Spark集群镜像文件3、新建3个容器，分别命名为cloud8，cloud9，cloud104、启动集群5、通过web端查看6、测试案例1、Docker安装Docker可以在Window下和Linux下安装，本教程基于Ubuntu16.04之上安装
转载
2023-08-18 13:28:58
136阅读
1.安装dockeryum install docker #启动服务 systemctl start docker.service systemctl enable docker.service #测试 docker version2.安装etcdyum install etcd -y#启动etcdsystemctl start etcdsystemctl enable etcd#输入如下命令查看
转载
2023-09-27 11:11:25
152阅读
CDP集群的HADOOP_HOME
=======================================
在大数据领域中，Hadoop是一个广泛使用的分布式计算框架，它具有高可靠性、高扩展性和高容错性。Cloudera Data Platform (CDP)是一种基于Hadoop的大数据平台，提供了一系列的工具和服务，帮助用户更好地管理和分析海量数据。
本文将介绍CDP集群中的HAD
原创
2024-01-07 05:05:19
85阅读
