一、完善目录1、在HBinz用户下新建目录software 存放安装软件data 存放测试数据 source 存放源代码 lib 存放相关开发的jarapp 软件安装目录tmp 存放HDFS/Kafka/ZK数据目录maven_repo maven本地仓库shell 存放上课相关的脚本mkdir software data source lib app tmp maven_r
转载
2023-11-22 22:00:26
59阅读
简介：在我的CDH5.13集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。这里做一下安装spark2.3版本的步骤记录。
一. 安装准备csd包：http://archive.cloudera.
转载
2024-03-08 16:41:16
74阅读
①csd包：http://archive.cloudera.com/spark2/csd/ 下载SPARK2_ON_YARN-2.2.0.cloudera1.jar②parcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/ 下载SPARK2-2.2.0.cloudera1-1.cdh5
转载
2023-10-26 14:26:37
108阅读
CDH大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.虚拟机准备2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.
转载
2023-07-04 11:10:48
302阅读
导读这篇文章是关于使用CDH搭建Hadoop集群的第三步：安装Cloudera Manager Server和数据库的。这篇文章有点长，涉及的知识点较多，略显零碎。虽然笔者可以将一些内容剔除，但笔者没有这么做，是因为想尽可能的把笔者的实践过程完整的记录下来，让后面的同学切实感受到安装的过程并可以避开笔者踩过的坑。本文主要参考Cloudera官方文档。在进行这一步之前，应该进行充分的前期准备。关于前
转载
2023-07-04 14:49:32
226阅读
Hadoop安装前准备环境Hadoop版本信息Hadoop是一款开源软件，并且开源社区比较活跃，所以Hadoop的版本也就比较多，主要三大版本： Apache Hadoop版本(社区版本) 迭代周期较短，更新较快，完全免费。 Hortonworks数据平台 Hortonworks提供了高可用性支持、高性能的Hive ODBC驱动。CDH信息
转载
2023-07-04 14:40:19
203阅读
环境，业务需求说明
服务器环境使用华为FusionInsight大数据平台，使用Kerberos认证，要求搭建阿里开源canal（版本：1.1.4）来监控mysql的几张数据表，实时把数据动态传入Kafka，通过Flink做业务处理，实时插入HBase数据库。Canal：canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支
目录 一、简介：二、安装装备二、开始安装三、添加和启动spark2服务一、简介：在我的CDH5.16集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本
转载
2023-11-22 22:00:05
107阅读
登录CM1、版本选择免费版本的CM5已经去除50个节点数量的限制。 各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。 接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。 点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分
转载
2023-09-04 19:40:36
110阅读
CDH安装包下载地址：://archive.cloudera/cdh5/repo-as-tarball/5.3.2/ CDH5.3.2官方安装说明文档地址：://cloudera/content/cloudera/en/documentation/core/latest/topics/cdh_ig_cdh5_cluster_deploy.html :
转载
2023-12-05 23:44:41
86阅读
第一章：CDH添加kafka服务1.1 在集群中add service第二章：Spark2部署第一章：CDH添加Kafka服务添加kafka服务的时候会跳出来一句话：Before adding this service， ensure that either the kafka parcel is activated or the kafka package is installed.那我们去哪儿
转载
2024-03-12 22:08:13
207阅读
第 1 章. NTP服务器安装及客户机配置配置之前要确定时间和现实时间一致，手动配置时间命令sudo date -s "2018-04-18 14:50:02"配置时区如果已有NTP服务器，则使用已有NTP服务器，不使用集群内部重新搭建的NTP服务器。已有NTP服务器地址为：10.131.11.48，端口为123。lsof -i:123(端口号) 查看该端口下面对
转载
2023-09-20 21:34:59
89阅读
# 学习如何安装 CDH Spark 的完整指南
作为一名刚入行的开发者，安装和配置 CDH (Cloudera Distribution of Hadoop) 下的 Spark 是一项重要的技能。本文将带您通过一个步骤清晰的流程，帮助您顺利完成 CDH Spark 的安装。
## 安装流程概述
以下是 CDH Spark 安装的整体流程：
| 步骤 | 描述
# CDH 安装 Spark
在进行大数据处理时，Spark 是一个非常强大的工具，而 Cloudera Distribution of Hadoop（CDH）则是一个流行的 Hadoop 发行版。本文将介绍如何在 CDH 中安装 Spark，以便更好地利用 Spark 进行数据处理和分析。
## 步骤一：准备工作
在开始安装 Spark 之前，需要确保已经安装并配置好了 CDH。另外，也需
原创
2024-05-31 04:39:24
30阅读
本文内容简介：1、CDH版本的hadoop软件的重新编译 2、上传并解压编译好的CDH版本的hadoop软件 3、hadoop的相关文件的配置一、重新编译CDH版本的hadoop软件为什么使用CDH版本的hadoop？ Cloudera版本的hadoop（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”）。Cloudera公司对hado
转载
2023-07-04 14:43:05
468阅读
# CDH安装Spark 教程
## 1. 简介
CDH（Cloudera Distribution of Hadoop）是一个开源的Hadoop生态系统，包含了各种用于大数据处理的组件。Spark是其中一个强大的组件，可以进行大规模数据处理和分析。
在本教程中，我将向你介绍如何使用CDH来安装和配置Spark。我们将按照以下步骤来进行操作：
## 2. 整体流程
下面是CDH安装Spa
原创
2023-10-27 11:13:11
60阅读
# CDH 安装 Hadoop
## 简介
Apache Hadoop 是一个开源的分布式计算框架，用于处理大规模数据集的计算。它提供了分布式存储和分布式处理能力，通过将数据分布存储在集群的各个节点上，实现了可靠性和高可用性。Cloudera Distribution Including Apache Hadoop（CDH）是一个基于Hadoop的发行版，提供了包括Hadoop在内的一系列大数
原创
2023-12-02 11:40:02
37阅读
# Hadoop CDH安装教程
## 简介
在这篇文章中，我将向你展示如何安装Hadoop的CDH分发版本。CDH是Cloudera的Hadoop分发版本，它包含了许多有用的工具和组件，使得Hadoop集群的安装和管理变得更加简单。
## 整体流程
下面是安装CDH的整体流程，具体步骤将在后续的章节中详细介绍。
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装操作系统
原创
2023-12-23 07:23:49
44阅读
一，系统的基本配置1，主机名的修改修改/etc/sysconfig/network文件中HOSTNAME=hadoop12、IP地址配置注意：如果虚拟机可以连接网络，可以跳过这个步骤修改/etc/sysconfig/network-scripts/ifcfg-eth0，修改后的信息如下：DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
HWADD
一、 概述该文档主要记录大数据平台的搭建CDH版的部署过程，以供后续部署环境提供技术参考。1.1 主流大数据部署方法目前主流的hadoop平台部署方法主要有以下三种:Apache hadoopCDH (Cloudera’s Distribution Including Apache Hadoop)HDP (Hortonworks Data Platform)1.2 部署方法的比较手工部署: 需要配
转载
2024-05-27 16:28:36
148阅读
