安装准备介质准备本文采用parcel包方式安装，需要下载相关的3个文件。parcel包地址：http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/需要下载如下三个文件如果采用rpm方式安装，地址为：http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/系统配置a) 用户创建CDH
转载
2024-01-15 15:35:46
86阅读
调整YARN本主题仅适用于YARN群集，并介绍如何为群集调整和优化YARN。注意：下载Cloudera YARN调整电子表格以帮助计算YARN配置。 有关简短视频概述，请参阅调整YARN应用程序。概观此概述提供YARN群集的抽象描述和YARN调整的目标。YARN群集由主机组成。 主机提供内存和CPU资源。 vcore或虚拟核心是主机CPU的使用份额。调整YARN主要包括在工作主机上最佳地定义容器。
转载
2024-08-09 17:14:57
53阅读
最近“闲”来无事，通过CM把vcores使用情况调出来看了一眼，发现不论集群中有多少个任务在跑，已分配的VCores始终不会超过120。而集群的可用Vcores是360（15台机器×24虚拟核）。这就相当于CPU资源只用到了1/3，作为一个半强迫症患者绝对不能容忍这样的事情发生。分析的过程不表，其实很简单就是几个参数的问题。本以为CM能智能的将这些东西配好，现在看来好像不行。以下记录结
转载
2023-10-31 17:51:20
112阅读
CDH集群中YARN的参数配置前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用Yarn做统一的资源调度，建议使用Yarn。CDH对Yarn的部分参
转载
2023-09-05 13:48:39
159阅读
环境篇：CDH优化篇为什么出这篇文章？近期有很多公司开始引入大数据，由于各方资源有限，并不能合理分配服务器资源，和服务器选型，小叶这里将工作中的总结出来，给新入行的小伙伴带个方向，以下会将企业级测试环境和线上环境的基础方案给出，不敢说一定对，但是本人亲自测试，发现集群使用率稳定提高了3分之1，最高可达到2分之1，有不对的地方欢迎留言指出。注：可能有些服务没有设计，使用到的小伙伴可以参照这种方式去规
转载
2024-05-11 21:01:16
264阅读
Hive on Spark配置Hive引擎默认的是MapReduce，就是没执行一个Hive语句，其实都是运行了一个MR程序，都知道的，MR虽好，但是慢呢。所以在时代的驱使下，就出现了把Hive的引擎更换的需要，通常Hive的引擎还有tez、Spark。我们经常听到Hive on Spark和Spark on Hive，不明所以的小伙伴还会以为这两个是倒装句，其实不然，Hive on Spark
转载
2023-07-04 09:53:59
221阅读
CDH 6.3.2 高可用安装步骤官方安装步骤https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_reqs_space.html1、安装准备阿里云服务器5台：CentOS7.6 JDK1.8 Mysql 5.7 CDH-6.3.2相关安装包
IP分别为 192.168.5.8 , 192.168.5.9
转载
2023-10-15 23:50:31
4阅读
hive集群配置 hive on spark标签（空格分隔）： hive##HiveServer2的高可用-HA配置HiveServer2的高可用-HA配置##hive on spark基于Spark 2.0.0搭建Hive on Spark环境官方文档###编译sparkhive on spark要求spark编译时不集成hive，编辑命令如下，需要安装maven，命令中hadoop版本根据实际
转载
2023-07-04 14:12:31
226阅读
1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用，在安装了Hadoop本机库的Linux系统上。
2.改善随机处理程序
1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。
这会导致TaskTracker或节点管理器在通过套接字将其发送到reducer之前预读取
转载
2024-07-19 18:34:19
50阅读
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的
转载
2023-08-03 14:48:42
305阅读
CDH(Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。CDH优点：1、提供基于web的用户界面，操作方便 2、集成的组件丰富，不需要担心版本问题 3、搭建容易，运维比原生hadoop方便CDH分为Cloud
转载
2023-07-04 14:15:38
186阅读
一共分两步走： 第一步：CDH制作Flink1.12.7 第二步：CDH集成Flink1.12.7前提说明早期CDH6.3.2集成的Flink1.12存在log4j漏洞，所以需要重新编译这是之前Flink1.12的log4j版本为1.12，（受影响的版本：Apache Log4j
转载
2024-04-27 08:10:29
46阅读
CDH集群的搭建及简单使用 一、CM集群部署 1、确认防火墙问题及端口权限并关闭SELinux服务. 2、搭建yum源 开启httpd服务：service httpd start 建立CM RPM包和parcels源的目录： mkdir -p /var/www/html/cm5/redhat/6/x86_64 mkdir -p
转载
2024-05-13 15:46:26
119阅读
# CDH配置pyspark
## 简介
CDH是一款开源的大数据平台，提供了许多组件和工具来处理和分析大规模数据。其中，pyspark是一种使用Python编写的Spark API，可以让开发者方便地在CDH平台上进行数据分析和处理。
在本文中，我将向你介绍如何在CDH上配置pyspark，并提供详细的步骤和代码示例。
## 配置流程
下面是配置CDH和pyspark的步骤和代码示例的
原创
2023-10-08 13:30:34
141阅读
# CDH Spark配置指南
在数据工程领域，Apache Spark 是一个广泛使用的大数据处理引擎，而 Cloudera 的 CDH (Cloudera Distribution Including Apache Hadoop) 则提供了一个集成环境来运行 Spark。本文将指导你如何配置 CDH 中的 Spark，并提供完整的步骤与代码示例。
## 流程概述
下面是配置 CDH Sp
原创
2024-09-10 04:21:58
47阅读
# CDH配置MySQL的完整指南
在这个指南中，我们将逐步学习如何在Cloudera的CDH（Cloudera Distribution, Including Apache Hadoop）中配置MySQL作为元数据库。我们将通过流程表和详细步骤来帮助你理解并实现这一目标。下面你将看到一个流程图帮助总结整个过程，并会有每一步的代码和详细注释。
## 整体流程
为了将MySQL配置到CDH中，
前期准备1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系（etc/hosts） 4.关闭防火墙(chkconfig iptables off) chkconfig --list iptables //查看 chkconfig iptables off //关闭防火墙 service iptales status //查看 5.ssh免登陆 6.安装JDK，配置环境变量等(p
转载
2024-10-21 13:29:16
115阅读
面向对象编程，是一种通过对象的方式，把现实世界映射到计算机模型的一种编程方法。现实世界中，我们定义了 人 这种抽象概念，而具体的人则是 小明 、小红 、 小军 等一个个具体的人。所以， 人 可以定义为一个 类（class），而具体的人则是 实例（instance）：现实世界计算机模型Java代码人类 / classclass Person { }小明实例 / mingPerson ming = n
关于Flumeflume的宗旨是向hadoop批量导入基于事件的海量数据。一个典型的例子是利用flume从一组web服务器中收集日志文件，然后将日志文件中的日志事件保存至HDFS，以便进行具体的分析。flume基本构件source-channel-sink，使用flume需先运行flume agent。flume agent由持续运行的source、sink以及channel构成的jvm进程。fl
hbase分布式，数据最终会落到 hdfs 文件系统中，所以先要部署 hdfs ，详见文档 hadoop-2.6.0-cdh5.9.3分布式高可用部署。hdfs 部署完毕后，就可以部署 hbase 集群了。 hbase开启 snappy 压缩功能的话，请查看文档首先从cdh官网下载 hbase-1.2.0-cdh5.9.3.tar.gz 包。http://archive.cloudera.com/
