文章目录1. 配置主机名2. 时间同步3. ssh免密登录4. 关闭防火墙5. 禁用SELinux6. 安装Java环境7. 元数据库安装卸载mariadb安装MySQL8. 安装 Cloudera Manager9. 启动CM相关服务10. Web端操作 在云计算时代，可能很多公司为了成本的考虑，会采用第三方厂商提供的大数据集群，比如阿里的Maxcompute、华为的FusionInsigh
转载
2023-07-04 14:16:16
305阅读
CDH MySQL安装和配置
## 介绍
CDH（Cloudera Distribution of Hadoop）是一种基于Apache Hadoop的分布式数据处理平台。MySQL是一种流行的关系型数据库管理系统。在CDH集群中，我们经常需要将数据存储在MySQL数据库中，以便进行持久化存储和查询。本文将介绍如何在CDH集群中安装和配置MySQL。
## 安装MySQL
### 步骤1：安
原创
2023-09-16 12:16:20
127阅读
问题一： 启动Cloudera的agent报：Cloudera-scm-agent dead but pid file exist
解决的办法思路：
方法一： 可以先参考这篇博客文章来进行操作：
如果上面的方法还是不能解决这个问题，那就看我这下面的这个大招了
方法二： 通过最原始思路去解决这个问题（最可靠的方法）；先tail -f 关于age
转载
2023-08-18 13:27:42
301阅读
CDH 是hadoop的发行版，是hadoop分支中的一种，由cloudera维护，基于稳定版的hadoop构建，提供hadoop核心
CDH3：是最早版本，对应hadoop1.x版本 开始免费版只支持50个机器
CDH4，CDH5，对应hadoop2.X版
安装方式：
clouder Manager 是一个管理CDH端到端的应用，管理监控，诊断，集成
转载
2024-05-22 12:39:19
42阅读
CDH5.16.1集群新增节点
下面是集群新增节点步骤：1.已经存在一个集群，有两个节点192.168.100.19 hadoop-master192.168.100.20 hadoop-slave1新增节点ip为192.168.100.21 2.新增节点所有的操作都在root下进行，所以首先需要设置ssh可以使用root登
转载
2023-07-04 14:31:25
199阅读
【一】Cloudera Manager 安装 一\\系统环境准备(三台机器server1,
原创
2022-11-07 08:36:45
724阅读
点赞
登录CM1、版本选择免费版本的CM5已经去除50个节点数量的限制。 各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。 接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。 点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分
转载
2023-09-04 19:40:36
110阅读
环境，业务需求说明
服务器环境使用华为FusionInsight大数据平台，使用Kerberos认证，要求搭建阿里开源canal（版本：1.1.4）来监控mysql的几张数据表，实时把数据动态传入Kafka，通过Flink做业务处理，实时插入HBase数据库。Canal：canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支
1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.1.2 CM架构1.2 环境准备1.2.1 虚拟机准备克隆三台虚拟机（hadoop102、hadoop103、hadoop104），配置好对应主机的网络IP、主
转载
2024-01-16 20:20:06
6阅读
CDH 安装市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Cloudera(https://www.cloudera.com/) 公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH 版本，也是市场上使用最多的，Hortonworks 版本（Hortonworks Data Platform，简称“HDP”）cm-cloudera mana
转载
2024-08-03 16:01:28
67阅读
目录 一、简介：二、安装装备二、开始安装三、添加和启动spark2服务一、简介：在我的CDH5.16集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本
转载
2023-11-22 22:00:05
107阅读
前几天终于把Cloudera 5.1配置好了，配置完的第一感受就是干什么都要仔细，说实话，在这里面确实遇到了很多自己不知道的问题，自己可能对Linux一些配置还是不熟吧，为了避免新手以后在安装Cloudera遇到不必要的问题，所以我打算写这篇博客，让新手少走一些弯路。 &nb
转载
2023-10-12 10:57:40
49阅读
登录CM1、版本选择免费版本的CM5已经去除50个节点数量的限制。 各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。 接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。 点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分
转载
2023-05-19 16:42:21
117阅读
目录目录第1章 配置环境1.1.准备阶段1.1.1.服务器1.1.2.操作系统1.2.安装配置1.2.1.安装操作系统1.2.2.配置操作系统1.2.3.安装Oracle JDK （所有节点）1.2.4.配置SSH免密1.2.5.安装配置mysql1.2.6. NTP时间同步第2章 安装CDH2.1.安装配置Cloudera Manager2.2.安装配置CDH2.3 CDH的组件升级前
转载
2023-07-04 22:39:54
87阅读
第 1 章. NTP服务器安装及客户机配置配置之前要确定时间和现实时间一致，手动配置时间命令sudo date -s "2018-04-18 14:50:02"配置时区如果已有NTP服务器，则使用已有NTP服务器，不使用集群内部重新搭建的NTP服务器。已有NTP服务器地址为：10.131.11.48，端口为123。lsof -i:123(端口号) 查看该端口下面对
转载
2023-09-20 21:34:59
89阅读
文章目录前言一、Hive安装包下载二、Hive的安装三、mysql驱动配置四、Hive配置文件修改1.修改hive-env.sh2.修改默认日志存放路径3.使用mysql数据库为默认元数据库五、启动Hive1.在HDFS上创建目录2.启动hive 前言提示：在开始之前请先确保你已经进行了Hadoop环境搭建，详情请见CDH5.3.6下搭建hadoop伪分布式环境教程！一、Hive安装包下载进入c
转载
2023-07-04 11:08:51
255阅读
CDH安装步骤0.机器配置我在虚拟机和实际生产中配置CDH均已成功，下面详细谈一下整体的过程。物理网卡12G三台虚拟机【Centos 7系统】，分别是192.168.211.3，192.168.211.4，192.168.211.5物理硬盘100G【由三个虚拟机配置，server3=40G，server4=server5=30G】三台虚拟机的分配内存分别是3G，2G，2G...
原创
2021-07-13 11:45:13
972阅读
一、cm安装 软件下载： 1、cm下载 http://archive.cloudera.com/cm5 下载cm-5.4.1 bin文件 http://archive.clo
原创
2022-08-11 17:09:54
129阅读
CDH安装文档目录 文章目录0、准备1、配置免密码登录2、配置环境变量2.1、配置主机名，安装JDK2.2、安装mysql2.2.1、查看mysql是否安装2.2.2、主节点安装mysql2.4、NTP安装3、CDH Manager包文件文件上传分发4、CDH5的安装配置5、hdfs的高可用配置6、kafka安装7、配置修改8、断电启动异常（重要） 0、准备虚拟机或者实体机，安装CenterOs
转载
2023-08-18 13:21:36
159阅读
1.概述在CDH的默认安装包中，是不包含Kafka，Kudu和Spark2的，需要单独下载特定的Parcel包才能安装相应服务。本文档主要描述在离线环境下，在CentOS6.5操作系统上基于CDH5.12.1集群，使用Cloudera Manager通过Parcel包方式安装Kudu、Spark2和Kafka的过程。内容概括Kudu安装Spark2安装Kafka安装服务验证测试环境操作系统版本：
转载
2024-03-22 08:51:54
198阅读
