1. 安装准备 系统:Centos 6 Cloudera Manager分配如下： 安装版本：CDH-5.8.0 所需安装文件 CDH相关 CDH相关 CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parce
原创
2022-06-10 20:04:39
263阅读
环境清单：主机1: 内网: 125.10.1.17主机2: 内网: 125.10.1.18主机3: 内网: 125.10.1.19 系统配置清单： IP HOSTNAME CPU MEM DISK RELEASE 125.10.1.17 ...
原创
2021-12-27 09:40:04
186阅读
# CDH离线安装pyspark
## 介绍
在CDH集群中实现pyspark的离线安装需要按照一定的步骤进行操作。本文将详细介绍整个流程，并提供相应的代码示例。
## 流程图
```mermaid
stateDiagram
[*] --> 安装依赖软件
安装依赖软件 --> 下载CDH离线安装包
下载CDH离线安装包 --> 配置CM仓库
配置CM仓库 -
原创
2023-11-22 03:50:58
68阅读
本文主要讲了cdh如何安装，以及如何配置cdh前期环境。仅作测试使用。
原创
2021-06-30 21:51:31
10000+阅读
Cloudera manage（离线）安装手册（按步骤操作）1. 准备工作1.1. 系统环境硬件设备：vm虚拟机网络组成： &
原创
2017-08-18 10:31:57
10000+阅读
CDH 在线安装方法如下，方便，但是由于在国内，访问这个网站的速度很慢，并不快捷。所以本文介绍如何使用离线安装的方式进行部署。
原创
2018-05-17 11:28:11
10000+阅读
点赞
基本环境软件版本操作系统中标麒麟高级服务器操作系统软件V7.0U6（nsV7Update6-adv-lic-build4-x86_64.iso）JavaOracle JDK 1.8数据库mysql 5.7准备工作服务器配置附：服务器配置安装包准备CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcelCDH-6.2.1-1.cdh6.2.1.p0.1425774-el7
转载
2024-02-02 10:36:01
81阅读
一 系统配置系统版本主机名主机 ip 配置说明Centos 7.3CDH-masterXXXX4核16G安装主节点（master）CDH-slave安装从节点（slave）CDH-slave安装从节点（slave）CDH-slave安装从节点（slave）二 相关依赖软件名字软件安装版本用途说明JDK 1.8jdk-8u101-linux-x64
原创
2018-11-06 11:25:15
1959阅读
1.概述 CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。 CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多
转载
2021-06-03 09:00:20
2621阅读
问题：在部署到如下测试hue数据连接状态时，报Error loading MySQLdb module: libmysqlclient_r.so.16: cannot open shared object file: No such file or directory查看scm-server的日志中有错误tail -f /opt/cm-5.8.3/log/cloudera-scm-server/c
原创
2016-12-29 17:37:18
8612阅读
点赞
1评论
文件下载CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、H
转载
精选
2016-11-30 16:35:51
3637阅读
修改Cloudera Agent配置文件/etc/cloudera-scm-agent/config.ini，配置server_host为主节点cdh-1。CDH的安装包都是r
原创
2022-11-14 15:28:50
478阅读
一、 基本的离线数据处理架构： 数据采集 Flume：Web日志写入到HDFS数据清洗 脏数据 Spark、Hive、MR等计算框架来完成。 清洗完之后再放回HDFS数据处理 按照需要，进行业务的统计和分析。 也通过计算框架完成处理结果入库 存放到RDBMS、NoSQL中数据可视化 通过图形化展示出来。 &
转载
2023-07-10 15:45:46
63阅读
CDH-cdh5.8.3离线安装--Mysql5.7二进制部署1.检查系统是否有安装过的mysql，需要卸载干净#rpm -qa|grep -i mysqlmysql-server-5.1.71-1.el6.x86_64mysql-5.1.71-1.el6.x86_64mysql-devel-5.1.71-1.el6.x86_64qt-mysql-4.6.2-26.el6_4.x86_64mysq
原创
2016-12-29 20:39:21
2946阅读
【一】Cloudera Manager 安装 一\\系统环境准备(三台机器server1,
原创
2022-11-07 08:36:45
721阅读
点赞
1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.1.2 CM架构1.2 环境准备1.2.1 虚拟机准备克隆三台虚拟机（hadoop102、hadoop103、hadoop104），配置好对应主机的网络IP、主
转载
2024-01-16 20:20:06
6阅读
登录CM1、版本选择免费版本的CM5已经去除50个节点数量的限制。 各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。 接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。 点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分
转载
2023-09-04 19:40:36
110阅读
环境，业务需求说明
服务器环境使用华为FusionInsight大数据平台，使用Kerberos认证，要求搭建阿里开源canal（版本：1.1.4）来监控mysql的几张数据表，实时把数据动态传入Kafka，通过Flink做业务处理，实时插入HBase数据库。Canal：canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支
