文章目录1.文档编写的目的2.集群配置服务器说明3.前置准备4.Cloudera Manager安装4.1 配置本地repo源4.2 制作Cloudera Manager的repo源4.3 验证安装JDK4.4 安装Cloudera Manager Server5 CDH安装6 安装Ranger服务7 FLink部署7.1 配置Flink Parcel包7.2 添加Flink服务8 集群功能验证
转载
2023-11-28 10:19:50
103阅读
上一篇文章介绍的是搭建CDH5.3.6版本的集群，搭建方式可以参考这里~此次重新部署，打算采用6.3.1的版本，之前的部署方式已然不适用，故重新整理，遂成此文。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、准备工作二、环境搭建1、设置主机名2、配置主机映射3、关闭集群防火墙4、关闭selinux5、配置免秘钥登录6、设置集群时间同步三、所有节点安装jdk四、主节点部署jdbc驱动五
转载
2024-04-16 22:27:07
187阅读
1, cdh简介 CDH (Cloudera’s Distribution, including Apache Hadoop)，是hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控
转载
2024-10-31 17:53:20
49阅读
文章目录前言一、系统环境准备（所有服务器）1.关闭防火墙2.关闭selinux3.修改系统资源限制4.制作本地yum源（离线环境）5.同步主机名6.同步服务器时间与时区7.内核参数调优8.安装JDK二、主节点服务器环境准备1.安装CDH软件仓库2.部署MariaBD3.部署cloudera manager三、从节点服务器环境准备四、CDH创建集群 前言 最近公司要进行大数据平台CDH的搭建，所以
转载
2024-04-11 12:36:02
128阅读
1.问题描述问题原因 运维在凌晨断电重启服务器后，因未忘记将测试环境集群CDH关闭， 导致CDH的 server/agent集群，Zookeeper集群，hdfs集群，yarn无法重启， 监控指标全部消失，症状如下cdh各个节点无状态agent启动失败zookeeper启动顺序CDH server agentzookeeper集群hdfs集群yarn集群启动CDH集群启动问题一 启动server后
转载
2023-09-24 18:36:19
279阅读
# CDH 升级 Hive 集群的完整指南
在大数据生态系统中，Hive 是一个非常重要的部分。升级 Hive 集群是确保性能、稳定性和新特性必要的步骤。下面我将为你详细说明 CDH 环境中如何进行 Hive 升级。
## 升级流程概述
在进行 Hive 集群的升级之前，我们需要了解整个流程。以下表格展示了升级的步骤：
| 步骤 | 描述
原创
2024-09-04 06:25:44
60阅读
**cdh搭建** 准备工作：相关安装包 创建虚拟机，安装CenOS7的镜象文件，主机要不低于8G，两个子机不低于3G，因为内存小了安装的集群可能没法使用。这里以两台为例。一、基础配置1.配置网络：采用Nat方式联互联网。 2. vim /etc/sysconfig/network-scripts/ifcfg-*ens33*（enss33为自己的网卡名称，我的就是ens33）修改以下配置ONBOO
CDH 配置Hive集群是一个涉及多个步骤的工作，本文将以轻松的语气详细记录这个过程，帮助大家更好地理解和实施相关的配置。
## 环境准备
在开始配置之前，需要注意一些软硬件要求。
| 软硬件要求 | 描述 |
| ------ | -------- |
| 操作系统 | CentOS 7 或 Ubuntu 18.04 |
| 内存 | 至少 8GB RAM |
| CPU | 至少 4 核
# 在CDH集群中添加Hive的步骤指南
在大数据环境中，Hive被广泛地用于数据分析和查询。若你想在Cloudera的CDH集群中添加Hive，请按照以下步骤进行。本文将详细介绍整个流程，并提供相应的代码与注释，确保你能顺利完成这项任务。
## 整体流程
下表展示了在CDH集群中添加Hive的主要步骤：
| 步骤 | 描述 |
|------|--
从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH 5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recomm
转载
2023-12-02 20:56:59
94阅读
为什么选择CDHCDH 是cloudera 公司的产品(各种组件的各个版本比较兼容的安装包)，提供Hadoop 生态系统各个工具的统一安装和管理Cloudera Manager，同时还有一家对应的公司是hortonworks,对应的提供Ambari安装包和对应的管理工具。关于这两种产品选择的详细对比，我会选择单独的博客来说明，现在这里的选择就是随机选一个了。安装前说明这里是列表文本安装前，当然是
转载
2024-08-06 19:03:58
25阅读
一、前言由于线下测试的需要，需要在公司线下（测试）环境搭建大数据集群。那么CDH是什么？hadoop是一个开源项目，所以很多公司再这个基础上进行商业化，不收费的hadoop版本主要有三个，分别是：（1）Apache，最原始的版本，所有发行版均基于这个版本进行改进缺点：版本部署混乱，部署过程繁杂，升级过程繁杂，兼容性差，安全性差（2）CDH版本，在Apache基础上，进行了封装，处理了不同版本的兼容
转载
2023-09-05 12:49:50
89阅读
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件：1. 内存要足够大我的电脑内存是8G：使用虚拟机安装Cloudare server：4GCloudare
转载
2023-10-24 10:53:43
221阅读
# 如何在CDH集群中查看Hive版本
在现代大数据开发中，Apache Hive扮演了数据仓库的角色。掌握如何查看Hive的版本是使用Hive这一工具的第一步。对于刚入行的小白来说，理解流程并实操是非常重要的。接下来，我将为你详细介绍如何在CDH集群中查看Hive的版本。
## 流程概述
首先，让我们梳理一下整个流程：
| 步骤 | 描述
原创
2024-09-01 05:20:50
57阅读
# CDH集群开启Hive授权
## 简介
Hive是一个基于Hadoop的数据仓库工具，用于处理大规模数据集。它提供了类似于SQL的查询语言，使用户可以通过SQL方式来查询和分析数据。在CDH集群中使用Hive时，默认情况下是没有开启授权功能的，这意味着任何用户都可以访问和操作Hive中的数据。为了保护数据的安全性和隐私性，需要开启Hive授权功能。本文将介绍如何在CDH集群中开启Hive授
原创
2024-01-17 11:20:58
72阅读
# CDH集群HUE连接Hive的指南
## 引言
在现代大数据处理架构中，Apache Hive作为一种数据仓库工具，广泛用于处理存储在Hadoop分布式文件系统（HDFS）上的结构化数据。Cloudera's Distribution including Apache Hadoop（CDH）为我们提供了一个集成的环境来方便地管理这些服务。HUE（Hadoop User Experience
原创
2024-10-30 04:59:34
158阅读
hive集群配置 hive on spark标签（空格分隔）： hive##HiveServer2的高可用-HA配置HiveServer2的高可用-HA配置##hive on spark基于Spark 2.0.0搭建Hive on Spark环境官方文档###编译sparkhive on spark要求spark编译时不集成hive，编辑命令如下，需要安装maven，命令中hadoop版本根据实际
转载
2023-07-04 14:12:31
226阅读
CDH6大数据集群离线安装前言、为什么要用离线的方式安装CDH6大数据集群一、下载安装包二、开通CentOS7云服务器三、编辑映射文件四、配置SSH免密登录五、编写集群分发脚本六、上传CDH6安装包到云服务器七、安装MySQL(主节点)1.下载并安装mysql2. 登录后修改密码（尽量复杂一点，太简单了验证不通过，也可以查看如何关闭mysql校验规则）3.重启服务并设置开机启动4.下载并安装JD
转载
2023-10-08 18:44:21
152阅读
CDH 5.16.1集群环境搭建集群节点192.168.10.1 hadoop01 235G+4T192.168.10.2 hadoop02 235G+4T192.168.10.3 hadoop03 235G+4T192.168.10.4 hadoop04 235G+4T集群节点初始化1.配置节点hosts192.168.10.1 hadoop01.office.gdapi.net h
转载
2024-08-17 16:09:40
119阅读
使用Hive如何和Hbase集成，Hbase和Hive的底层存储都在HDFS上，都是hadoop生态系统中的重要一员，所以他们之间有着很亲密的联系，可以相互转换与操作。 hadoop，hbase和hive的搭建就不重复说了，不会的朋友，可以看散仙前面的博客，下面直接进入重点，关于hive集成hbase这一块，网上资料不算多，有的版本比较旧，散仙这里使用的版本是hive0.12和hbase0.96.
转载
2023-12-11 21:33:48
72阅读
