1.修改主机名：以hadoop3为例： [root@localhost ~]# echo "hadoop003" > /etc/hostname
[root@localhost ~]# vim /etc/hostname
[root@localhost ~]# echo "192.168.244.111" hadoop001 >> /etc/hosts
[root@loc
转载
2024-10-02 15:19:53
46阅读
Cloudera Manager 安装 CDH5.x 心得废话不多说，先展示下这几天捣鼓的成果Cloudera Manager 管理配置界面Hbase 管理界面及Hbase Web UIHDFS 管理界面 及 NameNode Web UIHive 管理界面 及 HiveServer2 Web UIHue 管理界面 及 Web UI首次登录会提示让创建管理员账号和密码，笔者 admin admin
环境：centos7+hadoop2.5.2+hive1.2.1+mysql5.6.22+indigo service 2思路：hive加载日志→Hadoop分布式执行→需求数据进入MySQL注意：hadoop日志分析系统网上资料很多，但是大多都有写小问题，无法顺利运行，但本文中都是经过亲自验证的，可以一气呵成。另外还包括可能遇到的异常的详细解释及相关解决方案。1) 日志格式分析 首先分析 Had
转载
2024-09-04 15:35:47
23阅读
# CDH YARN ResourceManager迁移
## 引言
在大数据框架中，YARN（Yet Another Resource Negotiator）是一个资源管理的核心组件，而CDH（Cloudera's Distribution including Apache Hadoop）中提供的YARN是用于集群资源调度和管理的重要工具。在某些情况下，可能需要迁移YARN的Resource
原创
2024-10-18 07:08:44
213阅读
文章目录问题场景问题环境问题原因确定重启命令尝试连接页面确定环境查看日志解决方案数据库配置文件是否正常权限是否赋权正常总结随缘求赞转发关注三连问题场景因为园区突发断电，导致服务器断电。部署在服务器上面的CDH集群都挂了。现在需要重新启动起来，但是重启之后，服务一直启动不起来。本篇博文主要是针对这种情况，阐述解决问题的思路和问题解决的过程。问题环境软件版本Centos7CDH5.15.1问题原因接下
1、PDCCH之CCE PDCCH中承载的是DCI（Downlink Control Information），包含一个或多个UE上的资源分配和其他的控制信息。 在LTE中上下行的资源调度信息（MCS，Resource allocation等的信息）都是由PDCCH来承载的。 一般来说，在一个子帧内，可以有多个PDCCH。 UE需要首先解调PDCCH中的DC
转载
2024-10-21 16:48:01
8阅读
1.点击yarn---操作---选择启用ha
2.点击选择一个主机
3.选择RM角色的另外一台主机，master001
4.选择后点击确认
5.重启yarn的服务
6.点击完成即可。
7.完成后如下图。
原创
2021-08-30 14:48:03
1346阅读
点赞
1.下载Hadoop安装包Apache版本下载地址：https://archive.apache.org/dist/hadoop/common/CDH版本下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/这里下载hadoop-2.6.0-cdh5.10.0.tar.gz版本安装包，并上传至主节点（hadoop01）/home/hadoop/ap
转载
2023-10-29 10:32:18
64阅读
# 如何查找CDH集群YARN的ResourceManager日志文件
## 引言
在CDH（Cloudera Distribution including Apache Hadoop）集群中，YARN（Yet Another Resource Negotiator）是资源管理和作业调度的重要组成部分。而ResourceManager是YARN的核心组件之一，负责管理资源并调度作业。若想了解R
CDH 的 6.0.1 是一个尴尬的版本，那时候 cloudera 还没有将 spark 更新到 2.4 还使用的是 spark 2.2版本。 但后来我们发现 2.3 | 2.4 更新了非常多的 feature 和修复了一些 bug 以及更新了很多包括 structed streaming 特性。并且最近最新的 6.2.0 将会在不久之后提供 Apache phoenix 的支
转载
2024-06-28 20:07:26
66阅读
# 如何在CDH中添加HBase主体名称
在开发和运维大数据应用时，HBase通常作为一种高性能的NoSQL数据库，这使得它在许多场合下与CDH（Cloudera Distribution for Hadoop）一起使用。如果你是一名刚入行的小白，下面的指南将教你如何在CDH中添加HBase主体名称。本指南将通过流程步骤、具体实施过程和代码示例逐步引导你。
## 流程概述
在CDH中添加HB
原创
2024-10-18 08:51:05
49阅读
安装步骤第一步：修改主机名 修改/etc/sysconfig/network文件： NETWORKING=yes HOSTNAME=master其中HOSTNAME与主机名一致。主机名如果跟系统安装时不一致请执行hostname命令让其立即生效，否则会影响各节点互相访问。修改/etc/hosts文件，添加： 192.168.1.101 master 192.168.1.102 node1 192.
转载
2024-04-22 12:55:23
142阅读
## 在CDH中添加Hive的完整指南
在大数据处理和分析中，Hive是一个非常重要的工具，它提供了一种类似于SQL的接口来查询和分析大规模数据。Cloudera的分发版本（CDH）包含了多种大数据组件，使得 Hive 的安装和配置变得相对简单有序。本文将为你提供一个详细的步骤指南，帮助你在CDH中成功添加Hive。
### 整体流程概览
以下是添加Hive到CDH中的流程概览：
| 步骤
# 在CDH中为YARN添加额外配置项的指导
作为一名新手开发者，您可能在使用Cloudera’s Distribution Including Apache Hadoop (CDH) 中的YARN（Yet Another Resource Negotiator）时遇到了如何添加额外配置项的问题。本文将逐步引导您完成这个过程，并在每一步中提供相应的代码和详细注释。
## 流程概述
首先，我们
# 给Hive添加属性的方案
在CDH中，可以通过Hive的配置属性来对Hive进行一些特定的设置，以满足用户的需求。这些属性可以帮助用户优化查询性能、管理资源等。在本文中，我们将介绍如何给Hive添加属性，并结合一个具体的问题来解释如何解决。
## 添加属性的步骤
1. 登录到CDH的Cloudera Manager界面。
2. 进入Hive的服务页面。
3. 点击“Configurati
原创
2024-07-11 04:39:58
120阅读
服务迁移是个大的概念，可以细分到很多种服务， 数据库服务迁移、redis 服务迁移、RPC 服务迁移 等等。本次就聊一下我经历过的数据库服务迁移。场景一：连接信息都不变，业务服务不重启操作步骤（一）先开启 DTS 同步全量、增量数据（二）数据同步一致后，切换域名指向新库此时连接池里新创建的连接（c4、c5、c6）会和新库建立 TCP 连接，连接池里老的连接（c1、c2、c3）对应的 TCP 连接还
转载
2024-05-11 20:48:43
73阅读
继上篇文章验证Cloudera RM HA功能后，现在开始分析Cloudera RM HA的原理。 设计目标主要目的是为了解决两种问题 计划外的机器挂掉 计划内的如软件和硬件升级等. 架构流程：两个RM, 启动的时候都是standby, 进程启动以后状态未被加载, 转换为active后才会加载相应的状态并启动服务. RM的状态通过配置可以存储在zookeeper, HDFS上。Standby转换到
转载
2024-07-26 12:46:57
69阅读
CDH方式搭建大数据平台的优势: 提供UI界面交互,极大的简化了集群的搭建,减少版本冲突 通过网页浏览器就可以实现集群的操作和管理前言: 搭建前准备: 确保 linux系统的以及服务器集群的搭建已ok示例版本: 5.14.0 示例节点: 两个 示例步骤: 安装前环境准备 , 安装过程 , 启动环境以及安装相应软件架构安装前的环境搭建一:整体架构二:安装前准备 两台虚拟机,一台作为主节点,一台从节点
转载
2023-11-21 12:03:08
144阅读
文章目录一.准备工作1.1 CDH 6.3.1大数据平台搭建1.2 安装方式讨论1.3 安装介质下载及上传1.3.1 介质下载1.3.2 上传文件1.4 重启cdh集群二.安装Flink2.1 配置本地Flink 的 parcel2.2 开始安装Flink三.FAQ3.1 Deploy client Configuration失败3.2 为激活 Parcel:[flink]参考: 一.准备工作1
转载
2024-04-19 19:03:16
69阅读
# CDH Kerberos 添加HBase
在CDH集群中启用Kerberos身份验证可以提高集群的安全性。Kerberos是一个网络身份验证协议，可以防止未经授权的访问，确保只有经过身份验证的用户才能访问集群资源。本文将介绍在CDH集群中添加HBase的Kerberos身份验证的过程。
## 准备工作
在开始之前，确保已经完成以下准备工作:
1. 安装并配置CDH集群
2. 启用Ker
原创
2023-08-21 08:29:49
104阅读
