序言本文集群搭建为三台机器，cdh版本为5.13.0，以下是安装过程中所用到的软件包等，可以自行下载。一、前期准备1.安装环境 系统：centos7.5/最小安装版本/64位 内存：主节点 --> 32G/从节点 --> 16G三台机器组成小集群（物理机）
cdh01cdh02cdh03需要下载的安装包
cloudera-manager-centos7-
转载
2023-07-04 14:32:27
186阅读
# CDH集群中的HBase简介
在CDH集群中，HBase是一个分布式、面向列的NoSQL数据库，它可以提供高可靠性和高性能的数据存储服务。HBase可以与Hadoop集成，作为Hadoop生态系统中的一部分，用于存储大规模的结构化数据。
## HBase的特点
- 面向列：数据以列族和列的形式存储，适合存储结构化数据。
- 分布式：数据分布在多个节点上，支持水平扩展。
- 读写性能高：支持
原创
2024-07-07 03:18:12
32阅读
1 文档编写目的本文档讲述如何升级Cloudera Manager和CDH，通过本文档，您将学习到以下知识：1.如何对Cloudera Manager进行停机升级2.如何对CDH进行停机升级3.如何在不影响集群作业的情况下进行CDH滚动升级文档主要分为以下几步：1.Cloudera升级概述2.Minor版本Cloudera Manager和CDH升级3.Maintenance版本滚动升级CDH4.
背景：kudu是好用，想直接hive操作，好像貌似只有hive 4.0.0 支持；还有一个就是纯粹测试。网上这种升级的帖子少，有自己编译过hive4.0.0源码升级的，我不会java啊。升级是测试和研究，简单的步骤一口带过，有不足的地方各位看官凑合吧。步骤：下载hive apache-hive-4.0.0-alpha-2-bin.tar.gz 有精神的可以下载src自己编译，顺便说一嘴，自己编译，
转载
2024-06-03 08:56:32
60阅读
# CDH集群中的HBase高可用性（HA）配置指南
Apache HBase是一种分布式、可扩展的NoSQL数据库，广泛应用于大数据场景。在CDH（Cloudera's Distribution Including Apache Hadoop）集群中实现HBase的高可用性（HA）是确保数据可靠性的关键步骤。本文将详细介绍如何配置HBase的HA，包括代码示例、序列图和甘特图的使用。
##
[size=medium]
数据迁移或备份是任何一个公司都有可能到遇到的一件事，有关hbase数据迁移，官网也给出了几种方案，这里比较推荐使用hadoop distcp这种方式迁移。比较适合大数据量或者跨版本集群之间的数据迁移服务。
版本
Hadoop2.7.1
Hbase0.98.12
今天在迁移同版本的hbase数据时，在使用Hadoop d
转载
2023-12-26 21:07:18
50阅读
在安装之前，查了一下资料，关于hbase与hadoop兼容性的。最开始看hadoop的时候，在好像慕课网上看的，hadoop全家桶之间的兼容性问题（以前被java web的各种jar包坑坏了的Java菜鸟，心理有点小阴影），还有特意出的cdh版本（Cloudera 公司出的，每个hadoop的cdh版本，都有对应的其他组件的cdh版本）然后，感觉就坏了，我装的hadoop 3.0.1是最新
转载
2024-07-22 11:39:16
54阅读
1.前言回顾从前，已经在大数据领域混了5年了，经手了不少大数据集群搭建方案，自己也做过许多大数据平台的运维工作，在这里进行阶段性的总结。2.大数据集群方案对比简单直接，这里站在生产环境的角度考虑如何选择集群搭建方案，大致有如下几个维度：对比项原生HadoopCDHHDP(Ambari)是否开源完全开源收费/免费（可商用）开源安装方式手动工具工具适用集群规模10个节点以内n个节点n个节点搭建复杂度困
转载
2023-10-14 10:40:22
238阅读
应用场景部署Hadoop集群过程中，可以使用开源的Apache Hadoop或者可以用CDH【国外的一家公司基于开源的封装的】，搭建更加方便，方便扩充节点规模，组件管控，性能监控等等，但是也有一个弊端，针对组件安装的目录，以及生成的配置文件位置比较难找到，目录结构混乱，所以还是请慎用。操作步骤1. 概述CM: Cloudera Manager （Cloudera公司专有的Hadoop集群管控平台）
转载
2024-01-02 11:20:44
49阅读
1. HBase在Hadoop生态圈中的位置问题：HBase 是什么，用在哪里，解决什么样的问题？解答：1）简单来说， HBase 是一种类似于面向列的分布式数据库（集群）， 底层利用HDFS 来作为其物理存储（但在特殊情况下也可以使用节点本机的文件系统）, 存储稀疏数据；同时借助zookeeper来监测集群节点的运行状态（自带zookeeper或者外部zookeeper）；2）生态角度：HBas
转载
2023-08-30 20:13:11
232阅读
方法一： # /etc/init.d/mysql stop
# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &
# mysql -u root mysql
mysql> UPDATE user SET Password=PASSWORD(’newpassword’) where USER=’roo
转载
2024-10-27 14:59:21
18阅读
一、概要 本文记录hbase高可用集群部署过程，在部署hbase之前需要事先部署好hadoop集群，因为hbase的数据需要存放在hdfs上，hadoop集群的部署后续会有一篇文章记录，本文假设hadoop集群已经部署好，分布式hbase集群需要依赖zk，并且zk可以是hbase自己托管的也可以是我们自己单独搭建的，这里我们使用自己单独搭建的zk集群，
原创
精选
2017-05-10 16:33:18
10000+阅读
点赞
# CDH集群备份恢复HBase数据
## 引言
HBase是一个分布式的、可扩展的NoSQL数据库，被广泛应用于大数据领域。在Hadoop生态系统中，CDH（Cloudera Distribution including Apache Hadoop）是一个常用的分布式数据处理平台，可以方便地集成和管理HBase集群。
然而，由于各种原因，如硬件故障、软件错误或人为操作失误，HBase集群中
原创
2023-12-17 08:52:53
131阅读
一.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。1、DKhadoop发行版：有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍(最大)的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点)，极大的简化了集群
转载
2024-05-10 20:00:02
106阅读
本篇主要讲HBase的部署，Apache HBase provides large-scale tabular storage for Hadoop using the Hadoop Distributed File System (HDFS)1 安装HBase apt-get install hbase2 &nbs
转载
2024-03-02 10:39:14
77阅读
1.简介 Phoenix将SQL带回到了NOSQL的世界，其在HBase之上做了一个layer，客户端通过SQL调用Phoenix，Phoenix在转化为HBase客户算API进行访问HBase，其很多计算也是通过HBase的协处理器的机制来完成的。当前很多场景下使用CDH版本的HBase,可惜Cloudrea公司并没有官方支持，内有将Phoenix纳入发布版本中，所以造成社区的Phoenix并
转载
2024-01-09 23:37:24
94阅读
举例Phoenix安装(其他组件类似)一、基本介绍Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建表，插入和查询HBASE，也支持二级索引、事务以及多种SQL层优化Phoenix通过以下方式实现了比你自己手写的方式相同或者可能是更好的性能（更不用说可以少写了很多代码）： 编译你的SQL查询为原生HBase的sca
转载
2024-09-09 15:57:39
46阅读
1. 查看CDH 安装的hadoop 和 hbase 对应的版本具体可以参考以下博客：https://www.cxyzjd.com/article/spark_Streaming/108762904直接给出答案hadoop 版本 3.0.0hbase 版本 2.1.02. 在 github 找到其hbase版本对应的geomesa的版本github 地址:https://github.com/lo
转载
2023-06-14 17:44:08
231阅读
compact一中介绍了HBASE compact的调度流程，本篇文章主要介绍实际进行compact的过程。先从上文中的chore中接入，在HRegionserver中的compactChecker chore方法中，会判断是否需要compact，如下：protected void chore() {
//遍历instance下的所有online的region 进行循环检测
Centos7+CDH5.7.2集群搭建欢迎使用Markdown编辑器一、前期准备1、虚拟机配置（本例为3节点）2、软件资源3、集群的规划二、开始安装前配置和预装软件1、服务器配置1.1 设置本地虚拟机网络的连接模式及网关1.2 节点的IP配置1.3 hostname修改1.4．关闭防火墙1.5 selinux关闭1.6 免密登录配置1.7 ip和主机名映射关系1.8 NTP服务器设置(可选，节
转载
2024-05-14 20:29:13
129阅读
