在安装HBase之前你需要先安装Hadoop和Zookeeper，如果你还没有安装可以通过这两篇文章来了解：Hadoop安装，Zookeeper安装。HBase安装HBase的安装也分为三种，单机版、伪分布式、分布式。我们首先来安装单机版。单机版首先我们去官网下载好HBase的安装包；接下来，将压缩包解压缩到你想安装的目录(我解压到的是/app目录)：tar -zxvf hbase-2.1.0-b
转载
2023-11-21 13:04:04
72阅读
一、部署准备1、安装所需包 2、服务器规划IP地址主机名版本备注192.168.43.14yun1hbase-2.1.0-bin.tar.gz主节点192.168.43.254yun2hbase-2.1.0-bin.tar.gz数据节点192.168.43.180yun3hbase-2.1.0-bin.tar.gz数据节点# 二、部署步骤1、上传HBase包（yun1）将HBase压缩包
转载
2023-10-10 21:42:24
69阅读
1.HBase写流程概述HBase采用LSM树结构，天生对写更友好，从整体架构来看，有3个阶段客户端处理阶段：将写请求进行预处理，并根据集群元数据定位写入数据所在的RegionServer，将请求发送给对应的RegionServerRegion写入阶段：RegionServer接收写入请求后将数据解析，先写入WAL，再写入对应的Region列簇(Store)的MemStoreMemStore的落盘
转载
2023-08-10 09:55:36
237阅读
# 简述Hbase过滤器的工作过程
## 概述
HBase是一个构建在Hadoop上的分布式列存储系统，它提供了高可靠性、高可扩展性和高性能的数据存储解决方案。HBase过滤器是用于在HBase数据表中过滤出符合特定条件的行的功能模块。在本篇文章中，我将向你介绍HBase过滤器的工作过程，并提供相关代码示例。
## HBase过滤器的工作过程
下面是HBase过滤器的工作过程的简要概述：
原创
2023-08-11 13:32:59
62阅读
刚刚接触HDFS,感觉HDFS的数据可靠性非常高，记录一下..一HDFS的基本原理HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程，负责处理文件系统客户端的读/写请求，在名称节点的
原创
2016-11-13 22:13:31
926阅读
简介HBase（Hadoop Database）是一个多版本，高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase利用Hadoop HDFS作为其文件存储系统。
原创
2022-02-17 17:33:43
106阅读
简介HBase（Hadoop Database）是一个多版本，高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase利用Hadoop HDFS作为其文件存储系统。提供高可靠，高性能，列存储，可伸缩 ，实时读写，适用于非结构化数据存储的数据库系统。 HBase利用Hadoop MapReduce来处理HBase中的
原创
2021-07-06 16:29:22
554阅读
一、HiveQL是什么？
1.HiveQL概述
Hive是一种数据仓库分析系统，前面我们也说到过，它主要是将SQL的查询过程通过MapReduce来完成
HiveQL本质上就是一种SQL。Hive通过HiveSQL去查询分析需要的内容，使不熟悉MapReduce的用户也可以很方便的利用SQL来查询、汇总并分析数据。
2.HiveQL及Hive的特点
(
转载
2023-08-04 10:30:22
132阅读
用eclipse编程实现对hbase中表的数据的增加
用eclipse编程实现对hbase中表的数据的增加先启动hadoop，之后启动hbase在其中添加一个study的表，查看study的内容显示无内容创建一个新的java project，命名为hbase_study，创建一个com.study.hbase的包，在里面添加了EduAppend的类程序如
转载
2024-06-01 00:33:18
30阅读
MapReduce是一种云计算的核心计算模式，是一种分布式运算技术，也是简化的分布式并行编程模式，主要用于大规模并行程序并行问题。 MapReduce的主要思想：自动将一个大的计算（程序）拆分成Map（映射）和Reduce（化简）的方式。流程图如下： 数据被分割后通过Map函数将数据映射成不同的区块，分配给计算集群进行处理，以达到分布运算的效果，再通过Reduce函
转载
2024-03-14 07:23:19
88阅读
# 简述HBase的寻址机制
## 1. 介绍
在介绍HBase的寻址机制之前，首先需要了解HBase的基本概念。HBase是一个分布式、面向列的NoSQL数据库，建立在Hadoop文件系统（HDFS）之上。HBase的数据模型类似于Google的Bigtable，支持海量数据的存储和高性能的读写操作。
HBase的寻址机制是指如何根据行键（Row Key）来定位数据在表中的位置。在HBas
原创
2023-09-07 19:41:29
291阅读
1.RPC简介 Remote Procedure Call 远程过程调用协议 RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传
原创
2021-07-15 14:36:04
487阅读
起源HBase的原型是Google Allo的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。什么是HBaseHBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据，更具体来说是仅需要使用普通的硬件配值，就能够处
转载
2024-03-06 23:04:49
37阅读
下图是hbase的底层原理图。从图中可以看出hbase分为HMaster和HRegionServer两个部分。HMaster主要功能：监控 RegionServer处理 RegionServer 故障转移处理元数据的变更处理region 的分配或移除在空闲时间进行数据的负载均衡通过 Zookeeper 发布自己的位置给客户端RegionServer主要功能：负责存储
转载
2023-08-30 21:44:56
68阅读
一.简介hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加
转载
2023-09-13 23:27:42
54阅读
MPLS工作原理CE与PE之间的路由交换 PE与CE之间可以通过静态路由协议交换路由信息，也可以通过动态路由协议（如：RIP，OSPF，ISIS，BGP等）交换路由信息。VRF路由注入MP-BGP的过程 VRF中的IPv4路由被添加上RD，RT与标签等信息成为V P N-IPv4的路由放入到MP-BGP的路由表中，并通过MP-BGP协议在PE设备之间交换路由信息。 两端PE运行MP-BGP，通过公
转载
2024-05-10 21:20:41
121阅读
1.首先说一下Compact的作用：在Memstore超过一定的阈值的时候，就要新开一个进程将Memstore flush到storefile中，新的Memstore继续写入接受到的数据，当storefile越来越多时，就会降低读的性能，为了提高读的性能，可以对这些storefile进行compact操作，形多个storefile合并成一个大的storefile，那么compact就需要对HBas
转载
2023-09-01 11:12:25
289阅读
文章目录1 Hadoop的shuffle过程2 Spark的Shuffle过程2.1 RDD依赖关系与Stage划分2.2 HashShuffle解析2.3 SortShuffle解析3 Hadoop与Spark的Shuffle对比 1 Hadoop的shuffle过程Map 方法之后，Reduce 方法之前的数据处理过程称之为Shuffle。Shuffle的具体过程如下：（1）MapTask
转载
2023-12-01 12:37:48
58阅读
BI流程： 需求分析->维度设计->查询service->ETL倒数据->CDC监听数据库 需求分析：首先确定好的数据来源（多个数据库+excel文件+日志+...），需要的数据查询项（measure值） 维度设计: 分析维度出发点，几个w:who ,where,when,wha...
转载
2013-12-27 19:33:00
107阅读
2评论
### HBase工作原理简述
HBase是一种分布式、可扩展且可靠的NoSQL数据库，基于Hadoop文件系统（HDFS）构建。它使用列式存储和面向列的数据库模型，适用于处理大规模数据集。HBase通过水平扩展的方式来处理海量数据，提供高性能和高可用性。
#### 架构概述
HBase的架构由以下几个核心组件组成：
1. HMaster：负责管理整个集群的元数据信息，包括表的元数据和Re
原创
2023-08-11 13:33:31
69阅读
