一、项目环境搭建新建 Maven Project，新建项目后在 pom.xml 中添加依赖： <dependency>
<groupId>org.apache.
hbase</groupId>
<artifactId>
hbase-server</artifactId>
<version>1.2.6
转载
2023-08-14 14:32:41
110阅读
目录一、流程概述1、根据rowkey定位到对应的RegionServer的目标region2、构造三层Scanner Iterator体系，3、过滤不满足条件的Scanner，即过滤不满足条件的HFile或者MemStore4、每个Scanner(可能在MemStore也可能在HFile中)执行seek得到startKey5、对所有的Scanner合并构建成最小堆，依次pop取出有小到大排列的Ke
转载
2023-09-27 22:02:10
71阅读
1.介绍HBase的两种读取模式：Get与Scan 如何发起一次Get请求，Get有哪些关键参数 如何发起一次Scan请求，Scan有哪些关键参数2.Client如何发送请求到对应的RegionServer3.RegionServer侧如何处理一次读取请求 关于Scan的命题定义 如何处理Get请求 合理组织所有的"KeyValue数据源
转载
2023-07-03 20:28:32
177阅读
总结一下这两天hbase迁数据的过程Import导入 直接使用import导入hbase的时候实在太慢，并且占用的yarn资源也很多，对yarn上的其他应用资源的申请影响很大bulkload导入 后来改用先生成hfile，然后用LoadIncrementalHFiles导入，用import和importTsv都可以生成hfile，但是这样也有个问题就是生成的storefile很大，并且有序的，
转载
2023-07-03 20:26:54
92阅读
说明本文参考自HBase数据读取流程解析hbase（二）hfile结构目录说明1.HBase读取数据流程2.疑问2.1上述（10）中，需要对满足条件的KeyValue进行从小到大排序合并构建最小堆。2.1.1为什么Scanner需要有小到大排序？2.1.2HBase中KeyValue是什么样的结构？2.1.3不同KeyValue之间如何进行大小比较？2.2上述（11）中数据是如何从最小堆KeyVa
转载
2023-07-25 23:34:51
83阅读
Java API 读取HBase表数据1.在使用java api 去获取数据的时候，先用 hbase shell 展示一下 hbase 中的表。hbase(main):005:0> scan 'tsdb-uid'ROW COLUMN+CELL ...
原创
2021-07-07 14:38:03
2120阅读
Java API 读取HBase表数据1.在使用java api 去获取数据的时候，先用 hbase shell 展示一下 hbase 中的表。hbase(main):005:0> scan 'tsdb-uid'ROW COLUMN+CELL ...
原创
2022-01-28 09:27:45
225阅读
一、读数据流程1.在客户端输入一个指令 get "a" ,"rk0010" 请求到 zookeeper的/hbase/META(META标位置)2.返回记录表数据位置的meta表的机器,交给客户端3.客户端请求regionserver2(加入meta返回数据告诉数据在region中储存) 下载meta表(我也有点不太清楚,可能是meta表在regionserve
转载
2023-07-03 20:26:21
64阅读
前言 1. 创建表：（由master完成）首先需要获取master地址（master启动时会将地址告诉zookeeper）因而客户端首先会访问zookeeper获取master的地址client和master通信，然后有master来创建表（包括表的列簇，是否cache，设置存储的最大版本数，是否压缩等）。2. 读写删除数据client与regionserver通信，读写、删除数据写入和
转载
2023-07-25 23:21:09
143阅读
基本概念HFile文件
保存在磁盘的hbase表数据文件, 格式为HFile。数据块为存储单元, 默认认大小64KB。MemStore
写缓存，由于HFile中的数据要求是有序的，数据是先在MemStore中，排好序后,再刷写到HFile. 每次刷写都会形成一个新的HFile。WAL
数据会先写WAL(Write-Ahead logfile)日志文件文件中，然后再写入MemStore中。以
转载
2023-07-18 11:20:59
195阅读
HBase从用法的角度来讲其实乏陈可善，所有更新插入删除基本一两个API就可以搞定，要说稍微有点复杂的话，Scan的用法可能会多一些说头。而且经过笔者观察，很多业务对Scan的用法可能存在一些误区(对于这些误区，笔者也会在下文指出)，因此有了本篇文章的写作动机。也算是Scan系列的其中一篇吧，后面对于Scan还会有一篇结合HDFS分析HBase数据读取在HDFS层面是怎么一个流程，敬请期待。HBa
转载
2023-07-05 12:55:40
65阅读
先看一个标准的hbase作为数据读取源和输出目标的样例：Configuration conf = HBaseConfiguration.create();
Job job = new Job(conf, "job name ");
job.setJarByClass(test.class);
Scan scan = new Scan();
TableMapReduceUtil.initTableM
转载
2024-06-18 16:09:52
24阅读
HBase的客户端连接由ConnectionFactory类来创建，用户使用完成之后需要手动关闭连接。同时连接是一个重量级的，推荐一个进程使线程。创建类HBaseDML。...
原创
2023-01-19 09:37:48
104阅读
# HBase API科普介绍
HBase是一个开源的、面向列的分布式数据库，建立在Hadoop文件系统（HDFS）上。它为海量结构化数据提供了高性能的随机实时读写访问能力。HBase的API提供了许多功能强大的方法和类，使开发人员能够方便地与HBase进行交互。
## 安装HBase
首先，我们需要安装HBase并启动HBase服务。这超出了本文的范围，可以参考官方文档或其他教程进行安装和
原创
2023-08-03 19:38:37
31阅读
HBase API 完整使用一、环境准备1、新建项目后在 pom.xml 中添加依赖二、HBaseAPI1、获取 Configuration 对象2、判断表是否存在3、创建表4、删除表5、向表中插入数据6、删除多行数据7、获取所有数据8、获取某一行数据9、获取某一行指定“列族:列”的数据10、创建命名空间11、关闭资源三、MapReduce1、官方 HBase-MapReduce2、自定义 HB
转载
2023-08-15 17:48:25
49阅读
篇幅中使用的HBase版本为1.1.2Java APIHBase提供了一套Java API来支持Java程序对HBase数据库的请求操作，在hbase shell中能够使用的都可以通过这套API来实现 HBase有两套API，分别是1.0和2.0，在较新版本的HBase中使用1.0的API时，很多类和方法都被标记为Deprecated，官方表示旧版本的API将会在3.0版本中删除，所以推荐使用2.
转载
2023-07-05 14:11:58
74阅读
Hbase的scan方法Apache HBase是一种开源、分布式、版本控制的非关系型数据库系统，类似于Google的Bigtable。HBase提供了几种用于检索数据的API，其中包括scan()和get()方法。Scan()方法是用于扫描表中的多个行的API。它可以用于从一个或多个范围内获取多行数据，以及使用过滤器来进行数据过滤和排序。Scan操作是无阻塞性的，因此它适用于大多数查询场景。通过
转载
2023-09-01 10:57:34
73阅读
Hbase–API操作一：API简介数据库操作：HbaseConfiguration:配置文件连接对象，进行加载配置文件，获取zk的连接HBaseAdmin:ddl的句柄对象，ddl的入口对象表：Htable:表对象，dml的入口对象，对表数据进行操作的HTableDescriptor ：表描述器对象HColumnDescriptor ：列族描述器对象列修饰符：Put ：数据插入的Get ：单条数
转载
2023-08-29 18:33:14
59阅读
前言 之前曾经发表过博文，整理了Hbase2.1.0之后的相关API。这里对获取数据的方法进行详细整理创建连接//获取到当前设置
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "bigdate01:2181,bigdate02:2181
转载
2023-05-26 21:44:44
89阅读
客户端API：基础 HBase的主要客户端接口是由org.apache.hadoop.hbase.client包中的HTable类提供的，通过这个类，用户可以完成向HBase存储和检索数据，以及删除无效数据之类的操作。 通常在正常负载下和常规操作下，客户端读操作不会受到其他修改数据的客户端影响，因为它们之间的冲突可以忽略不计。但是，当允许客户端需要同时修改同一行数据时就会产生问题。所以，用户应
转载
2023-10-21 09:23:50
70阅读
