HBase为可伸缩海量数据存储而设计，实现面向在线业务的实时数据访问延迟。HBase的伸缩性主要依赖其可分裂的HRegion及可伸缩的分布式文件系统HDFS实现。 HBase中，数据以HRegion为单位进行管理，也就是说应用程序如果想要访问一个数据，必须先找到HRegion，然后将数据读写操作提交给HRegion，由HRegion完成存储层面
原创
2014-09-30 16:56:22
860阅读
rowkey设计
http://san-yun.iteye.com/blog/1995829
http://www.open-open.com/lib/view/open1417612091323.html 命令：代码
原创
2023-05-10 16:06:54
39阅读
1）减少调整减少调整这个如何理解呢？HBase中有几个内容会动态调整，如region（分区）、HFile，所以通过一些方法来减少这些会带来I/O开销的调整。 -- Region 如果没有预建分区的话，那么随着region中条数的增加，region会进行分裂，这将增加I/O开销，所以解决方法就是根据你的RowKey设计来进行预建分区，减少region的动态分裂。 -- HFile HFile是数据底
转载
2023-07-06 21:32:54
73阅读
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化。 下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据， 直到这个region足够大了才
转载
2023-07-20 23:34:18
38阅读
一、高可用二、预分区建立分区方式1、手动设定预分区create '表名','列族名',SPLITS=>['1000','2000','3000']2、生成十六进制序列预分区create '表名','列族名',NUMREGIONS=>15,SPLITLGO=>{'HexStringSplit'}
create 'staff2','info','partition2',{NUMREG
转载
2023-07-18 11:23:24
64阅读
HBase 优化主要有四大方法：预分区、RowKey设计、内存优化、基础优化1、预分区每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高HBase性能。手动设定预分区create 'staff1','info','partit
转载
2023-07-10 14:37:32
52阅读
优化的目的 我们线上hbase集群使用了group分组功能，但没有针对不同业务分组的特点做特殊优化，hbase服务能力没有彻底激发出来。 本文记录了对某个业务分组参数优化的探索，借此机会深入了解不同配置对regionserver监控指标和机器负载的影响。 优化后，单台regionserver查询延迟更低，磁盘IO降低，系统更稳定。从而提高吞吐能力，进而减少机器，提升资源利用率的能力，节约成本。要解
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容：写表操作相关的优化方法。2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子：
[java]
view plain
copy
转载
2023-07-12 17:38:56
60阅读
一、基本类1、Admin类管理可以用于创建、删除、列出、启用和禁用表、添加和删除表列族以及其他管理操作。2、Connection接口一个集群连接，封装了与实际服务器的低级别单独连接以及与zookeeper的连接。 连接通过ConnectionFactory类实例化。 连接的生命周期由调用者管理，使用后必须调用close（）连接以释放资源。连接实现是线程安全的，因此客户端可以创建一次连接，并与不同的
文章目录1. 预分区2. RowKey设计3. 内存优化4. 基础优化1. 预分区HBase默认建表时有一个Region，这个Region的RowKey是没有
hdfs的优化: 设置hdfs中data的存储路径为多路径 ----> 对IO进行了分摊，这样IO优化下， 一台主机上有多个挂载点，修改hdfs-site.xml
原创
2023-04-20 18:48:42
28阅读
内存优化1、HBase 操作过程中需要大量的内存开销，Table 是可以缓存在内存中的，一般会分配整个可用内存的 70%给 HBase 的 Java 堆。2、不建议分配非常大的堆内存，因为 GC 过程持续太久会导致 RegionServer 处于长期不可用状态，一般 16~48G 内存就可以了，因为框架占用内存过高导致系统内存不足。基础优化1、允许在 HDFS 的文件中追加内容hdfs-
转载
2023-07-21 20:59:27
41阅读
目录： 1、建表优化 2、二级索引 3、并行处理 1．建表优化Salting 翻译成中文是加盐的意思，本质是在hbase的rowkey的byte数组的第一个字节位置设定一个系统生成的byte值， 这个byte值是由主键生成rowkey的byte数组做一个哈希算法，计算得来的。Salting之后可以把数据分布到不同的region上，这样有利于phoenix并发的读写操作。 示例：CR
转载
2023-07-26 20:56:45
65阅读
hbase.regionserver.handler.count (hbase-site.xml)默认值：10参数说明：每个Region Server上的RPC Handler的数量,提升RPC Handler的数量可以一定程度上提高HBase在处理大量并发时接收请求的能力HBASE_HEAPSIZE(hbase-env.sh)默认值：1000M参数说明：HBase对内存的消耗比较大
转载
2023-06-13 19:59:00
81阅读
本文对hbase集群进行优化，主要涵盖硬件和操作系统，网络通信，JVM，查询，写入，核心服务，配置参数，zookeeper，表设计等多方面。我们对hbase的应用主要是用户画像，根据自身使用场景做一些优化。难免有片面之处。一、软硬件优化：1. 配置内存，cpuHBase的LSM树结构，缓存机制和日志机制对内存消耗非常大，所以内存越大越好。其中过滤器，数据压缩，多条件组合扫描等场景都是cpu密集型的
转载
2021-06-12 11:09:43
211阅读
一、表的设计优化1.1、提前创建region分区默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。1.2、rowKey 优
转载
2023-07-11 20:19:25
73阅读
zookeeper.session.timeout默认值：3分钟(180000ms)说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.调优：这个timeout决定了R
配置文件hbase-site.xml： hbase.rootdir hdfs://192.168.1.128:9000/hbase hbase.cluster.distribu
[TOC] 一、性能优化 1. 系统性能优化 1. 进程优先级，比如我们可以把ssh的优先级提高，以防止ddos的的时候登录延迟。 2. 内存调优： 目的是让CPU控制更多的内存 ，修改默认的内存页大小，启用大内存而立，比如重型应用，java项目。 3. swap限制，调整内核参数让内核尽管不使用s
原创
2021-07-28 16:34:10
127阅读
HBase优化及部分面试点HBase优化HRegionServer宕机后系统怎么保证可用性(WAL机制)HBase的compaction过程和作用 HBase优化从使用者角度,可以优化存储模型的设计rowkey设计:高位用散列,长度不宜过长,可以适当地把需要索引的条件拼接在rowkey里,查询时尽量用get,scan时要指定start/end key列族的设计:列族尽量少,且不同列族的数据量尽量
转载
2023-07-12 22:07:37
57阅读
