马吉辉的博客_hbase

hbase split分裂Pre-splitting自动split手动split和split分裂过程

//自动splitting公式原理等中讲到了：而0.94版本中，IncreasingToUpperBoundRegionSplitPolicy是默认的split策略。这个策略中，最小的分裂大小和table的某个regionserver的region个数有关，当storefile的大小大于如下公式得出的值的时候就会split，公式如下Min(R^2“hbase.hregion.memstore.fl

split分裂过程原理

hbase手动分裂

hbase自动分裂

转载 2019-04-09 11:11:04 5505 阅读 1点赞

hbase 集群规划（集群业务规划，集群容量规划，Region规划）

//集群业务规划，集群容量规划，Region规划，引出问题：1、一个集群上面到底应该运行哪些业务可以最大程度上利用系统的软硬件资源？2、另外，对于一个给定业务来说，应该如何规划集群的硬件容量才能使得资源不浪费？3、最后，一个给定的RegionServer上到底部署多少Region比较合适？想必这些问题都曾经困惑过很多HBaser，

hbase集群业务规划

hbase集群容量规划

hbase region规划

原创 2019-04-08 18:22:44 3451 阅读 2点赞

hbase 服务器优化之硬件优化（用好操作系统）

下图是HBase官方文档上对操作系统环境的几点配置要求：1、关闭透明大页echo'never'>/sys/kernel/mm/transparent_hugepage/enabledecho'never'>/sys/kernel/mm/transparent_hugepage/defrag//这一步是需要加入到开机自启动中，才可以关闭的//THP是一种动

hbase用好操作系统

hbase数据库swap

为什么不用swap

原创 2019-04-08 17:41:35 3113 阅读 1点赞

hbase compaction的深度研究02（compaction策略算法选择）

1、compaction的核心作用是：通过合并大量小文件为一个大文件来减少hfile的总数量，进而保证读延迟的稳定。2、合并文件首先是读出所有小文件的KVs，再写入同一个大文件，这个过程会带来严重的IO压力和带宽压力，对整个系统的读请求和写请求带来不同程度的影响。

compaction的核心作用

hbase compaction的深度

转载 2019-04-08 15:29:00 2693 阅读

hbase compation基本原理01

hbase写流程1、HBase是一种Log-StructuredMergeTree架构模式，2、用户数据写入先写WAL，再写缓存，3、满足一定条件后缓存数据会执行flush操作真正落盘，形成一个数据文件HFile。什么叫Compaction（压缩合并）1、随着数据写入不断增多，flush次数也会不断增多，进而HFile数据文件就会越来越多。2、然而，太多数据文件会导致数据查询IO次数增多，因此HB

compation原理

hbase 压缩合并

Minor Compaction

Major Compaction

转载 2019-04-08 13:54:06 3061 阅读 1点赞

hbase优化和规划方向说明

如何对hbase用的好，怎么定义把hbase用的好？在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用的好’。优化方向为:（1）HDFS相关配置优化，（2）HBase服务器端优化（GC优化、Compaction优化、硬件配置优化），（3）列族设计优化，（4）客户端优化等，其中第四点（4）客户端优化在前面已经通过超时机制、重试机制讲过，参

hbase优化系列

如何把hbase使用的好

原创 2019-04-04 11:47:16 1324 阅读 1点赞 1收藏

hbase内存规划（读多写少型和写多读少型）

//简单说来主要包括读多写少型和写多读少型)，内存的相关配置却完全不同。1、针对不同应用场景，对多种工作模式下的参数进行详细说明，并结合相关示例对集群规划中最核心模块-内存规划进行介绍。2、HBase中内存规划直接涉及读缓存BlockCache、写缓存MemStore，影响系统内存利用率、IO利用率等资源以及读写性能等，重要性不言而喻。3、主要配置也是针对BlockCache和MemStore进行

hbase

内存

规划

转载 2019-04-03 17:25:13 5658 阅读 1点赞

hbase 客户端超时机制参数优化实践

hbase客户端超时机制参数优化实践1、介绍了HBase客户端基于退避算法的重试机制，并分析得出在某些场景下如果重试策略设置不当会导致长时间的业务阻塞。2、除了重试机制外，业务童鞋最关心的就是超时机制了。3、客户端超时设置对整个系统的稳定性以及敏感性至关重要，一旦没有超时设置或超时时间设置过长，服务器端的长时间卡顿必然会引起客户端阻塞等待，进而影响上层应用。4、好在HBase提供了多个客户端参数设

客户端超时机制参数优化

hbase超时机制详解

hbase超时机制参数优化

原创 2019-04-03 16:38:52 6785 阅读 1点赞

HBase客户端Rpc的重试机制以及客户端参数优化。

hbase客户端重试机制如何保证系统的容错性和低延迟性HBase客户端Rpc的重试机制以及客户端参数优化。1、业务用户一方面比较关注HBase本身服务的读写性能：吞吐量以及读写延迟，2、另一方面也会比较关注HBase客户端使用上的问题，主要集中在两个方面：是否提供了重试机制来保证系统操作的容错性？是否有必要的超时机制保证系统能够fastfail，保证系统的低延迟特性？3、HBase客户端提供的重试

hbase

客户端

重试

原创 2019-04-03 16:20:52 2912 阅读 1点赞

HBase – Memstore Flush和flush shell操作深度解析

//memstoreflush机制和flushshell命令刷新//Memstore是HBase框架中非常重要的组成部分之一，是HBase能够实现高性能随机读写至关重要的一环。深入理解Memstore的工作原理、运行机制以及相关配置，对hbase集群管理、性能调优都有着非常重要的帮助。写机制（大约）1、HBase是基于LSM-Tree模型的，2、所有的数据更新插入操作都首先写入Memstore中（

memstore

刷新

深度解析

原创 2019-03-28 17:05:22 2661 阅读 1点赞

hbase数据写入流程深度解析

2019/3/28星期四hbase数据写入流程深度解析在看此链接之前，可以写查看hbase读写请求详细解释中的写请求流程https://blog.51cto.com/12445535/2356085简介：hbase设置之初就是为了应对大量的写多读少的应用，他出色的写性能，在一个100台RS的集群可以轻松地支撑每天10T的写入量。hbase的写数据流程大体分为3部分1、客户端的写入流程2、服务端的写

hbase写入流程深度解析

hbase客户端写入流程

hbase服务器端写入流程

hbase wal log机制

原创 2019-03-28 15:45:00 5677 阅读 1点赞

hbase中两种缓存机制memstore和blockcache详解（必看）

背景：1、缓存对于数据库来说极其的重要2、最理想的情况是，所有数据都能够缓存到内存，这样就不会有任何文件IO请求，读写性能必然会提升到极致。3、我们并不需要将所有数据都缓存起来，根据二八法则，80%的业务请求都集中在20%的热点数据上，4、把20%的数据缓存起来，将这部分数据缓存起就可以极大地提升系统性能。HBase在实现中提供了两种缓存结构：MemStore和BlockCache。MemStor

memstore和blockcache

hbase2种缓存机制

memstore

blockcache

翻译 2019-03-15 10:04:01 9440 阅读 1点赞

深入探讨hbase读性能优化探讨（20190308）

2019/3/8星期五深入探讨hbase读性能优化探讨（20190308）hbase读性能优化归纳hbase遇到的常见问题汇总：无非是FullGC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。FullGC问题之前在一些文章里面已经讲过它的来龙去脉，主要的解决方案目前主要有两方面需要注意，（1）一方面需要查看GC日志确认是哪种FullGC，根据FullGC类型对JVM参数进行调优，（2）

hbase读性能优化探讨

HBase客户端优化

HBase服务器端优化

HBase列族设计优化

HDFS相关优化

翻译 2019-03-08 16:44:00 5144 阅读 1点赞

深入探讨hbase写性能优化探讨（20190307）

2019/3/7星期四深入探讨hbase写性能优化探讨（20190307）HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值（128M）之后，系统会异步将Memstore中数据flush到HDFS形成小文件。HBase数据写入通常会遇到两类问题，：一类是写性能较差，：另一类是数据根本写不进去。这两类问题的切入点也不

hbase写性能优化点

hbase写性能优化6点

写异常问题检查点

写性能还能再提高么

翻译 2019-03-07 18:22:57 3510 阅读 1点赞

深入探讨为什么hbase读数据（scan）性能底下

2019/3/7星期四深入探讨为什么hbase读数据（scan）性能底下简述：和写流程对比起来，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件；其二是因为HBase中更新操作以及删除操作实现都很简单，更新操作并没有更新原有数据，而是使用时间戳属性实现了多

hbase读数据（scan）性能底下

hbase读性能低下的底层原理

翻译 2019-03-07 16:24:39 7179 阅读 1点赞 1收藏

hbase表设计优化原则（rk设计三原则） ***** 生产环境中使用小结

2019/2/28星期四hbase表设计优化原则https://www.cnblogs.com/qingyunzong/p/8696962.html表设计1、列簇设计　　追求的原则是：在合理范围内能尽量少的减少列簇就尽量减少列簇。　　最优设计是：将所有相关性很强的key-value都放在同一个列簇下，这样既能做到查询效率最高，也能保持尽可能少的访问不同的磁盘文件。　　以用户信息为例，可以将必须的基

hbase

表设

计原

原创 2019-02-28 15:22:19 1824 阅读 1点赞

hbase寻址机制详解

2019/2/20星期三hbase寻址机制详解//参考链接为：https://www.cnblogs.com/qingyunzong/p/8692430.html系统如何找到某个rowkey(或者某个rowkeyrange（范围）)所在的regionbigtable使用三层类似B+树的结构来保存region位置第一层是保存zookeeper里面的文件，它持有rootregion的位置。第二层roo

hbase

寻址

地址

方式

原创 2019-02-28 14:14:11 2263 阅读 1点赞 1收藏

hbase读写请求详细解释

2019/2/28星期四hbase读写请求详细解释hbase的读写过程读请求过程1、客户端通过ZooKeeper以及-ROOT-表和.META.表找到目标数据所在的RegionServer(就是数据所在的Region的主机地址)2、zk返回结果给客户端3、联系RegionServer查询目标数据4、RegionServer定位到目标数据所在的Region，发出查询请求5、Region先在Memst

hbase读请求过程

hbase写请求过程

原创 2019-02-28 13:03:13 2453 阅读 1点赞

深度研究hbase的热点问题，和hbase 表rk的设计和手动分区region

2019/2/20星期三深度研究hbase的热点问题，和hbase表rk的设计和手动分区region在2019/1/25星期五记录hbase的热点问题：hbase热点问题解决（预分区）https://blog.csdn.net/qq_31289187/article/details/80869906Hbasesplit的三种方式和split的过程https://www.cnblogs.com/ni

hbase

热点

问题

原创 2019-02-20 15:16:53 7433 阅读 1点赞

hbase分布式存储机制（工作原理详解）

2019/2/20星期三hbase分布式存储机制（工作原理详解）hbase集群中每个组件的作用Hmaster：1为Regionserver分配region2负责regionserver的负载均衡3发现失效的regionserver并重新分配其上的region4GFS上的垃圾文件回收5处理schema（模式）更新请求//可以通俗的理解为管理用户对表的增删改成操作regionserver1Region

hbase系统架构

hbase分布式存储机制

hbase读写操作

原创 2019-02-20 13:38:54 4770 阅读 1点赞

hbase基本概念 hbase

2019/2/19星期二hbase基本概念**hbase数据库介绍hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠

hbase

基本概念

原创 2019-02-20 13:36:55 1858 阅读 1点赞

hbase建表create高级属性 //hbase 表预分区也就是手动分区这个很重要

2019/2/19星期二hbase建表create高级属性//hbase表预分区也就是手动分区这个很重要下面几个shell命令在后续的hbase操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create属性1、BLOOMFILTER默认是NONE是否使用布隆过虑使用何种方式布隆过滤可以每列族单独启用。使用HColumnDescriptor.setBloomFilterType(NO

hbase

shell

hbase

原创 2019-02-19 19:02:11 10000+阅读 1点赞

hbase集群部署与测试（2017）

部署hbase的集群首先我们要需要一个hadoop集群、至少要有一个hdfs的集群和zookeeper集群用HA集群的可用性号，由于做实验，没必要这么多集群，那么就不用HA集群第一步看一下hdfs是否正常启动hdfsstart-dfs.sh启动zookeeper看是否正常(每台机器上都手动启动zookeeper)./zkServer.shstart检查zookeeper的工作状态./zkServe

hbase基本安装配置

hbase基本操作

hbase在hdfs上各个目录的作用

原创 2019-02-19 18:08:01 2115 阅读 1点赞

hbase shell操作语句

2019/2/19星期二hbaseshell操作语句基本shell命令进入hbase命令行./hbaseshell显示hbase中的表list创建user表，包含info、data两个列族create'user','info1','data1'create'user',{NAME=>'info',VERSIONS

hbase

shell

大数据

原创 2019-02-19 17:59:20 2246 阅读 1点赞

hbase中regionserver进程没过一段时间就会down

各位，哪位大神帮忙看一下，cdh5.9.2环境中hbase中的regionserver服务没过一段时间就会down 本人已经确认不是时间同步问题，下面是具体的regionserver日志信息

hbase

hadoop

regionserver

cdh

原创 2018-05-07 21:21:53 2005 阅读 2点赞 2评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据技术小哥

hbase split分裂Pre-splitting自动split手动split和split分裂过程

hbase 集群规划（集群业务规划，集群容量规划，Region规划）

hbase 服务器优化之硬件优化（用好操作系统）

hbase compaction的深度研究02（compaction策略算法选择）

hbase compation基本原理01

hbase优化和规划方向说明

hbase内存规划（读多写少型和写多读少型）

hbase 客户端超时机制参数优化实践

HBase客户端Rpc的重试机制以及客户端参数优化。

HBase – Memstore Flush和flush shell操作深度解析

hbase数据写入流程深度解析

hbase中两种缓存机制memstore和blockcache详解（必看）

深入探讨hbase读性能优化探讨（20190308）

深入探讨hbase写性能优化探讨（20190307）

深入探讨为什么hbase读数据（scan）性能底下

hbase表设计优化原则（rk设计三原则） ***** 生产环境中使用小结

hbase寻址机制详解

hbase读写请求详细解释

深度研究hbase的热点问题，和hbase 表rk的设计和手动分区region

hbase分布式存储机制（工作原理详解）

hbase基本概念 hbase

hbase建表create高级属性 //hbase 表预分区也就是手动分区这个很重要

hbase集群部署与测试（2017）

hbase shell操作语句

hbase中regionserver进程没过一段时间就会down