马吉辉的博客_hbase原创博文

欢迎

hbase 集群规划（集群业务规划，集群容量规划，Region规划）

//集群业务规划，集群容量规划，Region规划，引出问题：1、一个集群上面到底应该运行哪些业务可以最大程度上利用系统的软硬件资源？2、另外，对于一个给定业务来说，应该如何规划集群的硬件容量才能使得资源不浪费？3、最后，一个给定的RegionServer上到底部署多少Region比较合适？想必这些问题都曾经困惑过很多HBaser，

hbase集群业务规划

hbase集群容量规划

hbase region规划

原创 2019-04-08 18:22:44 3453 阅读 2点赞

hbase 服务器优化之硬件优化（用好操作系统）

下图是HBase官方文档上对操作系统环境的几点配置要求：1、关闭透明大页echo'never'>/sys/kernel/mm/transparent_hugepage/enabledecho'never'>/sys/kernel/mm/transparent_hugepage/defrag//这一步是需要加入到开机自启动中，才可以关闭的//THP是一种动

hbase用好操作系统

hbase数据库swap

为什么不用swap

原创 2019-04-08 17:41:35 3113 阅读 1点赞

hbase优化和规划方向说明

如何对hbase用的好，怎么定义把hbase用的好？在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用的好’。优化方向为:（1）HDFS相关配置优化，（2）HBase服务器端优化（GC优化、Compaction优化、硬件配置优化），（3）列族设计优化，（4）客户端优化等，其中第四点（4）客户端优化在前面已经通过超时机制、重试机制讲过，参

hbase优化系列

如何把hbase使用的好

原创 2019-04-04 11:47:16 1324 阅读 1点赞 1收藏

hbase 客户端超时机制参数优化实践

hbase客户端超时机制参数优化实践1、介绍了HBase客户端基于退避算法的重试机制，并分析得出在某些场景下如果重试策略设置不当会导致长时间的业务阻塞。2、除了重试机制外，业务童鞋最关心的就是超时机制了。3、客户端超时设置对整个系统的稳定性以及敏感性至关重要，一旦没有超时设置或超时时间设置过长，服务器端的长时间卡顿必然会引起客户端阻塞等待，进而影响上层应用。4、好在HBase提供了多个客户端参数设

客户端超时机制参数优化

hbase超时机制详解

hbase超时机制参数优化

原创 2019-04-03 16:38:52 6794 阅读 1点赞

HBase客户端Rpc的重试机制以及客户端参数优化。

hbase客户端重试机制如何保证系统的容错性和低延迟性HBase客户端Rpc的重试机制以及客户端参数优化。1、业务用户一方面比较关注HBase本身服务的读写性能：吞吐量以及读写延迟，2、另一方面也会比较关注HBase客户端使用上的问题，主要集中在两个方面：是否提供了重试机制来保证系统操作的容错性？是否有必要的超时机制保证系统能够fastfail，保证系统的低延迟特性？3、HBase客户端提供的重试

hbase

客户端

重试

原创 2019-04-03 16:20:52 2928 阅读 1点赞

HBase – Memstore Flush和flush shell操作深度解析

//memstoreflush机制和flushshell命令刷新//Memstore是HBase框架中非常重要的组成部分之一，是HBase能够实现高性能随机读写至关重要的一环。深入理解Memstore的工作原理、运行机制以及相关配置，对hbase集群管理、性能调优都有着非常重要的帮助。写机制（大约）1、HBase是基于LSM-Tree模型的，2、所有的数据更新插入操作都首先写入Memstore中（

memstore

刷新

深度解析

原创 2019-03-28 17:05:22 2672 阅读 1点赞

hbase数据写入流程深度解析

2019/3/28星期四hbase数据写入流程深度解析在看此链接之前，可以写查看hbase读写请求详细解释中的写请求流程https://blog.51cto.com/12445535/2356085简介：hbase设置之初就是为了应对大量的写多读少的应用，他出色的写性能，在一个100台RS的集群可以轻松地支撑每天10T的写入量。hbase的写数据流程大体分为3部分1、客户端的写入流程2、服务端的写

hbase写入流程深度解析

hbase客户端写入流程

hbase服务器端写入流程

hbase wal log机制

原创 2019-03-28 15:45:00 5679 阅读 1点赞

hbase表设计优化原则（rk设计三原则） ***** 生产环境中使用小结

2019/2/28星期四hbase表设计优化原则https://www.cnblogs.com/qingyunzong/p/8696962.html表设计1、列簇设计　　追求的原则是：在合理范围内能尽量少的减少列簇就尽量减少列簇。　　最优设计是：将所有相关性很强的key-value都放在同一个列簇下，这样既能做到查询效率最高，也能保持尽可能少的访问不同的磁盘文件。　　以用户信息为例，可以将必须的基

hbase

表设

计原

原创 2019-02-28 15:22:19 1827 阅读 1点赞

hbase寻址机制详解

2019/2/20星期三hbase寻址机制详解//参考链接为：https://www.cnblogs.com/qingyunzong/p/8692430.html系统如何找到某个rowkey(或者某个rowkeyrange（范围）)所在的regionbigtable使用三层类似B+树的结构来保存region位置第一层是保存zookeeper里面的文件，它持有rootregion的位置。第二层roo

hbase

寻址

地址

方式

原创 2019-02-28 14:14:11 2271 阅读 1点赞 1收藏

hbase读写请求详细解释

2019/2/28星期四hbase读写请求详细解释hbase的读写过程读请求过程1、客户端通过ZooKeeper以及-ROOT-表和.META.表找到目标数据所在的RegionServer(就是数据所在的Region的主机地址)2、zk返回结果给客户端3、联系RegionServer查询目标数据4、RegionServer定位到目标数据所在的Region，发出查询请求5、Region先在Memst

hbase读请求过程

hbase写请求过程

原创 2019-02-28 13:03:13 2456 阅读 1点赞

深度研究hbase的热点问题，和hbase 表rk的设计和手动分区region

2019/2/20星期三深度研究hbase的热点问题，和hbase表rk的设计和手动分区region在2019/1/25星期五记录hbase的热点问题：hbase热点问题解决（预分区）https://blog.csdn.net/qq_31289187/article/details/80869906Hbasesplit的三种方式和split的过程https://www.cnblogs.com/ni

hbase

热点

问题

原创 2019-02-20 15:16:53 7443 阅读 1点赞

hbase分布式存储机制（工作原理详解）

2019/2/20星期三hbase分布式存储机制（工作原理详解）hbase集群中每个组件的作用Hmaster：1为Regionserver分配region2负责regionserver的负载均衡3发现失效的regionserver并重新分配其上的region4GFS上的垃圾文件回收5处理schema（模式）更新请求//可以通俗的理解为管理用户对表的增删改成操作regionserver1Region

hbase系统架构

hbase分布式存储机制

hbase读写操作

原创 2019-02-20 13:38:54 4774 阅读 1点赞

hbase基本概念 hbase

2019/2/19星期二hbase基本概念**hbase数据库介绍hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠

hbase

基本概念

原创 2019-02-20 13:36:55 1858 阅读 1点赞

hbase建表create高级属性 //hbase 表预分区也就是手动分区这个很重要

2019/2/19星期二hbase建表create高级属性//hbase表预分区也就是手动分区这个很重要下面几个shell命令在后续的hbase操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create属性1、BLOOMFILTER默认是NONE是否使用布隆过虑使用何种方式布隆过滤可以每列族单独启用。使用HColumnDescriptor.setBloomFilterType(NO

hbase

shell

hbase

原创 2019-02-19 19:02:11 10000+阅读 1点赞

hbase集群部署与测试（2017）

部署hbase的集群首先我们要需要一个hadoop集群、至少要有一个hdfs的集群和zookeeper集群用HA集群的可用性号，由于做实验，没必要这么多集群，那么就不用HA集群第一步看一下hdfs是否正常启动hdfsstart-dfs.sh启动zookeeper看是否正常(每台机器上都手动启动zookeeper)./zkServer.shstart检查zookeeper的工作状态./zkServe

hbase基本安装配置

hbase基本操作

hbase在hdfs上各个目录的作用

原创 2019-02-19 18:08:01 2115 阅读 1点赞

hbase shell操作语句

2019/2/19星期二hbaseshell操作语句基本shell命令进入hbase命令行./hbaseshell显示hbase中的表list创建user表，包含info、data两个列族create'user','info1','data1'create'user',{NAME=>'info',VERSIONS

hbase

shell

大数据

原创 2019-02-19 17:59:20 2248 阅读 1点赞

hbase中regionserver进程没过一段时间就会down

各位，哪位大神帮忙看一下，cdh5.9.2环境中hbase中的regionserver服务没过一段时间就会down 本人已经确认不是时间同步问题，下面是具体的regionserver日志信息

hbase

hadoop

regionserver

cdh

原创 2018-05-07 21:21:53 2005 阅读 2点赞 2评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据技术小哥

欢迎

hbase 集群规划（集群业务规划，集群容量规划，Region规划）

hbase 服务器优化之硬件优化（用好操作系统）

hbase优化和规划方向说明

hbase 客户端超时机制参数优化实践

HBase客户端Rpc的重试机制以及客户端参数优化。

HBase – Memstore Flush和flush shell操作深度解析

hbase数据写入流程深度解析

hbase表设计优化原则（rk设计三原则） ***** 生产环境中使用小结

hbase寻址机制详解

hbase读写请求详细解释

深度研究hbase的热点问题，和hbase 表rk的设计和手动分区region

hbase分布式存储机制（工作原理详解）

hbase基本概念 hbase

hbase建表create高级属性 //hbase 表预分区也就是手动分区这个很重要

hbase集群部署与测试（2017）

hbase shell操作语句

hbase中regionserver进程没过一段时间就会down