blackproof的博客_hbase

hbase hfile文件格式详解

[value]。2元数据块元数据是key-value类型的值，但元数据快只保存元数据的value值，元数据的key值保存在第五项（元数据索引块）

hbase

hfile

文件格式

数据块

元数据

原创精选 2023-09-26 16:55:33 741 阅读

HBase snappy部署转

体的压缩处理。首先需要在hadoop集群里安装snappy成功。以下介绍如何在hadoop中部署snappy第一步骤：下载snappy网页地址：http:/

hbase

snappy

hadoop

Hadoop

apache

转载 2023-09-26 16:25:27 128 阅读

hbase coprocessor入门使用转

1.起因(Why HBase Coprocessor)HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase中，统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算

hbase

coprocessor

实例

入门

apache

转载 2023-07-20 20:46:01 51 阅读

hbase源码分析

pact2.1. Compact主要来源来自四个方面：1、Memstoreflush时；2、HRegionServer

大数据

ui

java

线程池

打印日志

原创精选 2023-07-13 12:39:50 266 阅读

hbase coprocessor 官网介绍

Andrew Purtell(The o

hbase

corporation

ide

ci

RPC

原创 2023-06-04 22:46:56 74 阅读

HMaster启动源码分析

写之前先吐槽一下自己的sb公司环境，电脑上不了网，优盘又不能插。所以做点笔记基本上都是晚上回家再写一遍。哎，废话不说了先贴个hbase在构造函数中起来的RPC服务的UML图：http://blackproof.iteye.com/blog/2029170 HMaster启动会调用Ru

hbase

hmaster

源码

分析

hive

原创 2023-06-04 22:46:45 160 阅读

hbase性能调试转

本文主要介绍软件层面的性能调优。故，在此之前，请检查硬件状况。硬盘推荐SSD，一般SATA即可。网络千兆以上。可以安装Ganglia等工具，检查各节点的各硬件的运作状态：CPU,Memo,网络等等。一、调整参数入门级的调优可以从调整参数开始。投入小，回报快。 1. Write Buffer Size快速配置 1. HTable htable = new 2. htable.

hbase

性能

数据

Pair

RPC

原创 2023-06-04 22:45:52 69 阅读

hbase gc MemStore-Local Allocation Buffer

Arena Allocation，是一种GC优化技术，它可以有效地减少因内存碎片导致的Full GC，从而提高系统的整体性能。本文介绍Arena Allocation的原理及其在Hbase中的应用-MSLAB。背景假设有1G内存，我顺序创建了1百万个对象，每个对象大小1K，Heap会被渐渐充满且每个对象以创建顺序相邻。此时，如果我释放50万个奇数对象，即 1 3 5 7后，剩余空间会多

hbase

gc

mslab

内存碎片

原创 2023-06-04 22:44:27 87 阅读

在HBase中应用MemStore-Local Allocation Buffers解决Full GC问题

译者注：上个月写了一遍博文，介绍一种高效的Java缓存实现http://maoyidao.iteye.com/blog/1559420。其本质是模仿Memcached的Slab，通过分配连续定长的byte[]减少大规模使用Java Heap作为缓存时不可避免的GC问题。虽然当时构思和实现这一思路时并没有参照其他开源产品，但这一思路在很多著名的开源产品上也有类似的实现。随着内

hbase

gc

CMS

服务器

Java

原创 2023-06-04 22:44:20 94 阅读

HBase 笔记四预先设置regions

这种方法，解决...

hbase

regions

apache

html

大数据

原创 2023-06-04 22:39:57 56 阅读

hbase split log转cloudera的文章

(WAL), which plays an important role in preventing data loss should a HBase region server failure occur. This blog post describ

hbase

split log

cloudera

sed

hdfs

原创 2023-04-26 13:44:49 106 阅读

ERROR: Found lingering reference file hdfs

ency-in-table-hbase This looks like you had a failed region split, see [HBASE-8052] (https://issues.apache.org/jira/browse/HBASE-8502) f

hbase

bc

hadoop

d3

原创 2023-04-26 13:43:32 229 阅读

hbase region split 源码分析

base region split和compact的了，日志有split时间太长；文件找不到；split的时候respon

hadoop

split

compact

源码

分析

原创 2023-04-21 07:08:00 219 阅读

HBase 物理模型第一节

做ETL，设计HBase有段时间了，虽然还是很不成熟，但是有点小小经验，做个笔记 HBase暂不谈他负载均衡，容灾性能这堆，只说他在应用上的一些小小经验作为第一节先谈谈rowkey cf cq的设计keyvalue的结构是 -------------------------Key--------------------------------

hbase

物理模型

设计

列式存储

建模

原创 2023-04-21 06:59:28 93 阅读

HBASE笔记二 Get和Put

Get 取数据过程 load and cached（只有第一次访问此rowkey）访问（-Root-）获取zooke

hbase

get

set

操作过程

数据

原创 2023-04-21 06:59:15 160 阅读

HBase custom Filter

er，按照cq比较 hbase还有一堆WritableByteArrayComparable，可以满足各种比较比如R是

hbase

custom

filter

自定义

过滤器

原创 2023-04-21 06:58:44 128 阅读

hbase 笔记三配置优化

配置优化zookeeper.session.timeout默认值：3分钟(180000ms)说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.

hbase

配置优化

默认值

调优

CMS

原创 2023-04-21 06:12:23 72 阅读

Hbase ScannerTimeoutException 报错

ER_LEASE_PERIOD_KEY, 120000) 2.在$HBASE_HOME/conf/hbase-site.xml中operty>

hbase

报错

xml

问题解决方法

原创 2023-04-21 06:09:03 96 阅读

hbase compact和split策略

和 hbase.hstore.compactionThreshold的最大值数（默认值为3） major compact触发：(hfile由mem flush生成)HStore检查是否进行

hbase

compact

split

触发

策略

原创 2023-04-21 01:08:13 93 阅读

hbase问题

c.socket.timeout=600000 -D hbase.client.scanner.timeout.period=600000 split '7336a0b8166d93ed5641f656

hbase

java

.net

原创 2023-04-21 01:07:41 72 阅读

hbase 配置优化

话了，以下就是优化的一点笔记 hbase配置修改：(split是因为hfile过多，进行split，split之后进行compact 可以可能要有人喷了，hfile多了应

hbase

配置

优化

Time

客户端

原创 2023-04-21 01:07:35 47 阅读

hbase报错 java.io.IOException: Connection reset by peer

reset by peer. Count of bytes read: 0java.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcher.read0(Native Method) at sun.nio.ch.SocketDispatcher.r

hbase

报错

java

apache

hadoop

原创 2023-04-21 01:07:23 442 阅读

hbase Number of empty REGIONINFO_QUALIFIER rows in hbase:meta: 1

机房断电 hbase产生漏洞，用http://blackproof.iteye.com/blog/2052898这个帖子，可以删除多余的meta上的region 在

hbase

zookeeper

mvc

bc

原创 2023-04-21 01:03:40 47 阅读

hbase 报java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString

问题描述在HBase上运行MapReduce作业时，报如下异常：IllegalAccessError: class com.google.protobuf.HBase

hbase

报错

缺包

java

hadoop

原创 2023-04-20 17:09:49 222 阅读

HBase memflush源码分析

his); // Compaction thread this.compactSplitThread = new CompactSplitThread(this); ....... private void startServiceThreads() throws IOException { String

hbase

memflush

compact

split

mvc

原创 2023-04-20 17:09:18 85 阅读

hbase0.98.1源码编译

findbugs 3.0.1Java 1.7.0_06Hadoop 2.2.0HBase 0.98.1 2.生成pom修改generate-hadoopX-poms.sh中的hbase_home="${HB

hbase0.98.1

源码

编译

apache

hadoop

转载 2023-04-20 17:09:10 88 阅读

hbase put源码分析

... try { region = getRegion(regionAction.getRegion());//获得对应操作的Region } catch (IOException e) {

hbase

put

mvcc

wal

List

转载 2023-04-20 17:08:36 84 阅读

hbase定时memflush PeriodicMemstoreFlusher

.onlineRegions.values()) { if (r == null) continue; if (r.shouldFlush()) { FlushRequester requester = server.getFlushReque

hbase

memflush

ide

转载 2023-04-20 17:08:28 99 阅读

hbase hlog源码

n + ".logRoller", uncaughtExceptionHandler);//logRoller守护进程，每一个小时生成一个hlog this.splitLogWorker = new

hbase

hlog

hdfs

ci

ide

转载 2023-04-20 17:05:38 93 阅读

HBase MSLAB和MemStoreChunkPool源码

MSLAB工作原理，举个例子HStore在add的时候的例子，其他操作也差不多，很简单MSLAB是解決menstorm的內存碎片， MemStoreChunkPool是解決full gc頻繁，自己管理chunk数据，避免gc MemStoreChunkPool使用的是memstorm的limit * chuckpoolpercent：是memstorm的百分比&

HBase

MSLAB

MemStoreChunkPool

源码

sed

转载 2023-04-20 17:04:56 72 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客