jast_zsh的博客_Hbase原创博文

欢迎

Hbase Compaction 源码分析 - CompactionChecker

CompactionChecker介绍：RegionServer会在后台启动一个线程CompactionChecker，定期触发检查对应Store是否需要执行Compaction，检查周期为hbase.server.thread.wakefrequency*hbase.server.compactchecker.interval.multiplier。和flush不同的是，该线程优先...

大数据

hbase

sed

ide

源码分析

原创 2023-05-08 14:09:49 164 阅读

Hbase Compaction 源码分析 - CompactSplitThread 线程池选择

目录CompactSplitThreadrequestCompactionInternal方法selectCompaction方法requestCompaction方法其他相关文章Hbase Compaction 源码分析 - CompactionCheckerHbase Compaction 源码分析 - RatioBasedCompactionPolicy ...

hbase

ide

sed

源码分析

原创 2023-05-08 14:09:23 81 阅读

Hbase Memstore刷新方式与Region的数目上限

目录Region数目上限Region大小上限MemStore的刷新方式HLog (WAL) Size & Memstore Flush频繁的Memstore FlushesRegion数目上限RegionServer的region数目取决于memstore的内存使用

hbase

默认值

缓存

Server

原创 2023-05-06 19:40:03 385 阅读

Spark 某两个节点数据分析速度慢 - hbase数据删除(分裂) 元信息未删除导致 There is an overlap in the region chain.

基于Hbase2.0，Spark2.2问题描述执行Spark处理Hbase数据时，遇到某两个Excutor处理速度特别慢，如图正常速度10多分钟

f5

3c

2d

原创 2023-05-06 15:12:57 93 阅读

Hbase Region in transition (RIT) 异常解决

查看Hbase状态，突然发现出现了RIT，并且很长时间了~查看了一些相关RIT介绍（部分介绍和Hbase2.0不同，如：RIT状态信息2.0已不在zookeeper保存）https://mp.weixin.qq.com/s?__biz=MzU5OTQ1MDEzMA==&mid=2247483940&idx=1&sn=4121aa1bd7ef188ccc2d982b80d6

3d

f5

3c

原创 2023-05-06 15:12:11 304 阅读

Hbase Compaction 源码分析 - RatioBasedCompactionPolicy 策略

目录RatioBasedCompactionPolicyneedsCompaction 方法isMajorCompaction 方法shouldPerformMajorCompaction 方法selectCompac

hbase

sed

文件大小

源码分析

原创 2023-05-06 15:11:51 159 阅读

Hbase Compaction 队列数量较大分析

toreFile数量增加，触发了Compcation。...

hbase

服务器

生产环境

配置参数

原创 2023-05-06 15:08:29 156 阅读

Hbase 2.x Region in transition (永久RIT) 异常解决

环境Hbase 版本：2.0问题原因hbase长时间出现RIT，并且发生RIT的Region是已经删除了的Hbase表，表未删除的情况下执行assgin可以消除该问题表删除后，执行assgin 会提示超时，表的Region不存在无法执行该命令。解决方法Hbase 2.x 版本 RIT信息已经不再Zookeeper中保存AssignmentMana

hbase

重启

日志文件

表数据

原创 2023-05-06 15:08:07 450 阅读

CDH 5.13.0 集成 Phoenix

1.下载Phoenixhttp://phoenix.apache.org/download.html找到对应版本点击parcels (cdh可安装版本)http://www.apache.org/di

apache

h5

html

原创 2023-05-06 15:06:46 146 阅读

Hbase JMX 监控 - Region

获取监控信息页面：http://regionServerName:16030/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Regions*** 为前缀代表：Namespace_${namespace}_table_${tableName}_region_${regionName}

数据

apache

hadoop

原创 2023-05-06 15:06:31 156 阅读

HBase ACL管理 Hbase 权限管理

场景：hadoop集群已经进行kerberos认证启动Hbase相关配置Hbase权限分为以下五种：Read(R) : 可以读取给定范围内数据的

hdfs

命名空间

User

原创 2023-05-06 15:06:30 534 阅读

CDH 6 安装 Hbase 二级索引 Solr + Key-Value Store Indexer

目录一、集群安装Solr +Key-Value Store Indexer二、创建Hbase二级索引1.更改表结构，允许复制2.创建相应的SolrCloud集合3.创建 collection实例并将配置文件上传到 zookeeper4.创建 Lily HBase Indexer 配置5.配置Morphline文件6.注册 Lily HBase Indexer ...

solr

xml

数据

原创 2023-05-06 15:02:38 63 阅读

Phoenix 关联查询异常， MaxServerCacheSizeExceededException phoenix.query.maxServerCacheBytes

参数配置说明：http://phoenix.apache.org/tuning.htmlJoin：http://phoenix.apache.or

java

apache

sql

原创 2023-05-06 15:01:48 252 阅读

Hbase Native memory allocation (mmap) failed to map xxx bytes for committing reserved memory

新启动测试环境Hbase报错，报错日志如下## There is insufficient memory for the Java Ru

重启

内存不足

服务器

原创 2023-05-06 15:01:42 932 阅读

Hbase 预写日志WAL处理源码分析之 LogCleaner

目录Hlog WALs和oldWALs整体流程HMaster 初始化定时执行LogCleaner日志清理类ReplicationLogCleaner 日志清理类总结Hlog WALs和oldWALs这里先介绍一下Hlog失效和Hlo

List

Boo

定时执行

原创 2023-05-06 15:01:25 100 阅读

Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本

windows 下编译 hbase源码，报错[ERROR] Command execution failed.java.io.IOException: C

java

apache

maven

原创 2023-05-06 15:01:21 304 阅读

phoenix 使用详细介绍创建二级索引

phoenix 关联hbase 基本使用参考：https://blog.csdn.net/zhangshenghang/article/details/

表空间

字段

二级索引

原创 2023-05-06 15:01:03 92 阅读

Hbase 查看 rowkey在哪个region中

首先我们先了解下 hbase:meta 表，hbase是指的namespace，meta是表名，这张表存储的是整个集群的Re

2d

表名

时间戳

原创 2023-05-06 15:00:51 241 阅读

Hbase WALs(HLog) 文件存储，查看

WALs(HLog) 存储HLog 存储位置是在，hbase配置目录下WALs目录，默认为 /hbase/WALs 与 /hba

json

数据

数据保存

原创 2023-05-06 15:00:43 282 阅读

Hbase 删表过程

Hbase 执行删表命令后(drop)，表的数据会移动到 /hbase/archive 目录下，并不会直接从hdfs删除，后台会有

数据

hive

hdfs

原创 2023-05-06 15:00:16 296 阅读

Hbase RegionServer 启动失败 Time difference of xxx ms > max allowed of 30000ms

Hbase RegionServer 启动报错异常如下：STOPPED: Unhandled: org.apache.hadoop.hbase.ar out of sync wit...

apache

hadoop

java

原创 2023-05-06 15:00:14 64 阅读

Phoenix 关联映射 Hbase表获取不到数据，upsert hbase 列名为16进制字符

创建Hbase表create 'phoenix_hbase_test','cf1','cf2'put 'phoenix_hbase_test', 'key1','cf1:name','zhangsan'put 'phoenix_hbase_test', 'key1','cf2:age','18'put 'phoenix_hbase_test', 'key2','cf1:name',...

数据

字段

创建表

原创 2023-05-06 14:58:55 357 阅读

Hbase Shell 介绍

目录 Scan 创建表 Count 清空表数据删除数据删除表删除列簇判断表是否为‘enable’ 插入Region管理 Scan查询某个表某个列的数据：scan 'tableName',{COLUMN=>列族：列,LIMIT=>需要查看条数}指定开始Rowkey查询 scan 'tableName',{S

删除表

数据

创建表

原创 2023-05-06 14:58:49 115 阅读

Hbase快照Snapshot 数据备份、恢复与迁移

场景 hbase数据迁移时我们需要统计迁移时的数据量，以确保迁移后的数据的完成，但是

Hbase快照数据迁移

数据

数据迁移

hdfs

原创 2023-05-06 14:58:17 214 阅读

Hbase 2.0 RegionObserver使用

参考：http://hbase.apache.org/2.0/book.html#cp Hbase2.0 不支持 1.x版本的RegionObserver ，查看hbase官网更新说明，自己做了测试并通过Hbase RegionObserver import java.io.IOException;import java.util.List;import java.ut...

Hbase 2.0

Hbase2.0协处理器

apache

hadoop

原创 2023-05-06 14:58:00 46 阅读

Hbase二级索引+CDH+Lily

1.更改表结构，允许复制已存在的表 disable 'tableName' alter 'tableName',{NAME =>'fn', REPLICATION_SCOPE =>1} enable 'tableName' 不存在的表 create ‘table‘,{NAME =>‘cf‘, REPLICATION_SCOPE =>1} #其中1表示开启replicatio

solr

xml

字段

原创 2023-05-06 14:57:35 88 阅读

phoenix创建索引报错“ Mutable secondary indexes must have the hbase.regionserver.wal.codec property”

phoenix 创建hbase表索引时异常，报错如下Error: ERROR 1029 (42Y88): Mutable seco

java

apache

sql

原创 2023-05-06 14:57:30 128 阅读

Hbase PageFilter 取出数量不准确问题

addFilter(pf);PageFilter：设置获取的数据行数 PageFilter作用在region上，只能保证当前region返回相应的数量，也就是说大概可理解为 region数量*pageFilterSize...

数据

原创 2023-05-06 14:57:19 79 阅读

phoenix 创建索引超时 Operation timed out

0: jdbc:phoenix:xxx:2181:/hbase> CREATE INDEX MY_INDEX_URL_2 ON "xxx"."xxx" ("fn"."name") INCLUDE("fn"."url","fn"."text");Error: Operation timed out. (state=TIM01,code=6000)java.sql.SQLTimeoutEx...

java

apache

sql

原创 2023-05-06 14:56:58 271 阅读

Hbase1.2数据导入2.0

可登录(完成操作后记得改回来)##这里没有全部显示[root...

hbase数据导入

跨版本

hbck

java

hadoop

原创 2023-05-06 14:56:50 90 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5ae1cd41f3d21的博客

欢迎

Hbase Compaction 源码分析 - CompactionChecker

Hbase Compaction 源码分析 - CompactSplitThread 线程池选择

Hbase Memstore刷新方式与Region的数目上限

Spark 某两个节点数据分析速度慢 - hbase数据删除(分裂) 元信息未删除导致 There is an overlap in the region chain.

Hbase Region in transition (RIT) 异常解决

Hbase Compaction 源码分析 - RatioBasedCompactionPolicy 策略

Hbase Compaction 队列数量较大分析

Hbase 2.x Region in transition (永久RIT) 异常解决

CDH 5.13.0 集成 Phoenix

Hbase JMX 监控 - Region

HBase ACL管理 Hbase 权限管理

CDH 6 安装 Hbase 二级索引 Solr + Key-Value Store Indexer

Phoenix 关联查询异常， MaxServerCacheSizeExceededException phoenix.query.maxServerCacheBytes

Hbase Native memory allocation (mmap) failed to map xxx bytes for committing reserved memory

Hbase 预写日志WAL处理源码分析之 LogCleaner

Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本

phoenix 使用详细介绍创建二级索引

Hbase 查看 rowkey在哪个region中

Hbase WALs(HLog) 文件存储，查看

Hbase 删表过程

Hbase RegionServer 启动失败 Time difference of xxx ms > max allowed of 30000ms

Phoenix 关联映射 Hbase表获取不到数据，upsert hbase 列名为16进制字符

Hbase Shell 介绍

Hbase快照Snapshot 数据备份、恢复与迁移

Hbase 2.0 RegionObserver使用

Hbase二级索引+CDH+Lily

phoenix创建索引报错“ Mutable secondary indexes must have the hbase.regionserver.wal.codec property”

Hbase PageFilter 取出数量不准确问题

phoenix 创建索引超时 Operation timed out

Hbase1.2数据导入2.0