jast_zsh的博客_Hbase

Hbase Compaction 源码分析 - CompactionChecker

CompactionChecker介绍：RegionServer会在后台启动一个线程CompactionChecker，定期触发检查对应Store是否需要执行Compaction，检查周期为hbase.server.thread.wakefrequency*hbase.server.compactchecker.interval.multiplier。和flush不同的是，该线程优先...

大数据

hbase

sed

ide

源码分析

原创 2023-05-08 14:09:49 164 阅读

Hbase Compaction 源码分析 - CompactSplitThread 线程池选择

目录CompactSplitThreadrequestCompactionInternal方法selectCompaction方法requestCompaction方法其他相关文章Hbase Compaction 源码分析 - CompactionCheckerHbase Compaction 源码分析 - RatioBasedCompactionPolicy ...

hbase

ide

sed

源码分析

原创 2023-05-08 14:09:23 81 阅读

Hbase Memstore刷新方式与Region的数目上限

目录Region数目上限Region大小上限MemStore的刷新方式HLog (WAL) Size & Memstore Flush频繁的Memstore FlushesRegion数目上限RegionServer的region数目取决于memstore的内存使用

hbase

默认值

缓存

Server

原创 2023-05-06 19:40:03 389 阅读

Phoenix 原理以及 Phoenix在HBase中的应用

一、前言业务使用HBase已经有一段时间了，期间也反馈了很多问题，其中反馈最多的是HBase是否支持SQL查询和二级索引，由于HBase在这两块上目前暂不支持，导致业务在使用时无法更好的利用现有的经验来查询HBase。虽然HBase本身不支持SQL，但业界还是有现成的方案来支持，如Hive、Impala、Phoenix等。众多方案各有各的优势，本文主要对Phoenix作一个大概的介绍。Phoeni

字段

数据

客户端

转载 2023-05-06 15:13:41 733 阅读

HBase 2.0 之修复工具 HBCK2 运维指南

HBase 2.0 之修复工具 HBCK2 运维指南概述目前社区已经发布了 HBase 的 2.0 版本，很多公司都希望去尝试新版本上的新功能，但是不得不面对的问题就是当集群出了问题应该如何解决。在之前的 HBase 版本中，我们可以依赖 hbck 来帮助检查问题和修复问题，在新的版本上我们应该如何去

bc

apache

ide

转载 2023-05-06 15:13:15 920 阅读

Spark 某两个节点数据分析速度慢 - hbase数据删除(分裂) 元信息未删除导致 There is an overlap in the region chain.

基于Hbase2.0，Spark2.2问题描述执行Spark处理Hbase数据时，遇到某两个Excutor处理速度特别慢，如图正常速度10多分钟

f5

3c

2d

原创 2023-05-06 15:12:57 93 阅读

HBase BlockCache系列－探求BlockCache实现机制

HBase BlockCache系列第一篇文章《走进BlockCache》从全局视角对HBase中缓存、Memstore等作了简要概述，并重点介绍了几种BlockCache方案及其演进过程，对此还不了解的可以点这里。本文在上文的基础上深入BlockCache内部，对各种BlockCache方案具体工作原理进行详细分析。Note：因为SlabCache方案在0.98版本已经不被建议使用，因此本文不针

缓存

JVM

内存空间

转载 2023-05-06 15:12:52 78 阅读

Hbase Region in transition (RIT) 异常解决

查看Hbase状态，突然发现出现了RIT，并且很长时间了~查看了一些相关RIT介绍（部分介绍和Hbase2.0不同，如：RIT状态信息2.0已不在zookeeper保存）https://mp.weixin.qq.com/s?__biz=MzU5OTQ1MDEzMA==&mid=2247483940&idx=1&sn=4121aa1bd7ef188ccc2d982b80d6

3d

f5

3c

原创 2023-05-06 15:12:11 304 阅读

Hbase Compaction 源码分析 - RatioBasedCompactionPolicy 策略

目录RatioBasedCompactionPolicyneedsCompaction 方法isMajorCompaction 方法shouldPerformMajorCompaction 方法selectCompac

hbase

sed

文件大小

源码分析

原创 2023-05-06 15:11:51 159 阅读

HBase原理 – snapshot 快照

目录snapshot（快照）基础原理snapshot能实现什么功能？hbase snapshot用法大全hbase snapshot分布式架构－两阶段提交snapshot核心实现clone_snapshot如何实现呢？其他需要注意的参考文献更多信息可参考《Hbase原理与实战》第十一章备份与恢复snapshot（快照）基础原理snapshot是很多存储系统和数据库系统都支持的功能。一个snaps

数据

hive

数据文件

转载 2023-05-06 15:11:03 355 阅读

Hbase Compaction 队列数量较大分析

toreFile数量增加，触发了Compcation。...

hbase

服务器

生产环境

配置参数

原创 2023-05-06 15:08:29 156 阅读

Hbase 2.x Region in transition (永久RIT) 异常解决

环境Hbase 版本：2.0问题原因hbase长时间出现RIT，并且发生RIT的Region是已经删除了的Hbase表，表未删除的情况下执行assgin可以消除该问题表删除后，执行assgin 会提示超时，表的Region不存在无法执行该命令。解决方法Hbase 2.x 版本 RIT信息已经不再Zookeeper中保存AssignmentMana

hbase

重启

日志文件

表数据

原创 2023-05-06 15:08:07 450 阅读

CDH 5.13.0 集成 Phoenix

1.下载Phoenixhttp://phoenix.apache.org/download.html找到对应版本点击parcels (cdh可安装版本)http://www.apache.org/di

apache

h5

html

原创 2023-05-06 15:06:46 144 阅读

Hbase JMX 监控 - Region

获取监控信息页面：http://regionServerName:16030/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Regions*** 为前缀代表：Namespace_${namespace}_table_${tableName}_region_${regionName}

数据

apache

hadoop

原创 2023-05-06 15:06:31 156 阅读

HBase ACL管理 Hbase 权限管理

场景：hadoop集群已经进行kerberos认证启动Hbase相关配置Hbase权限分为以下五种：Read(R) : 可以读取给定范围内数据的

hdfs

命名空间

User

原创 2023-05-06 15:06:30 533 阅读

CDH 6 安装 Hbase 二级索引 Solr + Key-Value Store Indexer

目录一、集群安装Solr +Key-Value Store Indexer二、创建Hbase二级索引1.更改表结构，允许复制2.创建相应的SolrCloud集合3.创建 collection实例并将配置文件上传到 zookeeper4.创建 Lily HBase Indexer 配置5.配置Morphline文件6.注册 Lily HBase Indexer ...

solr

xml

数据

原创 2023-05-06 15:02:38 63 阅读

Phoenix 关联查询异常， MaxServerCacheSizeExceededException phoenix.query.maxServerCacheBytes

参数配置说明：http://phoenix.apache.org/tuning.htmlJoin：http://phoenix.apache.or

java

apache

sql

原创 2023-05-06 15:01:48 252 阅读

Hbase Native memory allocation (mmap) failed to map xxx bytes for committing reserved memory

新启动测试环境Hbase报错，报错日志如下## There is insufficient memory for the Java Ru

重启

内存不足

服务器

原创 2023-05-06 15:01:42 931 阅读

Hbase 预写日志WAL处理源码分析之 LogCleaner

目录Hlog WALs和oldWALs整体流程HMaster 初始化定时执行LogCleaner日志清理类ReplicationLogCleaner 日志清理类总结Hlog WALs和oldWALs这里先介绍一下Hlog失效和Hlo

List

Boo

定时执行

原创 2023-05-06 15:01:25 100 阅读

Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本

windows 下编译 hbase源码，报错[ERROR] Command execution failed.java.io.IOException: C

java

apache

maven

原创 2023-05-06 15:01:21 304 阅读

phoenix 使用详细介绍创建二级索引

phoenix 关联hbase 基本使用参考：https://blog.csdn.net/zhangshenghang/article/details/

表空间

字段

二级索引

原创 2023-05-06 15:01:03 92 阅读

Hbase 查看 rowkey在哪个region中

首先我们先了解下 hbase:meta 表，hbase是指的namespace，meta是表名，这张表存储的是整个集群的Re

2d

表名

时间戳

原创 2023-05-06 15:00:51 241 阅读

Hbase WALs(HLog) 文件存储，查看

WALs(HLog) 存储HLog 存储位置是在，hbase配置目录下WALs目录，默认为 /hbase/WALs 与 /hba

json

数据

数据保存

原创 2023-05-06 15:00:43 282 阅读

Hbase 删表过程

Hbase 执行删表命令后(drop)，表的数据会移动到 /hbase/archive 目录下，并不会直接从hdfs删除，后台会有

数据

hive

hdfs

原创 2023-05-06 15:00:16 296 阅读

Hbase RegionServer 启动失败 Time difference of xxx ms > max allowed of 30000ms

Hbase RegionServer 启动报错异常如下：STOPPED: Unhandled: org.apache.hadoop.hbase.ar out of sync wit...

apache

hadoop

java

原创 2023-05-06 15:00:14 64 阅读

Phoenix 关联映射 Hbase表获取不到数据，upsert hbase 列名为16进制字符

创建Hbase表create 'phoenix_hbase_test','cf1','cf2'put 'phoenix_hbase_test', 'key1','cf1:name','zhangsan'put 'phoenix_hbase_test', 'key1','cf2:age','18'put 'phoenix_hbase_test', 'key2','cf1:name',...

数据

字段

创建表

原创 2023-05-06 14:58:55 357 阅读

Hbase Shell 介绍

目录 Scan 创建表 Count 清空表数据删除数据删除表删除列簇判断表是否为‘enable’ 插入Region管理 Scan查询某个表某个列的数据：scan 'tableName',{COLUMN=>列族：列,LIMIT=>需要查看条数}指定开始Rowkey查询 scan 'tableName',{S

删除表

数据

创建表

原创 2023-05-06 14:58:49 115 阅读

Hbase快照Snapshot 数据备份、恢复与迁移

场景 hbase数据迁移时我们需要统计迁移时的数据量，以确保迁移后的数据的完成，但是

Hbase快照数据迁移

数据

数据迁移

hdfs

原创 2023-05-06 14:58:17 215 阅读

Hbase 2.0 RegionObserver使用

参考：http://hbase.apache.org/2.0/book.html#cp Hbase2.0 不支持 1.x版本的RegionObserver ，查看hbase官网更新说明，自己做了测试并通过Hbase RegionObserver import java.io.IOException;import java.util.List;import java.ut...

Hbase 2.0

Hbase2.0协处理器

apache

hadoop

原创 2023-05-06 14:58:00 46 阅读

Hbase二级索引+CDH+Lily

1.更改表结构，允许复制已存在的表 disable 'tableName' alter 'tableName',{NAME =>'fn', REPLICATION_SCOPE =>1} enable 'tableName' 不存在的表 create ‘table‘,{NAME =>‘cf‘, REPLICATION_SCOPE =>1} #其中1表示开启replicatio

solr

xml

字段

原创 2023-05-06 14:57:35 88 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5ae1cd41f3d21的博客

Hbase Compaction 源码分析 - CompactionChecker

Hbase Compaction 源码分析 - CompactSplitThread 线程池选择

Hbase Memstore刷新方式与Region的数目上限

Phoenix 原理以及 Phoenix在HBase中的应用

HBase 2.0 之修复工具 HBCK2 运维指南

Spark 某两个节点数据分析速度慢 - hbase数据删除(分裂) 元信息未删除导致 There is an overlap in the region chain.

HBase BlockCache系列－探求BlockCache实现机制

Hbase Region in transition (RIT) 异常解决

Hbase Compaction 源码分析 - RatioBasedCompactionPolicy 策略

HBase原理 – snapshot 快照

Hbase Compaction 队列数量较大分析

Hbase 2.x Region in transition (永久RIT) 异常解决

CDH 5.13.0 集成 Phoenix

Hbase JMX 监控 - Region

HBase ACL管理 Hbase 权限管理

CDH 6 安装 Hbase 二级索引 Solr + Key-Value Store Indexer

Phoenix 关联查询异常， MaxServerCacheSizeExceededException phoenix.query.maxServerCacheBytes

Hbase Native memory allocation (mmap) failed to map xxx bytes for committing reserved memory

Hbase 预写日志WAL处理源码分析之 LogCleaner

Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本

phoenix 使用详细介绍创建二级索引

Hbase 查看 rowkey在哪个region中

Hbase WALs(HLog) 文件存储，查看

Hbase 删表过程

Hbase RegionServer 启动失败 Time difference of xxx ms > max allowed of 30000ms

Phoenix 关联映射 Hbase表获取不到数据，upsert hbase 列名为16进制字符

Hbase Shell 介绍

Hbase快照Snapshot 数据备份、恢复与迁移

Hbase 2.0 RegionObserver使用

Hbase二级索引+CDH+Lily