mtj66的博客_hbase

欢迎

hbase filter 自定义Comparator

在此先道歉，先前值做了标题，没来得及贴干货在博客，对不住那些提前进来的人，发现访问量较多立马更新博客，在此奉上。 github 地址请查收，使用说明见readme. https://github.com/matiji66/hbase-value-comparator这个自定义的Comparator也是看了好多资料，此处是基于cdh-hbase1.2.0 分享自定义hbase filt

hbase

filter

Comparator

apache

hadoop

原创 2022-01-04 17:10:55 335 阅读

HBase常用操作

hbase

当前用户

apache

hadoop

转载 2022-01-04 17:05:44 180 阅读

hbase shell 命令

进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的管理 1）查看有哪些表 hbase(main)> list 2）创

hbase

hadoop

数据

删除表

转载 2022-01-04 17:04:35 476 阅读

批量Load到HBase

hbase提供了写的操作，通常，我们可以采用HBase的Shell 客户端或者Java API进行操作。如果数据量大的话，这两种操作是很费时的。其实如果了解了HBase的数据底层存储的细节的话，HBase的数据存储格式是HFile定义的格式。批量导入HBase主要分两步：通过mapreduce在输出目录OutputDir下生成一系列按Store存储结构一样的，存储HFile文件通过L

mysql

批量导入

mapreduce

转载 2022-01-04 16:59:24 120 阅读

hbase的 export以及import工具使用示例 + 时间区间+ key前缀

1.hbase中的数据hbase(main):025:0> scan 'users'ROW COLUMN+CELL TheRealMT

hbase

export

import

hdfs

hadoop

原创 2022-01-04 16:49:02 8999 阅读

HBase 权限控制

HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true，以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. access.AccessController来提供安全管控能力。所

安全

管理

hive

apache

hadoop

原创 2022-01-04 16:48:23 1009 阅读

HBase 系统架构

HBase 系统架构 HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。HBase特性：1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBase是Google BigTable的

数据

zookeeper

hadoop

转载 2022-01-04 15:59:53 183 阅读

Hbase总结 Hhase性能调优

配置优化 zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.调优：这个time

数据

默认值

调优

转载 2022-01-04 15:28:41 137 阅读

Hbase WAL 机制记录

Write-Ahead-Log（WAL）该机制用于数据的容错和恢复：每个HRegionServer中都有一个HLog对象，HLog是一个实现Write Ahead Log的类，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中（HLog文件格式见后续），HLog文件定期会滚动出新的，并删除旧的文件（已持久化到StoreFile中的数据

数据

zookeeper

数据恢复

原创 2022-01-04 14:47:23 312 阅读

如何解决分布式系统数据事务一致性问题

如何解决分布式系统数据事务一致性问题（HBase加Solr）摘要：对于所有的分布式系统，我想事务一致性问题是极其非常重要的问题，因为它直接影响到系统的可用性。本文以下所述所要解决的问题是：对于入HBase和Solr的过程，如何保证HBase中写入的数据与Solr中写入的数据完全一致。关键词：HBase, Solr, 分布式, 事务, 系统架构, 大数据作者：王安琪一、关于分布式系统事务一致性问题J

solr

数据

分布式系统

转载 2022-01-04 14:46:52 548 阅读

通过MapReduce程序导出Hbase到Hadoop

import java.io.IOException; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hba

hadoop

apache

mapreduce

转载 2022-01-04 14:44:42 264 阅读

hbase 集群迁移：Region still in transition, waiting for it to become assigned:

1. 在数据源集群执行： hadoop distcp /hbase/data/* hdfs://172.16.4.81/hbase/data/ 2. 在目标集群执行 : 修改目标文件chown hdfs dfs -chown -R /hbase/data 3. 之后执行 hbase hbck -repair hbase hbck -fixAssign

hbase

迁移

集群

3d

hdfs

原创 2022-01-04 14:27:42 1027 阅读 1收藏

Hbase 大表快速count

第一种比较简单，但是只适合小表进行count1.count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。hbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100000 hbase> count ‘t1′, CACHE => 1000 hbase> count ‘t1′, INT

hbase

hive

apache

hadoop

原创 2022-01-04 14:17:57 1995 阅读

hbase表迁移问题汇总

1.首先在数据源集群进行 hadoop distcp /src/dir hdfs://mastrnode/tmp/namespace1 登陆目标集群,将/tmp/namespace1 copy to /hbase/data/ sudo su - hbase无法成功切换到hbase用户more /etc/passwd | grep hbasehbase:x:981:977:HBase:/var/

bash

.net

hdfs

原创 2022-01-04 14:00:13 319 阅读

Hbase集群迁移

也做过集群迁移，一年内迁移了两次，整体流程和下面大致相同, 但操作也有些不同。采用直接从源集群A distcp到目标集群B，任务在A集群中启动，省去集群C，也不用做什么集群的配置文件制定。但是一般都会跨网段，比如XX云-> YY云，就需要外网的带宽要足够，一般架设的VPN只能达到200MB/s。但是要考虑的是集群的数据一致性问题：一种是考虑双写集群，可以做到不停服务。一种是

hbase

集群

迁移

hdfs

hadoop

原创 2022-01-04 11:56:15 311 阅读

Hbase Region Load Balance on Table Level

Table Level Load Balancer针对自己搭建的hbase集群可以采用如下配置，但是，未做测试：针对表的region来均衡需要配置：<property><name>hbase.master.loadbalance.bytable</name><value>true</value></property> 说

hbase

balance

hadoop

apache

java

原创 2022-01-04 11:53:22 257 阅读

Hbase 热点问题3种解决方案

Hbase 热点问题3种解决方案对hbase进行观察总是有个别的regionserver的request个数远大于其他的region server的请求数量，考虑到数据应该由倾斜，查找了一些方案，无非就是row key 进行hash 。但是仍然有数据是倾斜的，考虑了一下，想了其他的方案，结合region的 balance on table level，split hot region and mo

hbase

balance

数据

解决方案

原创 2022-01-04 11:48:54 747 阅读

How to Tune Your HBase Cluster 怎样对hbase进行内存调优

Tuning G1GC For Your HBase Cluster HBase is the big data store of choice for engineering at HubSpot. It’s a complicated data store with a multitude of levers and knobs that can be adjusted to tune pe

jvm

hbase

sed

ide

5g

转载 2022-01-04 11:24:41 197 阅读

hbase 性能测试

n_splits = 40 create ‘usertable’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(9999-1000)/n_splits}”}}create ‘usertable_snappy’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{100

数据

原创 2022-01-04 11:20:09 645 阅读

HBase G1 GC 调优，GC时间缩短为原来的20%左右。

对hbase调优，是很必要的，明显提升响应性能。下面晒下GC调优的成果，是原来CMS GC峰值的10%，历史均值的20%左右，调优后GC稳定在200ms左右。之前是CMS GC不过忘了记录原始的GC配置了。 Parallel GC : Throughput friendly 目前处于维护模式，赶紧放弃吧 CMS GC: low latency for heap < 32GB 将会被G1

性能测试

hbase

调优

默认值

java

原创 2022-01-04 11:19:40 1277 阅读

hbase bucket size 太小导致启动失败

Region server exitingjava.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer at org.apache.hadoop.hbase.regionserver.HRegionS...

java

hadoop

apache

原创 2022-01-02 15:02:35 258 阅读

hbase region 下线,region server也全部下线,hmaster 依然正常.

Call exception, tries=11, retries=31, started=48384 ms ago, cancelled=false, msg=Call to hzd-t-vbdl-01/10.253.76.213:16020 failed on connection exception: org.apache.hbase.thirdparty.io.netty.channel.

java

apache

hadoop

原创 2022-01-02 15:02:10 1447 阅读

hbase 热修改存储压缩格式

在线的一些表，如果越来越大的话，考虑开启压缩格式，下午4点23:26.485分 INFO HMaster Client=hdfs//172.16.4.80 modify {NAME => ‘f1’, BLOOMFILTER => ‘ROW’, VERSIONS => ‘1’, IN_MEMORY => ‘false’, KEEP_DELETED_CELLS ...

hbase

5e

v8

sed

mysql

原创 2021-12-31 17:36:50 218 阅读

hbase Master is initializing

重装hbase后导致出险问题:hbase(main):007:0> create 'test_t2','f1' ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMast...

hadoop

apache

元数据

mysql

原创 2021-12-31 16:39:24 349 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客