HBase优化及部分面试点HBase优化HRegionServer宕机后系统怎么保证可用性(WAL机制)HBase的compaction过程和作用 HBase优化从使用者角度,可以优化存储模型的设计rowkey设计:高位用散列,长度不宜过长,可以适当地把需要索引的条件拼接在rowkey里,查询时尽量用get,scan时要指定start/end key列族的设计:列族尽量少,且不同列族的数据量尽量
转载
2023-07-12 22:07:37
57阅读
hbase配置修改：(split是因为hfile过多，进行split，split之后进行compact 可以可能要有人喷了，hfile多了应该compact才对啦。贴出0.98.1的代码，大致逻辑是region没有block的compact（优先级大于等于1的），则进行split)private boolean flushRegion(final FlushRegionEntry fq
转载
精选
2016-04-08 13:51:15
3944阅读
话了，以下就是优化的一点笔记 hbase配置修改：(split是因为hfile过多，进行split，split之后进行compact 可以可能要有人喷了，hfile多了应
原创
2023-04-21 01:07:35
47阅读
转载
2018-05-18 09:55:00
233阅读
2评论
hbase.rootdir 这个目录是region server的共享目录，用来持久化Hbase。URL需要是’完全正确
原创
2022-10-31 11:01:56
148阅读
使用Filter降低客户端压力
Hbase是加强版的Mysql，存储容量更大、逻辑形式更加灵活。至于BigTable那篇论文的内容，它的意义在于提供了一种更加灵活地组织数据的形式。Hbase以Distributed、Sorted RowKey、MultiDimentional作为亮点，吸引了如Facebook、Amazon、Taobao在内的一大批Internet公司的使用。HBase虽然开源
文章目录HBase运维篇 | ZGC初体验——HBase1.4.8安装部署和测试1. 摘要2. 开始安装2.1 准备工作2.2 安装部署3. 测试4. 补充一个编译时遇到的异常5. 总结6. 附件 HBase运维篇 | ZGC初体验——HBase1.4.8安装部署和测试1. 摘要接上篇文章——HBase源码篇 | ZGC初体验——OpenJdk 15编译HBase 1.4.8，在上篇文章中，我为
转载
2023-10-10 20:34:38
232阅读
安装的前提是安装好了zookeeper。上一篇博客有。 一、根据自己的hadoop版本找到支持的hbase压缩包，然后判断自己的jdk是否满足hbase的要求。 下载地址：http://archive.apache.org/dist/hbase/ 二、将压缩包通过远程连接软件放到虚拟机中。tar -xvf hbase-2.0.0.tar.gz -C /usr/local
原创
2020-10-17 19:47:00
96阅读
1 多HTable并发读
创建多个HTable客户端用于读操作，提高读数据的吞吐量
2 HTable参数设置
3.2.1 Scanner Caching
转载
2023-07-12 11:50:37
41阅读
HBase是一个分布式,版本化,面向列的数据库,构建在 Apache Hadoop和 Apache ZooKeeper之上。
HBase是Nosql,是适合海量数据(如20PB)的秒级简单查询的数据库总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，安装Hadoop集群，安装Zookeeper集群,解压安装Hbase集群，配置文件一、环境，3台Cen
原创
2023-08-03 16:08:24
199阅读
配置优化zookeeper.session.timeout默认值：3分钟(180000ms)说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.
原创
2023-04-21 06:12:23
72阅读
最近为了方便开发，在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群，hadoop集群的搭建与zookeeper集群这里就不再详细说明，原来的笔记中记录过。这里将hbase配置参数进行相应整理，方便日后使用。首先vi ~/.bash_profile将hbase的环境变量进行配置，最后source ~./bash_profile使之立即生效1、修改hbase-env.sh 由于我使
前面一篇文章介绍了pureftp部署和优化：http://msiyuetian.blog.51cto.com/8637744/1694166 下面我们接着来做CentOS自带的FTP软件vsftpd的部署和优化实验。1、安装启动vsftpd[root@tpp ~]# yum install -y vsftpd[root@tpp ~]# /etc/init.d/vsftpd start注：我们会发现
原创
2015-09-13 11:34:38
3374阅读
FTP ：File Transfer Protocol（文件传输协议），用于Internet上的控制文件的双向传输。主要是让用户连接上一个远程计算机（这些计算机上运行着FTP服务器程序）查看远程计算机有哪些文件，然后把文件从远程计算机上拷到本地计算机，或把本地计算机的文件送到远程计算机去。本文介绍一款FTP服务软件--pure-ftpd。1、下载安装pure-ftpd[root@tpp ~]# c
原创
2015-09-12 20:59:32
1835阅读
前言本文从HBase的内存布局说起，先充分了解HBase的内存区的使用与分配，随后给出了不同业务场景下的读写内存分配规划，并指导如何分析业务的内存使用情况，以及在使用当中写内存Memstore及读内存扩展bucketcache的一些注意事项，最后为了保障群集的稳定性减少和降低GC对于集群稳定性的影响，研究及分享了一些关于HBase JVM配置的一些关键参数机器作用和范例，希望这些不断充实的经验能确
转载
2021-01-30 13:48:57
382阅读
2评论
前言 本文从HBase的内存布局说起，先充分了解HBase的内存区的使用与分配，随后给出了不同业务场景下的读写内存分配规划，并指导如何分析业务的内存使用情况，以及在使用当中写内存Memstore及读内存扩展bucketcache的一些注意事项，最后为了保障群集的稳定性减少和降低GC对于集群稳定性的影 ...
转载
2021-05-07 22:26:59
605阅读
2评论
1.使用方面Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL 的引擎，并且运行MapReduce 任务，Hbase 是一种在Hadoop之上的NoSQL的Key/vale数据库。 当然，这两种工具是可以同时使用的。就像用Google 来搜索，用FaceBook 进行社交一样，Hive 可以用来进行统计查询，HBase 可以用来进行实时查询，数据也可以从Hive 写到Hb
转载
2023-07-05 10:30:04
5阅读
1.yum install -y samba samba-client 2.vim /etc/samba/smb.conf主配置文件解析:主要有以上三个部分：[global], [homes], [printers][global] 定义全局的配置，workgroup用来定义工作组，相信如果你安装过windows的系统，你会对这个workgroup不陌生。一般情
原创
2016-06-12 11:46:13
710阅读
FTP==file transfer protocol 文件传输协议通过ftp协议进行文件的上传和下载，它和http不太一样，http只提供让大家去访问的。FTP不仅在WINDOWS上还是LINUX上都可以搭建这个服务。两种不同的软件： pure-ftpd vsftpd(系统自带)pure-ftpd它是一个非常非常轻便的搭建服务器的这么一个server，而且
原创
2017-01-01 20:42:17
1200阅读
官网：www.pureftp.orgpureftp安装下载软件cd /usr/local/srcwget http://download.pureftpd.org/pub/pure-ftpd/releases/pure-ftpd-1.0.42.tar.bz2 报错：提示需要加上--no-check-certificate重新安装：wget http://download.pureftpd
转载
2017-02-07 10:25:21
398阅读
