对，我正在研读这本书，今天开始，我希望我看完后能有收获和大家分享，这个日志作为开始，勉励自己！对，我应该静下心，做一些我更喜欢的事情，不能在自我陶醉中迷失！断断续的看，到今天大概把这本书看完了，没想到这本书的开始，经历了一件令人愤怒的事情，不料，刚刚看完这本书，经历了一件伤心的事情，足以影响人生轨迹。生活还要继续，读书笔记还是要写。不过也只能做个提纲式的总结，具体的大家还是要去看书，我的水平只能告
转载
2024-05-30 10:14:07
27阅读
直播主题GC优化利器 - HBase2.0全链路offheap分享讲师林明--阿里巴巴-云hbase内核开发 高级工程师内容概要GC问题会带来访问毛刺，回顾一下读写链路，然后看看全链路offheap怎么减少GC停顿、减低P999延迟的。视频回看https://yq.aliy
原创
2021-03-30 10:08:19
578阅读
# Spark 配置 Off-Heap 内存
在大数据处理的领域中，Apache Spark 被广泛使用，其高效的内存管理是性能优化的一个重要方面。本文将介绍如何配置 Spark 的 Off-Heap 内存，并展示一个简单的代码示例。此外，我们将使用甘特图呈现 Off-Heap 内存设置的步骤。
## 什么是 Off-Heap 内存？
Off-Heap 内存是指在 JVM 堆外的内存管理。与
原创
2024-10-11 04:41:04
94阅读
//该问题是tommcat的访问量过多导致java的gc()处理不及时从而栈溢出在网上搜索了很多找到一片可以有效处理该问题的方法1、设置环境变量解决方法：手动设置Heap size修改TOMCAT_HOME/bin/catalina.shset JAVA_OPTS= -Xms32m -Xmx512m可以根据自己机器的内存进行更改。2、java -Xms32m -Xmx800m cla
转载
2023-08-24 08:21:38
68阅读
一、hbase表的设计 默认情况下，在创建 HBase 表的时候会自动创建一个 region 分区，当导入数据的时候， 所有的 HBase 客户端都向这一个 region 写数据，直到这个 region 足够大了才进行切分。一 种可以加快批量写入速度的方法是通过预先创建一些空的 regions，这样当数据写入 HBase 时，会按照 region 分区情况，在集群内做数据的负载均衡。 命令方式：c
转载
2023-09-13 21:57:31
208阅读
一、应用背景微博：用户表users、微博表weibos、用户关系表relations，和具体哪个公司的微博没关系。微博中的用户想关注其他用户的微博，首先要维护一个特定用户的关注列表，例如张三关注了李四和王五。为了要的得到张三应该看到的所有微博，你需要查找列表{李四、王五}，然后读出列表中每个用户的所有微博，这个信息需要保存在hbase中。二、表模式（Schema）设计应该考虑的问题这个表应该保存多
转载
2024-05-28 21:23:58
66阅读
“ 大厂面试系列主要两个目标：1让有经验同学快速复习，温故而知新；2作为萌新同学的入门砖”本文是HBase系列第一篇，通过本文可以了解：1、HBase概述及数据模型；2、HBase系统架构；3、HBase 存储模型（了解数据高可用、高性能的实现）。同时本文会介绍一些其他的基础概念，如行级存储、列级存储、跳跃表等。01—HBase简介一、HBase概述在Hadoop生态中，如果说HDFS解
转载
2023-07-18 11:53:06
106阅读
一、HBase的RK设计HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。 RowKey设计原则：1）长度原则：RowKey不应该超过16字节，因为若是过长再以KV形式存储，对于HFile和MemStore来说会极大的占用存储空间。2）唯一原则：保证RowKey的唯一性，若向HBase中同一张表插入相同RowK
转载
2024-04-21 15:38:05
34阅读
hbase:rowkey设计一、基础概念1、 Row Key: 行键，Table的主键，Table中的记录默认按照Row Key升序排序 2、Timestamp:时间戳，每次数据操作对应的时间戳，可以看作是数据的version number。 3、Column Family：列簇，Table在水平方向有一个或者多个Column Family组成，一个Column Family中可以由任意多个C
转载
2023-07-13 16:08:02
145阅读
文章目录一、建表高级属性1、 BLOOMFILTER2、 VERSIONS3、 COMPRESSION4、 TTL5、 alter6、 describe/desc7、 disable_all/enable_all8、 drop_all9、 hbase 预分区二、表设计1、列簇设计2、RowKey 设计三、Rowkey 设计三原则1、rowkey 长度原则2、rowkey 散列原则3、rowkey
转载
2023-08-18 22:06:27
42阅读
目录建表高级属性1、 BLOOMFILTER2、 VERSIONS3、 COMPRESSION4、 TTL5、 alter6、 describe/desc7、 disable_all/enable_all8、 drop_all9、 hbase 预分区表设计1、列簇设计2、RowKey 设计Rowkey 设计三原则 1、 rowkey 长度原则2、rowkey 散列原则3、 rowkey
转载
2023-12-06 13:17:52
112阅读
1、MapRedece从读取数据开始到将最终结果写入HDFS经过哪些步骤?第一步:inputformat进行数据读读取,将数据发送给split 第二步:split 将数据进行切分,发送给RecordReader 第三步:RR将数据按照行再次切分,将切分好的数据组装成key(行首偏移量),value(每行的数据) 发送给map 第四步:map 进行自定义逻辑的书写,将数据传给Shuffle 第五步:
转载
2023-07-13 16:14:46
88阅读
1，对于HBase的存储设计，要考虑它的存储结构是：rowkey+columnFamily:columnQualifier+timestamp(version)+value = KeyValue in HBase，一个KeyValue依次按照rowkey，columnkey和timestamp有序。一个rowkey加一个column信息定位了hbase表的一个逻辑的行结构。 2，从逻辑存储结构到
转载
2023-10-20 11:57:39
21阅读
一、HBASE笔试题HBase来源于哪篇博文？ C A The Google File System B MapReduce C BigTable D Chubby下面对HBase的描述哪些是正确的？ B、C、D A 不是开源的 B 是面向列的 C 是分布式的 D 是一种NoSQL数据库HBase依靠（）存储底层数据 A A HDFS B Hadoop C Memory D MapReduceH
转载
2023-07-18 11:52:52
169阅读
HBase行健的设计在设计HBase表的时候，行健是唯一重要的事情。应该基于预期的访问模式来为行健进行建模 行健决定了访问HBase表时可以得到的性能。这个结论根植于两个事实： 1、region基于行健为一个区间的行提供服务，并且负责区间内的每一行。 2、HFile在硬盘上存储有序的行。 当region刷写留在内存中的行时生成了HFile，此时这些行已经经过排序了，也会有序的刷写到硬盘上。
转载
2023-07-18 11:22:51
102阅读
一、设计原则1.行键设计1）行键在设计的时候尽量的散列，例如可以考虑使用哈希、加密算法等使结果散列，这样能保证请求不会集中打到同一个HRegionServer上 2）行键设计最好有意义，如果行键真的完全随机，会增加查询难度。可以这么设计，例如：订单的行键可以设计为 hash订单编号得到的随机数 + 订单编号，订单编号是唯一的 => hash订单编号得到的随机数 + 订单编号也是唯一的 3）行
转载
2023-07-14 22:32:18
145阅读
Hbase的Rowkey设计原则一、 Hbase介绍HBase -> Hadoop Database，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式,主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）二、 设计原则Rowkey长度原则Rowkey是一
转载
2023-07-21 15:36:29
60阅读
1.为什么 Rowkey 这么重要1.1 RowKey 到底是什么我们常说看一张 HBase 表设计的好不好，就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么?RowKey 的特点 如下:类似于 MySQL、Oracle 中的主键，用于标示唯一的行;完全是由用户指定的一串不重复的字符串;HBase 中的数据永远是根据 Rowkey
转载
2023-08-18 22:00:48
37阅读
hbase读写性能优化一般可以从三个方面入手1、hbase服务端读写配置2、hbase客户端配置3、hbase表的设计本文从表设计的rowkey和预分区角度优化hbase读写性能，避免region读写热点问题。一、hbase数据读取方式先了解hbase读取数据方式：1、随机读：通过get方式，指定rowkey获取唯一记录2、局部顺序读（随机读+顺序读）：通过scan方式，设置startRow和st
转载
2023-09-04 15:19:27
108阅读
1.建表高级属性建表过程中常用的shell命令1.1 BLOOMFILTER默认是 NONE 是否使用布隆过虑及使用何种方式，布隆过滤可以每列族单独启用 使用HColumnDescriptor.setBloomFilterType(NONE|ROW|ROWCOL)对列族单独启用布隆 - Default = ROW 对行进行布隆过滤 - 对 ROW，行键的哈希在每次插入行时将被添加到布隆 - 对 R
转载
2023-12-06 14:24:29
54阅读
