这一章讲hbase的缓存机制，这里面涉及的内容也是比较多，呵呵，我理解中的缓存是保存在内存中的特定的便于检索的数据结构就是缓存。之前在讲put的时候，put是被添加到Store里面，这个Store是个接口，实现是在HStore里面，MemStore其实是它底下的小子。那它和Region Server、Region是什么关系？Region Server下面有若干个Region，每个Region下面有
转载
2023-08-21 17:39:51
101阅读
问题描述： Hbase master起不来，hdfs没有问题，起来后没过一会进程又宕了，hdfs磁盘爆了。 解决过程： 开始怀疑是zookeepr宕了。查看配置发现是zookeeper在三台slaves上面，可能会造成资源抢占，zookeeper会被hbase挤掉。 所以将其中一台slaves转到master上面，同事说一般z
转载
2023-06-30 18:57:11
102阅读
比如：原 本 rowKey 为1001的 ， SHA1 后 变 成 ：dd01903921ea24941c26a48f2cec24e0bb0e8cc7原 本 rowKey 为3001的 ， SHA1 后 变 成 ：49042c54de64a1e9bf0b33e00245660ef92dc7bd原 本 rowKey 为5001的 ， SHA1 后 变 成 ：7b61dec07e02c18879067
转载
2023-07-24 15:17:22
207阅读
Hbase内存磁盘关系磁盘数 diskNum磁盘容量 diskCapacity备份数 replications单个HFile文件大小 hbase.hregion.max.filesizeregions数 regionsdiskNum*diskCapacity/replications =hbase.hregion.max.filesize *regions 注意RegionServer维护Mast
转载
2023-11-02 07:19:29
32阅读
一次HBase目录空间占用异常的解决之旅1. 前言在详细描述我们此次遇到的HBase的异常之前，先来简单介绍一下我们集群的概况。当前我们使用的HBase的版本是cdh6.3.2-hbase2.1.0，由主备双集群同时为线上提供服务，但正常情况下读写都集中在主集群，只有发生超时等异常时，熔断器才会把请求切换至备集群。主备集群之间通过replication机制同步数据，主备集群开启双向同步。主集群的节
转载
2024-02-04 14:45:42
68阅读
# Redis 缓存占用磁盘
## 什么是 Redis 缓存？
Redis 是一个开源的内存中数据存储系统，常用作数据库、缓存和消息中间件。Redis 支持多种数据结构，如字符串、列表、集合、哈希等。它的特点是快速、高效，并且支持数据的持久化。
缓存则是指缓存数据的临时存储，目的是加快数据的访问速度。在Web开发中，缓存经常被用来提升网页加载速度，减轻服务器负担。
Redis 缓存通过将数
原创
2024-03-23 04:20:21
53阅读
春风尔来为阿谁，蝴蝶忽然满芳草前言Redis最为常用的是拿来做缓存，而Redis之所以这么快的原因之一是搭上了内存那纳秒级别的处理速度来存储数据，极大提升了应用服务的性能。（从用户角度翻译过来就是这玩意反应快了）但是，但凡技术总有它的局限性，例如在计算机中内存空间远比磁盘空间要小得多，而且内存比磁盘贵。所以我们要是把数据都放内存，显然是一件成本高，性价很低的事情。所以更多的是采取让Redis存放热
转载
2023-08-22 20:31:59
226阅读
# Redis缓存占用内存还是磁盘实现教程
## 总览
在使用Redis作为缓存时，我们需要考虑缓存数据是占用内存还是磁盘。通常情况下，我们会将热数据存储在内存中，将冷数据存储在磁盘中，以充分利用内存和提高响应速度。
### 流程图
```mermaid
stateDiagram
[*] --> 决定缓存类型
决定缓存类型 --> 存储在内存
存储在内存 --> [
原创
2024-03-18 03:47:51
42阅读
# 如何查看hbase表占用的磁盘情况
## 引言
作为一名经验丰富的开发者，我们经常需要查看HBase表占用的磁盘情况，以便及时优化表的存储。本篇文章将教会刚入行的小白如何实现这个任务。
## 流程概述
以下是查看HBase表占用的磁盘情况的流程概述：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 连接到HBase Shell |
| 2 | 查看表的信息 |
| 3
原创
2024-06-21 03:19:30
89阅读
# Docker镜像缓存最多占用多少磁盘？
在现代软件开发中，Docker已经成为一种流行的技术，它允许开发人员轻松地创建、部署和运行应用程序。Docker利用镜像和容器的概念使得开发和运维更为高效。然而，Docker镜像的管理也是一个值得关注的问题，尤其是当它们开始占用大量磁盘空间时。
## Docker镜像的基本概念
Docker镜像是一个轻量级、可执行的独立软件包，它包括运行某个软件所
原创
2024-08-22 08:40:22
64阅读
# 计算 HBase 表占用的磁盘空间
## 简介
在 HBase 中，计算表占用的磁盘空间是一个重要的任务。这个指标可以帮助我们了解表的大小，优化存储结构，以及预估磁盘使用量。在本文中，我将向你介绍如何计算 HBase 表所占用的磁盘空间。
## 流程
下面是计算 HBase 表占用磁盘空间的流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 获取表的所有 regi
原创
2023-11-23 13:59:21
158阅读
老毛桃又出来“营业”了！今天遇到了一位用户，狂call老毛桃，为了何事？原来这位用户在家闲得无聊就在捣鼓电脑，结果误删了注册表的一些数据导致无法开机了，脑瓜子一机灵那就重装系统吧。哦豁！装完系统后发现C盘空间占用高达50G，这是怎么回事呢？ 我们或多或少都了解到，官方专业版的win7 32位大约占用16G左右，win10专业版64位也就占用20G左右，很明显，这位用户装完系统后就占用了
转载
2024-07-05 09:07:25
644阅读
我们在用电脑过程中，会发现C盘的空间不够用了，C盘的盘符条就会变成红色予以警告。这个时候我们应该如何解决呢？ 通常情况只要不是硬盘分区严重错误，C盘都会是够用的，我们来看下解决C盘占用空间太大的三个解决方法吧。1、减少电脑休眠文件的大小Windows系统的电脑都会给默认开启休眠和睡眠的功能，该功能的作用就是电脑在休眠后能够迅速从此前保存的临时文件中读取数据，快速恢复正常使用。但是缺点也
转载
2024-07-01 18:00:01
1065阅读
问题简述：磁盘（我的为D盘）无故占用约100G，且不明原因，无法查明原因。 解决方案简述：删除系统保护文件，并关闭系统保护（仅供参考）问题描述如图，某天早晨打开电脑突然发现，硬盘飙红了，让我非常紧张，因为前一天硬盘的占用还不到一半，所以算是非常的异常情况。 如图，D盘突然满了，但是我们点进去-全选文件-右键属性，搜索结果统计却是占用不到100G（另外约100G神秘消失了！！） （已经显示了隐藏的文
转载
2024-03-29 12:01:00
207阅读
内存数据刷写（MemStore Flush） 同一个Region上的不同Store代表了不同的列族，最终刷写到HDFS上的时候，会形成不同的文件夹。每一个Store都有一个MemStore，刷写数据正是从将MemStore的数据刷写到磁盘形成存储文件store file的。那么何时开始进行刷写呢？HBase制定了一系列的刷写策略，规定了内存何时开始刷写数据。在HBase的默认的核心配置
转载
2023-07-28 14:33:40
150阅读
翻译：
缓存
索引有不同的内置缓存模块。 它们包括 过滤器（filter）, 字段（field） 和其它。
过滤器缓存
过滤器缓存负责缓存过滤后的结果(在查询中使用)。 默认实现过滤器缓存(和一个推荐使用在几乎所有的情况下) 的是 节点过滤器缓存 类型。
节点过滤器缓存
这个 节点过滤器缓存 可以被配置为使用总内存的一定比例分配给进程或一个指定数量的内存。 所有的索
转载
2024-04-18 19:35:47
69阅读
Kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金
转载
2024-06-21 13:08:34
64阅读
1、用360优化win10后开不了机的问题原因是禁用了三个服务：在360应用软件服务里dmwappushsvc、diagnsticsTrackingservice、coreMessaging这三个要开启服务。2、关闭家庭组，因为这功能会导致硬盘和CPU处于高负荷状态关闭方法：控制面板–管理工具–服务– HomeGroup Listener和HomeGroup Provider禁用。控制面板怎么打开
转载
2024-04-18 10:49:37
727阅读
背景：1、缓存对于数据库来说极其的重要2、最理想的情况是，所有数据都能够缓存到内存，这样就不会有任何文件IO请求，读写性能必然会提升到极致。3、我们并不需要将所有数据都缓存起来，根据二八法则，80%的业务请求都集中在20%的热点数据上，4、把20%的数据缓存起来，将这部分数据缓存起就可以极大地提升系统性能。HBase在实现中提供了两种缓存结构：MemStore和BlockCache。MemStor
转载
2023-07-20 23:45:59
77阅读
Hbase中两种缓存机制memstore和blockcacheHBase中Block的概念MemStoreBlockCacheLruBlockCacheSlabCacheBucketCacheExternalBlockCacheHBase 读路径 HBase在实现中提供了两种缓存结构：MemStore和BlockCache。MemStore 作为 HBase 的写缓存，保存着数据的最近一次更新，
转载
2023-08-04 14:29:39
74阅读
