Kafka通过主题(topic)将消息归类，各个主题相互独立，每个主题包含一个或多个分区(partition)，分区数量可以动态修改，Kafka保证消息在一个分区中是有序的，分区中的每个消息都有一个唯一的偏移量(offset)。一个分区同时可以包含多个分区副本：一个leader副本和一或多个follower副本，只有leader副本负责消息的接收和发送，其余副本负责与leader副本保持同步，从而
转载
2024-03-26 17:34:50
39阅读
系列文章目录 文章目录系列文章目录一. 业务模型1.1 概念梳理1.2 文件分析1.2.1 数据目录1.2.2 .log文件1.2.3 .index和.timeindex文件1.3 顺序IO1.4 端到端压缩二. 源码结构2.1 核心类2.1.1 核心类之间的关系2.1.1 数据传递对象2.1.2 ReplicaManager2.1.3 Partition2.1.4 Replica2.1.5 Lo
转载
2024-05-31 23:00:30
53阅读
1、kafka高性能文件读写设计原理kafka中的数据是以日志的形式进行存储，所以分区实际上就是日志。1.1 磁盘读写并不慢 磁盘线性读写的速度比随机读写的速度快6000倍。现代操作系统提供了 read-ahead 和 write-behind 技术，read-ahead 是以大的 data block 为单位预先读取数据，而 write-behind 是将多个小型的逻辑写合并
转载
2024-03-08 21:49:45
56阅读
研究分区器先从ProducerRecord看起，因为分区是在每条record的基础上实现的。ProducerRecord的字段：在构造函数中可以指定partition，消息会直接放在指定的分区上。如果不指定partion，那么就会以默认分区器，按照key的散列算法进行分区，分布在主题的所有分区上，有可能放在不可用的分区上。相同的key会有相同的散列值，相同的散列值会在同一个分区，也就是相同key的
转载
2024-10-16 09:53:21
43阅读
在对消息进行存储和缓存时，Kafka依赖于文件系统。（Page Cache） 线性读取和写入是所有使用模式中最具可预计性的一种方式，因而操作系统采用预读（read-ahead）和后写（write-behind）技术对磁盘读写进行探测并优化后效果也不错。预读就是提前将一个比较大的磁盘块中内容读入内存，后写是将一些较小的逻辑写入操作合并起来组成比较大的物理写入操作。 使用文件系统并
转载
2024-05-07 22:09:49
19阅读
参考自：Docker学习：Image的本地存储结构 docker中各ID之间的关系和计算(二)-layerID-diffID-chainID-cacheID的计算本地下载的docker镜像存储在/var/lib
转载
2023-06-15 10:45:48
1688阅读
为什么要更改储存位置？在linux系统上安装应用性软件都会有自己的储存位置。然而一直使用系统默认安装的储存位置久而久之难免出现储存空间不足。更改储存位置的好处就是使用自己指定的存储盘便于管理并且也不用担心储存空间不足等问题。 更改Docker配置 Docker的默认存储路径是/var/lib/docker(通过docker info查看)。这个路径下面存储了Docker的镜像
转载
2023-06-12 12:30:00
1884阅读
如何配置Kafka集群 Kafka集群配置比较简单，为了更好的让大家理解，在这里要分别介绍下面三种配置 单节点：一个broker的集群 单节点：多个broker的集群 多节点：多broker集群
一、单节点单broker实例的配置
1. 首先启动zookeeper服务
Kafka本身提供了启动
转载
2024-05-11 21:23:03
112阅读
背景介绍我们都知道docker 镜像默认存放在 /var/lib/docker，然而随着时间的推移，镜像文件少说几十个G，甚至会占满整个空间，所有就有必要在安装docker后，首先把镜像文件默认的存放路径修改到比较大 的盘。
安装docker后，用docker info 命令可以看到如下：可以清楚的看到，默认存放路径是：/var/lib/docker在centos下简单粗暴的方式：vi /et
转载
2023-07-06 13:24:33
352阅读
打开备份短信的方法：1.通过电脑找回手机短信内容的最基本思路，即将保存手机短信容的数据库文件传输到电信上，用相关手机信看工具进找回，对此需要借助第三方ROOt工获取手机ROOT权限。2.并非所有手机都支持通过第三方ROOT工具来获取级权限，对于小米MIUI稳定版系统，需刷机成开发版，然利用自的ROOT管理工具来获取其ROOT限。3.当成功获取手机ROOT权限后，即可借助RE文件管，将保存手机短信内
转载
2023-06-01 17:47:18
665阅读
短信是：data/data/com.android.providers.telephony目录下的mmssms.db数据库文件中的sms表
通话记录：data/data/com.android.providers.contacts目录下的contacts2.db数据库文件中的call表
data/data/com.android.providers.contacts目录下的contac
转载
2023-06-12 20:05:01
767阅读
docker默认存储内存爆满，更改存储位置修改存储位置步骤如下： 1.挂载新的硬盘2.创建新的存储目录3.复制默认/usr/lib/docker下所有文件4.更改docker配置文件5.查看docker镜像，开启容器看是否运行正常。注意事项：项目无法连接mysql容器报错如下：Docker部署项目1. 配置打镜像文件.2. 将jar包打镜像.3. 生成容器. 修改存储位置步骤如下：
转载
2023-06-29 23:39:13
564阅读
1、File cacheDir = context.getCacheDir();
应用内部存储空间（数据文件私有）文件存储到这个路径下，不需要申请权限，当应用被卸载的时候，目录下的文件会被删除。
需要注意的是，这个文件的目录和应用的存储位置有关，
当应用被移动到外部存储设备的时候，文件的绝对路径也是变化的，所以建议当数据存储到这个目录的时候，用相对路径。
转载
2023-07-07 09:54:09
456阅读
导言mysql 可用于安装在linux系统，以及windows系统。默认情况下mysql 存放位置在安装时已经内置。位置查看本例中mysql 使用版本为 5.7，使用的工具navicat 版本为10.1.7 ，查看存储位置的操作为：1，在navicat 打开数据库，新建查询2，输入以下信息查询show global variables like "%datadir%";获取结果如下默认情况下，wi
转载
2023-06-12 19:58:54
409阅读
static关键字：为什么要使用static——静态： 1、对于静态全局变量而言，存储在数据段，目的是限制其他源文件（.cpp文件）的访问权限对于静态局部变量而言，存储在数据段，经过证实存储在数据段的静态存储区;生存周期维持在整个源文件内（函数结束不会立即销毁，会保存在数据段的静态存储区，可以改变值）记住，静态局部变量依旧是局部变量，只不过拥有了部分全局变量不死的特性！）/**
为什么要使用
转载
2024-07-07 16:38:53
51阅读
# Yarn 存储位置
在开发过程中，我们经常需要使用包管理工具来管理项目中的依赖项。Yarn 是一款非常流行的包管理工具，它提供了快速、可靠的依赖管理解决方案。在使用 Yarn 的过程中，我们可能会遇到一些问题，比如如何控制 Yarn 的存储位置。本文将为您介绍 Yarn 的存储位置以及如何配置和管理它。
## Yarn 存储位置简介
在默认情况下，Yarn 会将下载的包存储在全局安装路径
原创
2023-12-29 07:27:46
366阅读
# RedisDesktopManager 存储位置设置教程
## 简介
RedisDesktopManager 是一个用于管理 Redis 数据库的图形化工具。在使用 RedisDesktopManager 时，我们需要设置 Redis 数据库的存储位置。本文将详细介绍如何设置 RedisDesktopManager 的存储位置。
## 整体流程
下表展示了设置 RedisDesktopMa
原创
2023-12-11 04:25:21
192阅读
# Hadoop 存储位置实现指南
Hadoop 是一个强大的分布式存储与处理框架，在大数据处理领域应用广泛。在开始之前，我们需要了解 Hadoop 存储位置的实现过程。本篇文章将为你详细讲解如何在 Hadoop 上实现存储位置。
## 整体流程
下面的表格展示了实现 Hadoop 存储位置的整体步骤：
| 步骤 | 描述 |
|--
原创
2024-08-17 07:38:37
39阅读
在上课学习时也学了，虽然大概知道如何用，项目中都在用，但总感觉“不系统”，根据自己理解与之前所学，在总结一下，心里有个底。第一，存储位置：内部存储 ，外部存储 和 apk内部资源 &n
转载
2023-07-25 11:45:17
1327阅读
final、finally、finalizeWHAT?final、finnally都是java语言的关键字，finnalize是方法，和java垃圾回收机制(JVM回收对象)有关WHY?1、final定义的变量、方法、类都会有一定的特性。final修饰的类不可以被继承final修饰的方法不可以被重写，可以被重载final修饰的变量，表示不可变(引用不可变，引用的值可以变) stati
转载
2023-09-21 13:32:44
87阅读
