工作流程Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic的。**topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。**Producer 生产的数据会被不断追加到该log 文件末端，且每条数据都有自己的 offset。
转载
2024-02-22 14:01:48
168阅读
找到kafka的安装目录 find / -name kafka* -type d
[root@DockerHostconfig]# cd /wls/kafka_2.11-0.8.2.1/config
[root@DockerHostconfig]# ll
total28
-rw-r--r--1 root root 1199 Feb 27 2015consumer.propert
转载
2024-04-30 20:03:17
41阅读
1. 主要目录结构MySQL数据库文件存放路径: /var/lib/mysqlmysql> show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value |
+---------------+-----------------+
| datadir
转载
2023-07-27 00:00:05
260阅读
核心目录结构 在 KRaft 模式下，所有数据（包括元数据、消息日志、消费者偏移量）统一存储在 kraft-combined-logs/ 目录中。 元数据目录 路径：kraft-combined-logs/__cluster_metadata-0/ 作用：存储集群元数据（如 Topic 创建、分区分
用Spring cloud stream可以很方便的实现对Kafka消息的收发，以下是我按照Spring官网的例子实现的一个Kafka的应用。这个例子是实现一个电信公司收集用户消费电信服务，并计算费用的场景。包括了三个应用程序。1.记录用户使用电信服务时长：这个应用将模拟生成用户的话单，包括了用户ID，语音呼叫时长，数据业务流量的信息，并把话单信息发送到Kafka。用Spring boot创建一个
转载
2024-03-16 13:21:46
95阅读
一、部署1.1、安装部署
二、概念及理论 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模
转载
2024-03-27 15:10:25
64阅读
文章目录1. kafka 全配置项说明1.1. 基本配置项1.2. kafka中Leader,replicas配置参数1.3. kafka中zookeeper参数配置 1. kafka 全配置项说明1.1. 基本配置项broker.id = 0 每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况lo
## 导入MySQL数据到data目录的流程
为了帮助你实现将MySQL数据导入到data目录中，我将提供详细的步骤和相应的代码示例，以确保你能够轻松地完成这个任务。下面是整个流程的概览：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 连接到MySQL数据库 |
| 步骤2 | 导出MySQL数据 |
| 步骤3 | 创建并配置data目录 |
| 步骤4 | 导入数据到
原创
2023-11-14 15:04:24
97阅读
# Redis数据存放目录的实现流程
## 1. 确定Redis数据存放目录的路径
在开始实现Redis数据存放目录之前，我们需要先确定数据存放的目录路径。一般来说，可以选择Redis服务器所在的文件系统中的任意目录作为数据存放目录。
## 2. 创建Redis数据存放目录
在确定好数据存放目录路径后，我们需要在该路径下创建一个用于存放Redis数据的目录。可以使用以下代码来创建目录：
原创
2023-10-31 07:53:29
311阅读
## 数据库数据还原流程
为了实现"mysql data目录数据还原"，我们可以按照以下步骤进行操作：
| 步骤 | 描述 |
| --- | --- |
| 步骤 1 | 创建一个新的数据库来存储还原的数据 |
| 步骤 2 | 停止 MySQL 服务 |
| 步骤 3 | 复制数据文件到 MySQL data 目录 |
| 步骤 4 | 修改文件权限 |
| 步骤 5 | 启动 MySQL
原创
2023-11-26 11:39:42
174阅读
最近公司接触到了kafka，简单翻译了一下kafka的文档Getting Started简介：Kafka 是一个分布式的，有分区的重复提交的日志记录服务，为系统开发者提供了一个消息中间件。首先介绍一些基本的消息用语：1. Kafka 包含一系列的消息目录,命名为 topics（主题）2.&nb
转载
2024-05-02 10:47:57
11阅读
问题先前存储kafka日志的磁盘空间太小，zabbix警报不断，于是加了磁盘，将日志存到新磁盘上。解决方案依次在每台机器上操作，保证有机器能响应producer和consumer的操作。 加磁盘需要重启服务器。1. 拷贝日志服务器启动后，将以前的日志拷贝到新目录cp /data/k...
转载
2015-08-13 17:20:00
192阅读
2评论
问题先前存储kafka日志的磁盘空间太小，zabbix警报不断，于是加了磁盘，将日志存到新磁盘上。解决方案依次在每台机器上操作，保证有机器能响应producer和consumer的操作。 加磁盘需要重启服务器。1. 拷贝日志服务器启动后，将以前的日志拷贝到新目录cp /data/k...
转载
2015-08-13 17:20:00
675阅读
默认的数据库路径是/var/lib/pgsql/9.x/data 将现有的数据库文件全部拷贝到新的数据库路径下，然后重启 新建一个路径作为新的数据库数据路径，假如是/home/data sudo mkdir /home/data sudo chown -R postgres:postgres dat
转载
2018-04-24 09:36:00
575阅读
2评论
文章目录一、LogManager结构二、LogManager的创建检查日志目录加载日志目录的文件三、启动LogManager4个定时任务四、旧的日志段删除任务根据时间策略删除相关日志根据日志大小删除相关日志五、刷盘任务六、日志恢复检查点任务任务执行的方法offset-checkpoint的存储何时刷新recovery-checkpoint如何利用recovery-checkpoint恢复日志七、
转载
2024-03-29 09:54:49
708阅读
本文主要基于《高性能MySQL》 文章目录1、数据库目录2、frm文件3、ibd文件4、ibdata文件5、ib_logfile文件6、UNDO日志7、慢查询日志8、二进制日志文件9、中继日志 本小节介绍的文件都位于数据目录下（Data目录）。Data目录下的文件有frm，ibd，ibdata1等，下面分别介绍一下这些文件的作用。 1、数据库目录Data目录下除了文件之外，还有一些子目录，这些子
转载
2023-07-31 21:20:41
222阅读
参数说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址，多个地址的话用逗号分割/data/kafka-logs-1，/data/kafka-logs-2port =9092brok
转载
2024-03-27 15:53:59
67阅读
全局参数[server.properties]需要修改的参数Broker 端参数ZooKeeper 设置Broker通信Topic参数数据存储参数Topic 级别参数数据保存参数Topic 级别参数的设置创建 Topic 时进行设置修改 Topic 时设置JVM 参数堆内存设置GC的设置如何设置操作系统参数文件描述符限制文件系统类型Swappiness提交时间/Flush 落盘时间&n
转载
2024-03-21 08:52:18
86阅读
1. Kafka 新建分区时在哪个目录下创建？在启动Kafka集群之前，需要配置log.dirs参数，其值是Kafka数据的存放目录，这个参数可以配置多个目录，目录之间使用逗号分隔，通常这些目录是分布在不同的磁盘上用于提高读写性能。当然也可以配置log.dir参数，含义一样。只需要设置其中一个即可。如果log.dirs参数只配置了一个目录，那么分配到各个Broker上的分区肯定只能在这个目录下创建
转载
2024-04-02 12:34:33
133阅读
Broker端的参数log.dirs：这是非常重要的参数，指定了 Broker 需要使用的若干个文件目录路径。要知道这个参数是没有默认值的，这说明什么？这说明它必须由你亲自指定。log.dir：注意这是 dir，结尾没有 s，说明它只能表示单个路径，它是补充上一个参数用的。 只要设置log.dirs，即第一个参数就好了，不要设置log.dir。而且更重要的是，在线上生产环境中一定要为log.dir
转载
2024-04-03 21:34:14
59阅读
