因为工作中负责维护的产品中有使用消息中间件kafuka的系统 ,所以把工作中的理解和遇到的问题总结出来,方便后期查看，好记性不如烂笔头。kafuka是一个分布式的、分区化、可复制提交的发布订阅消息系统，使用kafuka需要对其中的一些概念做简单了解。 一、kafuka基础 1、topic主题： Kafka中用于区分不同类别信息的类别名称。由producer指定 2、Producer：将消息发布到K
转载
2024-03-26 08:41:23
66阅读
Kafka提供了一些命令行工具，用于管理集群变更。这些工具使用Java实现，Kafka提供了一些脚本调用这些Java类。9.1主题操作使用Kafka-topics.sh工具可以执行主题大部分工作，我们可以用它创建，修改，删除和查看集群的主题。要使用该工具的全部功能，需要通过—zookeeper参数提供zookeeper连接字符串。创建主题创建主题需要三个参数：主题名，复制系数和分区例如：创建名为m
转载
2024-03-21 10:18:36
96阅读
本人所在院校开题报告需要的模块如下图所示。 一、论文标题四要素① predicts content 预示研究内容；② Interesting 吸引读者兴趣；③ Reflects tone反映作者的语气；④ Important keywords关键字。注意事项： 尽量缩短题目长度；不能模棱两可；5-15字间；除非众所周知，否则不用缩写。二、 国内外研究现状综述1 参考文献数目 &
转载
2024-07-16 13:31:14
49阅读
目录1.创建主题2.查看主题3.修改主题4.删除主题1.创建主题1.1 创建名为：test-topic的主题，命令如下：./kafka-topics.sh --zookeeper localhost:2181 --create --topic test-topic --replication-factor 1 --partitions 5执行结果如下： 登录ZooKeeper客户端查看所
转载
2024-01-30 22:53:49
170阅读
目录一、创建主题 1.启动集群2.启动zookeeper编辑3.启动kafka二、编辑flume文件三、运行生产消费者 上传网页 1.运行消费者2.运行生产者3.查看是否上传成功 四、 编写MR程序（一）加载POM配置  
转载
2024-06-11 01:24:04
183阅读
1. 创建topicbin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-create --partitions 4 --replication-factor 2返回结果：Created topic "topic-create".参数解析--zookeeper 指定kafka所连接的zookeeper
转载
2024-02-25 07:43:51
124阅读
一、初识Kafka1、什么是 KafkaKafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。2、Kafka 的基本术语消息： Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。批次： 为了提高效率， 消息会分批次写入 Kafka，批
转载
2024-07-18 08:54:30
163阅读
KafkaKafka是Apache下的分布式消息中间件，需要zookeeper的分布式管理才能使用 架构如下Partitionkafka的存储，就不得不提到分区，即partitions，创建一个topic时，同时可以指定分区数目，分区数越多，其吞吐量也越大，但是需要的资源也越多，同时也会导致更高的不可用性，kafka在接收到生产者发送的消息之后，会根据均衡策略将消息存储到不同的分区中每个parti
转载
2024-03-28 15:07:05
48阅读
使用场景 处理大规模的消息,大数据,事件采集,日志收集等,不过使用延迟消息比较麻烦对比其他的消息队列的话。高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition。每个消费组 对分区进行消费- 可扩展性：kafka集群支持热扩展- 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失- 容错性：允许集群中节点
转载
2024-03-20 12:12:22
113阅读
# Java Kafka 创建主题指南
Apache Kafka 是一个开源的流处理平台，广泛用于构建实时数据管道和流应用。在 Kafka 中，主题（Topic）是记录的分类或标签，消费者通过主题来接收特定数据。本文将介绍如何在 Java 中创建 Kafka 主题，并提供相应的代码示例。
## 1. Kafka 主题概述
Kafka 的主题可以理解为消息的分类，一个主题可以有多个生产者和消费
一、创建主题创建一个kafka-action的主题，该主题拥有2个副本、3个分区，命令如下所示：./kafka-topics.sh --create --zookeeper 172.20.10.3:2181,172.20.10.4:2181,172.20.10.5:2181 --replication-factor 2 --partitions 3 --topic kafka-action在控制台
转载
2023-09-09 07:39:03
293阅读
学习Kafka首先要了解Kafka是干什么的？Kafka是一个分布式、支持分区、多副本的消息系统，最大特点是实时处理大量数据以满足各种需求场景。它可以用于日志收集、消息系统、用户活动跟踪、运营指标等。Kafka是用Scala语言编写的，于2010年贡献给了Apache基金会并成为顶级开源项目。?这是较为官方的解释，简单来说，Kafka是专门用来传递数据的消息系统。Kafka主要应用于：日志收集消息
转载
2024-08-06 20:12:09
69阅读
Kafka消费者订阅指定主题或分区详解 文章目录Kafka消费者订阅指定主题或分区详解消费者配置订阅主题（subscribe）与分区（assign）订阅主题（subscribe）订阅分区（assign）如何取消某个分区的订阅？总结 消费者配置在连接Kafka服务器消费数据前，需要创建Kafka消费者进行拉取数据，需要配置相应的参数，比如设置消费者所属的消费者组名称、连接的broker服务器地址、序
转载
2024-03-19 02:33:36
34阅读
进入到config目录cd /opt/kafka/kafka_2.11-0.9.0.1/config/修改配置文件主要关注这个文件： server.propertiesbroker.id=0 #当前机器在集群中的唯一标识，和zookeeper的myid性质一样(没有必要和myid一致，只是唯一标识) port=9092 #当前kafka对外提供服务的端口默认
转载
2023-08-14 11:33:18
104阅读
创建主题流程分析创建主题包括2个阶段 1、客户端创建，就是客户端将主题得元数据写入zk 2、服务端得创建，是服务端控制器创建主题得过程。客户端创建主题 可以通过kafka的api客户端或者是命令行来创建主题，底层都是调用了TopicCommand.createTopic(zkUtils: ZkUtils, ops：TopicCommandOptions）方法创建主题。该方法的主题流程是，首先是对主
转载
2023-10-26 17:22:28
78阅读
ISR(In-sync Replicas)：保持同步的副本OSR(Outof-sync Replicas)：不同步的副本。最开始所有的副本都在ISR中，在kafka工作的过程中，如果某个副本同步速度慢于replica.lag.time.max.ms指定的阈值，则被踢出ISR存入OSR，如果后续速度恢复可以回到ISR中AR（Assigned Replicas）：包括所有的分区的副本，AR=ISR+O
转载
2024-07-25 14:06:49
98阅读
在使用 Python 操作 Kafka 的过程中，创建主题及其分区是一个基础但关键的步骤。本文将详细记录如何使用 Python 客户端创建 Kafka 主题以及其分区，涵盖协议背景、抓包方法、报文结构、交互过程、工具链集成，以及逆向案例的相关内容。
### 协议背景
Kafka 是一个分布式的消息代理，允许实时的数据流处理。它通过主题来组织消息，每个主题可以由多个分区组成，从而提高并发处理能力。
一、简介关于主题和分区的基本规则在之前生产者一章的分区器中已经介绍过了，本章主要详解额外的知识点 二、修改主题 当
一
个主题被创建之后， 依然允许我们对其做
一
定的修改， 比如修改分区个数、 修改配置
等，
1.修改/新增 topic 的分区kafka-topics --zookeeper hadoop004:2181 --alter -
转载
2024-03-26 10:48:41
62阅读
1.卡夫卡话题在这篇Kafka文章中，我们将学习Kafka主题与Kafka Architecture的整体概念。Kafka中的体系结构包括复制，故障转移以及并行处理。此外，我们还将看到创建Kafka主题的方法以及Apache Kafka主题的示例，以便更好地理解Kafka。此外，我们将看到Kafka分区和Kafka日志分区。那么，让我们从Kafka主题开始吧。
Apache Kafka主题 -
转载
2024-08-06 20:11:47
81阅读
1 整体框架2 发送消息3 如何保证消息顺序4 如何知道消息发送到哪个partition5 如何保证消息不丢失 1 整体框架Producer：Producer即生产者，消息的产生者，是消息的入口。Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的brok
转载
2024-04-06 08:48:36
79阅读
