文章目录1.TopicCommand1.1.Topic创建1.2.删除Topic1.3.Topic分区扩容1.4.查询Topic描述1.5 查询Topic列表1.TopicCommand1.1.Topic创建bin/kafka-topics.sh
原创
2022-05-26 00:43:01
305阅读
文章目录1.查询配置2.增删改 配置3.kafka-console-producer1.查询配置1.查询单个Topic配置(只列举动态配置)sh bin/kafka-configs.
原创
2022-05-26 00:43:06
743阅读
深入分析kafka的生产者配置原理：一、生产者发送消息的基本流程： 从创建一个
ProducerRecord
对象开始，
Producer Record
对象需要包含目标主题和要发送的内容。我们还可以指定键或分区。在发送
ProducerRecord对象时，生产者要先把键和值对象序列化成字节数组，这样它们才能够在网络上传输。接下来，数据被传给分区器。如果之前在 Pro
转载
2024-02-29 09:40:53
89阅读
kafka详解
原创
2022-07-12 11:03:02
168阅读
大数据之kafka 第一章 kafka概述 1.1 定义 kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 同步处理： 生产者生产数据，直接传给消费者 异步处理： 生产者生产数据，把数据放在消息队列中，供消费者自 ...
转载
2021-10-09 10:34:00
271阅读
2评论
fetch.min.bytes消费者从服务器获取记录的最小字节数，broker收到消费者拉取数据的请求的时候，如果可用数据量小于设置的值，那么broker将会等待有足够可用的数据的时候才返回给消费者，这样可以降低消费者和broker的工作负载，因为当主题不是很活跃的情况下，就不需要来来回回的处理消息，如果没有很多可用数据，但消费者的CPU 使用率却很高，那么就需要把该属性的值设得比默认值大。如果消
转载
2023-12-26 18:30:08
59阅读
温馨提示：本文基于 Kafka 2.2.1 版本。上文 《源码分析 Kafka 消息发送流程》 已经详细介绍了 KafkaProducer send 方法的流程，该方法只是将消息追加到 KafKaProducer 的缓存中，并未真正的向 broker 发送消息，本文将来探讨 Kafka 的 Sender 线程。 本节目录1、Sender 线程详解1.1 类图1.2 run 方法详解1.2.1 ru
转载
2024-07-03 06:30:39
53阅读
目录一、Kafka是什么二、Kafka主要特点为什么使用Kafka？主题和日志1.主题（Topic）2.分区（Partition）分布式高性能【Linux】 Hi，大家好，我是一个爱冒泡的程序猿 好久不见呀，时间过得好快，转眼间已经2022年，好久没更新了，希望自己今年能坚持记录反省自己一、Kafka是什么Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且
转载
2024-02-16 11:57:02
55阅读
kafka配置很多，分Broker配置、Topic配置、producer配置、consumer配置、Connect配置、AdminClient配置。详细内容见kafka中文官网。其中，很多配置并不需要修改，除非有需要使用默认值更好。1.Broker配置核心基础配置
broker.id 用于服务的broker id。如果没设置，将生存
转载
2024-02-09 16:58:27
177阅读
kafka详解一、Kafka简介分类： Kafka2014-08-18 10:45 375人阅读 评论(0) 收藏 举报背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它 如何及时上几个挑战形...
原创
2023-05-16 16:06:17
211阅读
Kafka配置参数详解Kafka得安装与基本命令Kafka配置参数kafka生产者配置参数kafka消费者配置参数
Kafka得安装与基本命令
Kafka配置参数broker.id：broker的id，id是唯一的非负整数，集群的broker.id不能重复。log.dirs：kafka存放数据的路径。可以是多个，多个使用逗号分隔即可。port：se
原创
2022-01-11 11:17:28
2051阅读
Kafka—— 基本介绍一、Kafka的基本介绍二、Kafka的好处三、分布式的发布与订阅系统四、Kafka的主要应用场景 一、Kafka的基本介绍官网http://kafka.apache.org/kafka使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。它提供了类似于JMS的特性，但是在设计实现上
转载
2024-04-02 22:11:25
93阅读
##控制台接收消息 ./bin/kafka-console-consumer.sh --zookeeper 192.168.6.55:2181 --from-beginning --topic mm1983 ##控制台发送消息 ./bin/kafka-console-producer.sh --br
转载
2017-02-08 20:28:00
173阅读
2评论
以下是一些常用的Kafka命令及其用途：启动Kafka服务：bin/kafka-server-start.sh config/server.properties创建一个主题（topic）：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic myTo
原创
2023-08-26 20:22:55
137阅读
转载自：kafka命令大全 - OrcHome 管理 ## 创建topic（4个分区，2个副本） bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic ...
转载
2021-07-29 15:06:00
257阅读
2评论
High Level Consumer
很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个Consumer消费（单播）或被所有Consumer消费（广播）。因此，Kafka High Level Consumer提供了一个从Kafka消费数据的高层抽象，从而屏蔽掉其中的细节并提供丰富的语义。Consumer G
转载
2024-03-22 10:38:56
17阅读
Kafka是什么？Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kaf
转载
2021-04-25 13:07:01
556阅读
1.Server.propertiesbro...
原创
2021-08-13 14:29:46
413阅读
Kafka是什么？Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kaf
原创
2021-03-15 21:55:40
438阅读
1.什么是消息中间件？2.kafka 是什么？有什么作用？3.kafka 的架构是怎么样的？
转载
2022-10-21 10:41:41
106阅读
