blackproof的博客_kafka

storm kafka consumer

5761

kafka

consumer

json

List

原创 2023-04-26 13:36:09 364 阅读

kafka入门

规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成

kafka

zookeeper

客户端

转载 2023-04-21 01:07:53 23 阅读

kafka replication tools

kafka工具 replication tool工作步骤（异步过程，执行完1就结束）：1.更新zk上的/admin/preferred_replica_election节点，内容为副本的几个位置（不包含已经奔溃的leader） 2.controller中的zk的listener读取topic partition的副本的几个位置 3.controller获取每个topi

kafka

replication

json

zookeeper

原创 2023-04-21 01:06:59 35 阅读

kafka topic命令

kafka topic可以定制执行brokerid和partition的topic，还有增加partitionkafka topicCreate, delete, describe, or change a topic.Option Description ...

kafka

topic

命令

zookeeper

ide

原创 2023-04-21 01:06:56 321 阅读

kafka client端 producer

zervalue:org.apache.kafka.common.serialization.StringSerializer3.根据发送数据计算索要发送的topic的partition使用record记录中的partiti

producer

kafka

sed

封装

原创 2023-04-21 01:04:51 10000+阅读

kafka参数配置

kafka参数配置server.properties############################# Server Basics ############################## The id of the broker.broker.id=03...

kafka

参数

配置

zookeeper

sed

原创 2023-04-21 01:04:20 90 阅读

kafka接口协议

The Kafka protocol is fairly simple, there are only six client requests APIs. Metadata - Describes the currently available brokers, their host and port information, and gives information about w...

kafka

接口协议

元数据

发送消息

原创 2023-04-21 01:04:14 99 阅读

kafka SocketServer类

SocketServer是kafka nio,包含一个accept线程，接受socket连接，并把连接（平均）放入processors中，多个processor线程接受nio的处理请求和相应processor请求只是将request放入requestchannel queue中（由KafkaRequestHandlerPool中handler完成）processor响应是在

kafka

SocketServer类

ci

Startup

原创 2023-04-21 01:04:09 64 阅读

kafka接口协议二详细

kafka没有直接将消息发给某个topic的partition，所以product必须发送partition的broker client可以从任意broker获得cluster metadata信息，获得paritition的leader broker，当leader broker处理数据有误时，有两种情况1.broker死了，2broker不在包含此partition；所以需...

kafka

接口协议

数据

bootstrap

原创 2023-04-21 01:04:04 93 阅读

kafka 重新分配leader kafka-preferred-replica-election.sh

bin/kafka-preferred-replica-election.sh --zookeeper hostzk/kafka-real bin/kafka-preferred-replica-election.sh --zookeeper localhost:12913/kafka --path-to-json-file topicPartitionList.json top...

kafka

leader

json

zookeeper

原创 2023-04-21 01:03:49 150 阅读

kafka Reassign Partitions Tool

kafka 0.8增加了重新分配partition功能，进行扩容,增加减少replica，移动partitionkafka-reassign-partitions.sh脚本 O.

kafka

Reassign

json

zookeeper

原创 2023-04-21 01:01:24 105 阅读

kafka broker宕机&leader选举

ener() extends IZkChildListener with Logging {

kafka

leader选举

broker宕机

java

List

转载 2023-04-21 01:00:36 69 阅读

kafka参数

ions和replicas)，建立起来的socket连接用于发送实际数据，这个列表可以是broker的一个子集，或者一个VIP，指向broker的一个子集。request.required.acks 默认值：0用来控制一个produce请求怎样才能算完成，准确的说，是有多少broker必须已经提交数据到log文件，并

kafka

参数

默认值

数据

元数据

转载 2023-04-20 17:05:23 181 阅读

kafka源码编译

git clone http://git-wip-us.apache.org/repos/asf/kafka.git D:\git\kafka https://kafka.apache.org/downloads.html 安装gradle 到kafka目录下运行gradle wrapper，解决找不到类&n

kafka

源码编译

eclipse

git

apache

原创 2023-04-20 17:04:39 44 阅读

kafka获得最新partition offset

kafka获得partition下标，需要用到kafka的simpleconsumer import java.util.ArrayList;import java.util.Collections;import java.util.Date;iava.util...

kafka

kafka TopicConfigManager类

plog（每个topic每个partition对应一个log）配置 /** * 注册config change的listener * Begin watching for config chang

kafka

TopicConfigManager类

json

sed

子节点

转载 2023-04-20 17:03:55 59 阅读

kafka logManager类 kafka存储机制

messageSet：每个log file的管道类 base offset：在topic中的绝对offset值 offsetin

kafka

logManager类

存储机制

数据

初始化

原创 2023-04-20 16:30:51 86 阅读

kafka producer服务端

pis类，调用handleProdu

kafka

producer

服务端

数据

错误信息

原创 2023-04-20 16:30:44 95 阅读

kafka ReplicaManager类

// start ISR expiration thread scheduler.schedule("isr-expiration", maybe

kafka

ReplicaManager类

主方法

时间间隔

lua

原创 2023-04-20 16:30:37 68 阅读

kafka KafkaRequestHandlerPool类

KafkaRequestHandlerPool是KafkaRequestHandl...

kafka

原创 2023-04-20 16:30:31 76 阅读

kafka 获取metadata

数据 NetworkClient类，方法poll，检查metadata是否需要更新方法： /** * Add a meta

kafka

metadata

List

i++

原创 2023-04-20 16:30:12 266 阅读

kafka leader balance

Balancing leadership Whenever a broker stops or crashes leadership for that broker's partitions transfers to other replicas. This means that by default when the broker is restarted it will only...

kafka

leader

balance

默认值

zookeeper

原创 2023-04-20 16:29:58 116 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客