概览最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写web-console比较耗时耗力，用原型工具画了一些管理界面东西，关键自己也不前端方面技术，这方面比较薄弱。这不开源社区提供了kafka的web管理平台Ka
转载
2023-04-27 15:11:25
167阅读
Kafka Producer处理逻辑 Kafka Producer产生数据发送给Kafka
原创
2023-04-28 14:01:37
112阅读
Kafka Producer处理逻辑 Kafka Producer产生数据发送给Kafka Server，具体的分发逻辑及负载均衡逻辑，全部由producer维护。Kafka结构图Kafka Producer默认调用逻辑默认Partition逻辑1、没有key时的分发逻辑每隔 topic.metadata.refresh.interval.ms 的时间，随机选择一个partit
原创
2022-11-25 16:25:24
181阅读
apache kafka中国社区QQ群:162272557Apache kafka性能优化架构分析应用程序优化：数据压缩watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGl6aGl0YW8=/font/5a6L5L2T/fontsize/400/fill/...
转载
2016-01-18 08:57:00
191阅读
2评论
Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢?我们知道流处理平台有以下三种特性:可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录，并且有较好的容错性。可以在流式记录产生时就进行处理。Kafka适合什么样的场景?它可以用于两大类别的应用:构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于message
原创
2023-11-14 23:03:10
173阅读
kafka.common.ConsumerRebalanceFailedException :log-push-record-consum
原创
2023-04-28 14:02:09
173阅读
kafka迁移与扩容工具使用参考官网site:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool说明:当我们对kafka集群扩容时，需要满足2点要求: 将指定topic迁移到集群内新增的node上。将topic的指定par
原创
2022-11-28 16:26:01
163阅读
1.依赖包 <dependency> <groupId>org.apache.kafka<
原创
2023-04-28 14:01:01
68阅读
KA/Replication+tools#Replicationtools-6.ReassignPartitionsTool说明:当我们对kafka集群扩容时，需要满足2点要求: 将指定topic迁移到集群内新增的node上。将to...
原创
2023-06-04 09:47:52
112阅读
Spark 编程模型 在Spark 中， 我们通过对分布式数据集的操作来表达计算意图 ，这些计算会自动在集群上 井行执行 这样的数据集被称为弹性分布式数据集 Resilient Distributed Dataset )，简称 RDD RDD 是Spark 分布式数据和计算的基本抽象。在 Spark 中，对数据的所有操作不外乎创建 RDD 、转换己有 RDD 以及调用 RDD 操作进行求值 rdd
目录创建⼯程java版本kafka生产者的api操作kafka消费者的api操作工具类Scala版本工具类生产者和消费着创建⼯程 创建⼯程略，导⼊
Pom
依赖 <!-- 下⾯的依赖，包含了上⾯的kafka-clients，所以只需要引⼊下⾯即可 -->
<dependency>
<groupId>org.apache.kafka</gro
转载
2024-04-16 14:58:19
27阅读
1-Kaka入门1.1 简介这里大部分内容来自于官网的学习笔记,更详细内容可以打开Apache Kafka官网进行研究官网地址1
原创
2022-05-15 13:16:55
498阅读
原文地址：http://www.orchome.com/66
转载
2022-06-01 10:34:52
71阅读
目录 Kafka快速搭建Kafka--producer开发构造Properties对象1、bootstrap.servers=localhost:90922、key.serializer--消息key的序列化转换器3、value.serializer--消息value的序列化转换器4、acks--用于控制producer生产消息的持久性(怎样保证消息不丢失？) 5、buffer
转载
2023-12-18 11:45:32
40阅读
In a previous blog post, we introduced exactly once semantics for Apache Kafka®. That post covered the various message delivery semantics, introduced
转载
2020-04-20 18:35:00
146阅读
2评论
上图是3个登录场景，分别为：第一次访问www.qiandu.com、第二次访问、以及登录状态下第一次访问mail.qiandu.com。下面就详细说明上图中每个数字标号做了什么，以及相关的请求内容，响应内容。 4.1、第一次访问www.qiandu.com标号1：用户访问http://www.qiandu.com，经过他的第一个过滤器（cas提供，在web.xml中配置）Authenti
