KAFKA不是单纯的消息机制，也可以作为可靠的存储介质。传统的消息队列系统。消息队列有一些不成文的规则，比如“不要在消息队列里保存消息”。传统的消息系统之所以不能用来保存消息，是因为：消息被读取后就会被删除伸缩性差缺乏健壮的复制机制（如果broker崩溃，数据也就丢失了) 实际上，Kafka并非传统意义上的消息队列，它与RabbitMQ等消息系统并不一样。它更像是一个分布式的文件系统或数
掌握Kafka的分区策略掌握kafka文件的存储机制（★★★★★）掌握kafka高效文件读写速度（★★★★★）掌握kafka整合flume（★★★★★）了解kafka监控工具的使用1. kafka分区策略kafka的分区策略决定了producer生产者产生的一条消息最后会写入到topic的哪一个分区中1、指定具体的分区号//1、给定具体的分区号，数据就会写入到指定的分区中
producer.sen
转载
2024-06-27 08:55:04
107阅读
kafkaTemplate.send( invoiceEtcTradeTopic, jsonMsg ).addCallback(new Listen..
原创
2022-04-29 22:47:01
298阅读
1.测试工具官方自带工具kafka-consumer-perf-test.shkafka-producer-perf-test.sh 2.环境准备连接线上集群：broker节点数大于6，版本2.2.1这里主要是分享流程，服务器配置以及集群情况不一样测试数据也会不一样，所以就不贴服务器配置了。提前创建topicpressure_test_p1：1个分区pressure_test_p6：6个
1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何编写KafkaJava程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafka consumer是否可以消费指定分区消息？8.Kafka消息是采用P...
原创
2023-05-08 19:31:46
54阅读
事情的起因是专员在 ze app 上查不到订单了，而订单数据是从 mysql 的 order_search_info 查询的，order_search_inf
原创
2024-03-02 00:32:50
35阅读
1、Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由L
转载
2024-09-20 08:58:53
92阅读
一、线上问题：消息经常堆积起来，不能消费了，重启服务就能继续消费了。消息堆积可能原因如下：1. 生产速度大于消费速度，这样可以适当增加分区，增加consumer数量，提升消费TPS；2. consumer消费性能低，查一下是否有很重的消费逻辑（比如拿到消息后写HDFS或HBASE这种逻辑就挺重的），看看是否可以优化consumer TPS；3. 确保consumer端没有因为异常而导致消费hang
转载
2023-07-03 17:21:12
68阅读
一、什么是kafka？Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等。主要应用场景是：日志收集系统和消息系统。举个例子，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的
转载
2024-04-18 21:10:33
18阅读
一：如何防⽌消息丢失防⽌消息丢失就是为了：生产者生产的消息，希望消息能够被消费者消费到从两种角度解释：消息的生产者如何保证消息尽可能的百分之百发送到kafka消息的消费者如何尽可能的消费到这条消息解决方案： 3. 生产者方：ack是1或者-1/all可以防止消息丢失，如果要做到99.9999%，ack设成all，把min.insync.replicas配置成分区备份数 >设置为1，说明lea
转载
2024-03-19 02:58:47
32阅读
kafka常见问题及优化一、消息丢失：二、消息重复发送和重复消费三、消息乱序四、消息积压五、消息回溯六、延时队列七、kafka事务八、kafka高性能原因 一、消息丢失：发送端：acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。acks=1：
转载
2024-03-27 10:58:16
47阅读
kafka概述消息中间件对比特性ActiveMQRabbitMQRocketMQKafka开发语言javaerlangjavascala单机吞吐量万级万级10万级100万级时效性msusmsms级以内可用性高（主从）高（主从）非常高（分布式）非常高（分布式）功能特性成熟的产品、较全的文档、各种协议支持好并发能力强、性能好、延迟低MQ功能比较完善，扩展性佳只支持主要的MQ功能，主要应用于大数据领域消
转载
2024-04-28 22:43:25
39阅读
Kafka别再用zookeeper了 最近在学kafka在zookeeper的元数据解读，作为一个比小白稍微好一点但是，其实还是没啥经验的我，就老是遇到这种版本问题，总是被它所困扰。昨天早上，我高高兴兴地打开了
转载
2024-03-03 21:03:44
145阅读
NetworkClient 管理了客户端和服务端之间的网络通信，包括建立、发送客户端请求、读取客户端响应 在 Sender 线程中主要调用 NetworkClient 的几个方法，前两个属于准备阶段，第三个才会发送客户端请求ready()：从 RecordAccumulator 获取准备完毕的节点，并连接所有准备好的节点send()：为每个节点创建一个客户端请求后存储到节点对应的通道中poll()
转载
2024-04-23 21:30:48
121阅读
文章目录1. 消息有序性2. 发送端消息有序性2.1 Kafka如何保证单partition有序？2.2 client消息发送原理3. 接收端消息有序性参考 1. 消息有序性我们需要从2个方面看待消息有序性第一，发送端能否保证发送到服务器的消息是有序的第二，接收端能否有序的消费服务器中的数据发送端一般通过同步发送实现，即一次仅发送一条，等返回成功后，再发送下一条，接收端一般仅通过一个消费者参与消费
转载
2024-02-15 09:24:02
80阅读
背景：一个小应用，用celery下发任务，任务内容为kafka生产一些数据。 问题：使用confluent_kafka模块时，单独启用kafka可以正常生产消息，但是套上celery后，kafka就无法将新消息生产到topic队列中了。 解决：换了个pykafka模块，结果问题就没有了。 我很疑惑啊
转载
2017-09-14 13:47:00
487阅读
2评论
一、消息什么时候会丢失？1.异步导致消息丢失：kafka的producer默认是异步的方式，在调用send命令时，只是将消息放入一个缓存队列（RecordAccumulator），
同时后台IO线程会不断扫描此缓存队列，将消息封装成batch发送出去。
在这个过程中就会存在一个数据丢失的窗口：
如果在IO线程发送之前producer端挂掉，存放在缓存队列中的数据就会丢失。解决方法：既然异步存在数据
转载
2024-04-23 10:40:51
144阅读
1,kafka写入失败今天我司线上kafka消息代理出现错误日志，异常rebalance，而且平均间隔2到3分钟就会rebalance一次，分析日志发现比较严重。错误日志如下这里就涉及到问题是消费者在创建时会有一个属性max.poll.interval.ms， 该属性意思为kafka消费者在每一轮poll()调用之间的最大延迟,消费者在获取更多记录之前可以空闲的时间量的上限。如果此超时时间期满之前
转载
2024-03-17 21:32:30
441阅读
1、kafka集群中常见错误的解决方法：kafka.common.KafkaException: Should not set log end offset on partition 问题描述：kafka单台机器做集群操作是没有问题的，如果分布多台机器并且partitions或者备份的个数大于1都会报kafka.common.KafkaException: Should not set log e
转载
2024-03-27 15:33:54
132阅读
一、什么是 Rebalance分区的所有权从一个消费者转移到另一个消费者，这样的行为被称为重平衡（Rebalance）。Rebalance 实现了消费者群组的高可用性和伸缩性。消费者通过向被指派为群组协调器（Coordinator）的 broker 发送心跳来维持它们和群组的从属关系以及它们对分区的所有权。所谓协调者，在 Kafka 中对应的术语是 Coordinator，它专门为 Consume
转载
2024-03-03 21:04:15
68阅读
