6.常见面试题1 什么是kafkaKafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。2 为什么要使用 kafka，为什么要使用消息队列缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的
转载
2024-08-07 09:01:35
1163阅读
Zookeeper常见面试题zookeeper是什么？ 它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、 集群管理、配置管理 等等。 zookeeper提供了什么？ 1、文件系统 2、通知机制 zoo
一、Spring Boot 相关（1）SpringBoot 面试专题什么是 Spring Boot？Spring Boot 有哪些优点？什么是 JavaConfig？如何重新加载 Spring Boot 上的更改，而无需重新启动服务器？Spring Boot 中的监视器是什么？如何在 Spring Boot 中禁用 Actuator 端点安全性？如何在自定义端口上运行 Spring Boot 应用
转载
2024-10-30 15:29:57
119阅读
大家好周末用了整整两天时间，整理了一下 Kafka 面试的连环问题，保证你看完后，对 Kafka 有了更深层次的了解。全文总结的 Kafka 题目之间的 关联性 很强，本文将通过 问答 + 图解 的形式 由浅入深 帮助大家进一步学习和理解 Kafka 分布式流式处理平台。全文总计 1.2 万字、28 个知识点。35 张原理、流程
转载
2024-03-05 17:10:22
52阅读
1，重复消费
2，消息丢失
3，性能
都是围绕offset，在哪里存，以什么粒度存，默认存储在自己的topic里面，一条数据消费完，存储offset，但是性能低，比较可靠，也可以批量消费，最后存储offset，但是不可靠，kafka有分区，在分区里面同一个key是有序的，不同的key是无序的交叉存储，可以把同一个key获取出来，放到单独的线程里面去计算，然后向数据库发起请求，但是假如有数据要回滚，
转载
2024-04-03 15:24:38
0阅读
今日的面试题：1.如何保证Kafka的消息有序Kafka对于消息的重复、丢失、错误以及顺序没有严格的要求。Kafka只能保证一个partition中的消息被某个consumer消费时是顺序的，事实上，从Topic角度来说，当有多个partition时，消息仍然不是全局有序的。2.kafka数据丢失问题,及如何保证1）数据丢失:acks=1的时候(只保证写入leader成功)，如果刚好leader挂
转载
2024-03-27 10:38:04
13阅读
文章目录一.kafka和传统消息队列区别二.kafka的应用场景三.kafka在高并发的情况下,如何避免消息丢失和消息重复1.消息丢失解决方案2.消息重复解决方案四. kafka到sparkstreaming怎么保证数据完整性,怎么保证数据不重复消费?五.kafka的消费者高阶和低阶API区别1.The high-level Consumer API2.The SimpleConsumer AP
转自：https://www.cnblogs.com/threecha/p/13737421.html从以下
转载
2021-06-13 22:40:07
129阅读
1.什么是消息中间件消息中间件是基于队列与消息传递技术，在网络环境中为应用系统提供同步或异步、
原创
2022-05-26 01:27:28
207阅读
1、Kafka 是什么 Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用Scala 语言编写，目前是 Apache 的开源项目。 broker： Kafka 服务器，负责消息存储和转发 topic：消
转载
2021-06-04 18:50:41
139阅读
内容很长，先来个目录一览无余吧～//================kafka其他================//问题1：什么是Apache Kafka? 问题2：Kafka中有哪几个组件?问题16：启动Kafka服务器的过程是什么？ 问题27：解释多租户是什么？ 问题35：解释术语“Log Anatomy” 问题36：Kafka中的数据日志是什么？ 问题39：列出所有Apache Kafka
转载
2024-08-28 22:30:23
511阅读
目录1、kafka的消费者是pull(拉)还是push(推)模式，这种模式有什么好处？2、kafka维护消息状态的跟踪方法3、zookeeper对于kafka的作用是什么?4、kafka判断一个节点还活着的有那两个条件？5、讲一讲 kafka 的 ack 的三种机制6、kafka 分布式（不是单机）的情况下，如何保证消息的顺序消费?7、kafka 如何不消费重复数据？比如扣款，我们不能重复的扣。8
转载
2024-05-21 16:05:41
678阅读
1 Kafka架构根据数据量和峰值速度进行一个压测，部署了三台（250g/s2/100+1），2个副本（常规下），给了kafka1T的资源(100g23天/0.7)，日常数据量（60-70G），每个topic有3-10个分区(100/20=5)，默认每个topic是5个分区，当然不同的分区有不同的分区数， 组件有生产者、Broker、消费者、ZK； 注意：Zookeeper中保存Broker id
转载
2024-04-25 20:49:06
14阅读
1、如何获取topic主题的列表 bin/ka fka-topics.sh —list —zookeeper localhost：21812、 生产者和消费者的命令行是什么？ 生产者在主题E发布航bin/kafka-console-producer.sh -broker-list 192.168.43.49:9092 --topicHello-Kafka 注意这里的IP是server.proper
转载
2024-05-22 10:22:16
95阅读
这篇主要实现发送数据到后台功能，后台发送数据功能见下一篇文章，kafka服务的搭建详见另一篇文章。kafka服务ip为192.168.1.140，端口port为默认9092。上一篇基本GUI界面已实现，现在开始书写监听代码。还是类KafkaMainGUI，先写几个方法，获取前台参数，校验前台参数获取前台参数// get base set
private BaseMsg getBaseMsg()
转载
2024-07-10 12:28:16
10阅读
面试题1. Kafka 如何保证消息的消费顺序？2. Kafka 如何保证消息不丢失2.1 生产者丢失消息的情况2.1.0 生产者弄丢消息场景2.1.1 不要使用 producer.send(msg)，而要使用 producer.send(msg, callback)。2.1.2 参数(acks ，retries，retry.backoff.ms)2.1.42.2 Kafka 弄丢了消息2.2.
转载
2024-04-20 10:56:50
40阅读
1.什么是kafka？？答： kafka是分布式 · 订阅消息系统，最初由LinkedIn公司开发的，后来被Apache公司收购。kafka是一个分布式、可划分的、冗余备份机制的持久性的日志服务，主要用于流数据2.为什么要使用kafka？？答：a.多个生产者 b.多个消费者 c.基于磁盘的数据存储 d.伸缩性 e.高性能3.Kafka为什么要使用消息队列？？答：A.缓冲和消峰：例：上游突发流量，下
转载
2024-04-08 11:56:58
266阅读
目录1、Kafka 都有哪些特点？2、请简述下你在哪些场景下会选择 Kafka？3、Kafka 的设计架构你知道吗？4、Kafka分区的目的？5、你知道 Kafka 是如何做到消息的有序性？6、Kafka 的高可靠性是怎么实现的？7、Kafka 数据一致性原理8、ISR、OSR、AR 是什么？9、LEO、HW、LSO、LW等分别代表什么10、Kafka 在什么情况下会出现消息丢失？11、怎么尽可能
转载
2024-05-22 10:15:50
93阅读
1 Kafka主题中的分区数越多越好？Partition的数量并不是越多越好，Partition的数量越多，平均到每一个Broker上的数量也就越多。考虑到Broker宕机(Network Failure, Full GC)的情况下，需要由Controller来为所有宕机的Broker上的所有Partition重新选举Leader，假设每个Partition的选举消耗10ms，如果Broker上有
转载
2024-05-06 12:15:20
20阅读
下载链接：全部面试题及答案PDF
1. kafka 可以脱离 zookeeper 单独使用吗？为什么？
kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。2. kafka 有几种数据保留的策略？
kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。3. kafka 同时设置了 7 天和 10G
转载
2024-03-22 10:24:29
320阅读
