1、Kafka 都有哪些特点?高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。 •可扩展性:kafka集群支持热扩展 •持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失 •容错性:允许集群中节点失败(若副本数量为n,则允许n-1个
在热招的 Java 架构师岗位面试中,Kafka 面试题被面试官选中的几率非常大,也是 HR 的杀手锏和狠招,一般来讲,面试题有以下几种:Kafka 为什么这么快?如何对 Kafka 集群进行调优?Kafka 的高性能网络架构是如何设计的?Kafka 集群资源如何评估?大多数人遇到这样的问题,脑海中简单构思之后就快速给出了答案:Kafka 是基于磁盘顺序写的设计。将 Kafka 的副本因子调大,提
转载 2024-04-26 21:13:18
57阅读
下载链接:全部面试题及答案PDF 1. kafka 可以脱离 zookeeper 单独使用吗?为什么? kafka 不能脱离 zookeeper 单独使用,因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。2. kafka 有几种数据保留的策略? kafka 有两种数据保存策略:按照过期时间保留和按照存储的消息大小保留。3. kafka 同时设置了 7 天和 10G
转载 2024-03-22 10:24:29
320阅读
Kafka 是一个优秀的分布式消息中间件,许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天就从常见的 Kafka 面试题...
转载 2021-07-16 15:48:40
175阅读
  现如今,Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台,被越来越多的公司使用,Kafka可以被用于高性能的数据管道,流处理分析,数据集成等场景。本文分享总结了几个Kafka常见的面试问题,希望对你有所帮助。主要包括以下内容: Kafka是如何保障数据不丢失的? 如何解决Kafka数据丢失问题Kafka可以保障永久不丢失数据吗? 如何保障Kafka中的
转载 2021-06-12 22:39:39
152阅读
2评论
现如今,Kafka已不再是一个单纯的消息队列系统
转载 2022-12-11 22:15:51
249阅读
1、分区消费模型和组消费模型对比:分区消费模型更加灵活但是: (1)需要自己处理各种异常情况; (2)需要自己管理offset(以实现消息传递的其他语义); 组消费模型更加简单,但是不灵活: (1)不需要自己处理异常情况,不需要自己管理offset; (2)只能实现kafka默认的最少一次消息传递语义;两种生产模型对比: 1、同步生产模型: (1)低消息丢失率; (2)高消息重复率(由于网络原因,
大家好周末用了整整两天时间,整理了一下 Kafka 面试的连环问题,保证你看完后,对 Kafka 有了更深层次的了解。全文总结的 Kafka 题目之间的 关联性 很强,本文将通过 问答 + 图解 的形式 由浅入深 帮助大家进一步学习和理解 Kafka 分布式流式处理平台。全文总计 1.2 万字、28 个知识点。35 张原理、流程
转载 2024-03-05 17:10:22
52阅读
中间件面试专题:kafka高频面试问题
原创 2022-03-21 16:51:52
109阅读
今日的面试题:1.如何保证Kafka的消息有序Kafka对于消息的重复、丢失、错误以及顺序没有严格的要求。Kafka只能保证一个partition中的消息被某个consumer消费时是顺序的,事实上,从Topic角度来说,当有多个partition时,消息仍然不是全局有序的。2.kafka数据丢失问题,及如何保证1)数据丢失:acks=1的时候(只保证写入leader成功),如果刚好leader挂
转载 2024-03-27 10:38:04
13阅读
1,重复消费 2,消息丢失 3,性能 都是围绕offset,在哪里存,以什么粒度存,默认存储在自己的topic里面,一条数据消费完,存储offset,但是性能低,比较可靠,也可以批量消费,最后存储offset,但是不可靠,kafka有分区,在分区里面同一个key是有序的,不同的key是无序的交叉存储,可以把同一个key获取出来,放到单独的线程里面去计算,然后向数据库发起请求,但是假如有数据要回滚,
转载 2024-04-03 15:24:38
0阅读
6.常见面试题1 什么是kafkaKafka是分布式发布-订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。2 为什么要使用 kafka,为什么要使用消息队列缓冲和削峰:上游数据时有突发流量,下游可能扛不住,或者下游没有足够多的机器来保证冗余,kafka在中间可以起到一个缓冲的
转载 2024-08-07 09:01:35
1163阅读
KAFKA不是单纯的消息机制,也可以作为可靠的存储介质。传统的消息队列系统。消息队列有一些不成文的规则,比如“不要在消息队列里保存消息”。传统的消息系统之所以不能用来保存消息,是因为:消息被读取后就会被删除伸缩性差缺乏健壮的复制机制(如果broker崩溃,数据也就丢失了) 实际上,Kafka并非传统意义上的消息队列,它与RabbitMQ等消息系统并不一样。它更像是一个分布式的文件系统或数
文章目录一.kafka和传统消息队列区别二.kafka的应用场景三.kafka在高并发的情况下,如何避免消息丢失和消息重复1.消息丢失解决方案2.消息重复解决方案四. kafka到sparkstreaming怎么保证数据完整性,怎么保证数据不重复消费?五.kafka的消费者高阶和低阶API区别1.The high-level Consumer API2.The SimpleConsumer AP
转自:https://www.cnblogs.com/threecha/p/13737421.html从以下
转载 2021-06-13 22:40:07
129阅读
内容很长,先来个目录一览无余吧~//================kafka其他================//问题1:什么是Apache Kafka? 问题2:Kafka中有哪几个组件?问题16:启动Kafka服务器的过程是什么? 问题27:解释多租户是什么? 问题35:解释术语“Log Anatomy” 问题36:Kafka中的数据日志是什么? 问题39:列出所有Apache Kafka
转载 2024-08-28 22:30:23
511阅读
目录1、kafka的消费者是pull(拉)还是push(推)模式,这种模式有什么好处?2、kafka维护消息状态的跟踪方法3、zookeeper对于kafka的作用是什么?4、kafka判断一个节点还活着的有那两个条件?5、讲一讲 kafka 的 ack 的三种机制6、kafka 分布式(不是单机)的情况下,如何保证消息的顺序消费?7、kafka 如何不消费重复数据?比如扣款,我们不能重复的扣。8
转载 2024-05-21 16:05:41
678阅读
掌握Kafka的分区策略掌握kafka文件的存储机制(★★★★★)掌握kafka高效文件读写速度(★★★★★)掌握kafka整合flume(★★★★★)了解kafka监控工具的使用1. kafka分区策略kafka的分区策略决定了producer生产者产生的一条消息最后会写入到topic的哪一个分区中1、指定具体的分区号//1、给定具体的分区号,数据就会写入到指定的分区中 producer.sen
转载 2024-06-27 08:55:04
107阅读
1.什么是消息中间件消息中间件是基于队列与消息传递技术,在网络环境中为应用系统提供同步或异步、
原创 2022-05-26 01:27:28
207阅读
1、Kafka 是什么 Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统,最初由 LinkedIn 公司开发,使用Scala 语言编写,目前是 Apache 的开源项目。 broker: Kafka 服务器,负责消息存储和转发 topic:消
转载 2021-06-04 18:50:41
139阅读
  • 1
  • 2
  • 3
  • 4
  • 5