1、如何获取topic主题的列表 bin/ka fka-topics.sh —list —zookeeper localhost:21812、 生产者和消费者的命令行是什么? 生产者在主题E发布航bin/kafka-console-producer.sh -broker-list 192.168.43.49:9092 --topicHello-Kafka 注意这里的IP是server.proper
1.什么是kafka??答: kafka是分布式 · 订阅消息系统,最初由LinkedIn公司开发的,后来被Apache公司收购。kafka是一个分布式、可划分的、冗余备份机制的持久性的日志服务,主要用于流数据2.为什么要使用kafka??答:a.多个生产者 b.多个消费者 c.基于磁盘的数据存储 d.伸缩性 e.高性能3.Kafka为什么要使用消息队列??答:A.缓冲和消峰:例:上游突发流量,下
转载 4月前
89阅读
面试题1. Kafka 如何保证消息的消费顺序?2. Kafka 如何保证消息不丢失2.1 生产者丢失消息的情况2.1.0 生产者弄丢消息场景2.1.1 不要使用 producer.send(msg),而要使用 producer.send(msg, callback)。2.1.2 参数(acks ,retries,retry.backoff.ms)2.1.42.2 Kafka 弄丢了消息2.2.
1 Kafka主题中的分区数越多越好?Partition的数量并不是越多越好,Partition的数量越多,平均到每一个Broker上的数量也就越多。考虑到Broker宕机(Network Failure, Full GC)的情况下,需要由Controller来为所有宕机的Broker上的所有Partition重新选举Leader,假设每个Partition的选举消耗10ms,如果Broker上有
1 Kafka架构 生产者、Broker、消费者、ZK; 注意:Zookeeper中保存Broker id和消费者offsets等信息,但是没有生产者信息。 2 Kafka的机器数量 Kafka机器数量=2 *(峰值生产速度*副本数/100)+ 1 3 副本数设定 一般我们设置成2个或3个,很多企业 ...
转载 2021-07-22 17:19:00
256阅读
2评论
什么是kafka Kafka是分布式发布-订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。 2 为什么要使用 kafka,为什么要使用消息队列 缓冲和削峰:上游数据时有突发流量 ...
转载 2021-07-28 13:56:00
104阅读
2评论
Kafka常见面试题题库1.Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么?2.Kafka中的HW、LEO等分别代表什么?3.Kafka的用途有哪些?使用场景如何?4.Kafka中是怎么体现消息顺序性的?5.“消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?6. 有哪些情形会造成重复
1. Kafka中有哪几个主要组件?主题:kafka主体是一堆或一组消息生产者:在kafka,生产者发布通信以及向kafka主题发布消息何达成一致
原创 2022-10-13 10:07:44
167阅读
1、是什么确保了 Kafka 中服务器的负载平衡?2、消费者 API 的作用是什么?3、解释流 API 的作用?4、Kafka 为什么那么快?5、Kafka 系统
原创 11月前
49阅读
常见面试题①1、kafka中zookeeper中只存储Broker id和消费者offsets偏移量,但不存在生产者信息2、kafka压力测试一般都是IO先出现瓶颈3、kafka消息堆压,消费者无法处理怎么办① 通过增加Topic和消费者数量来解决② 通过增大每次的拉去数据量,生成速度远远大于拉取速度也会导致数据的堆压4、kafka过期数据的清理方式:① 策略一:delete删除策略② 策略二:c
1.Kafka中的ISR、AR代表什么?ISR:与leader保持同步的follower集合AR:分区的所有副本2.Kafka中的HW、LEO分别代表什么?LEO:每个副本的最后条消息的offsetHW:一个分区中所有副本最小的offset3.offset中是怎么体现消息顺序性的?每个分区内,每条消息都有一个offset,故只能保证分区内有序4.offset中的分区器、序列化器、拦截器是否了解?它
原创 2019-09-20 01:06:08
2838阅读
1点赞
Kafka简介和机制 kafka ISR是什么 所有与leader副本保持一定程度同步的副本(包括Leader)集合 kafka HW是什么 高水位,消费者所能看到的最大的offset(消费位置),同时也是不同副本的同步的最小offset kafka LEO是什么 每个分区中多个副本都有的最大的of ...
转载 2021-09-03 17:38:00
100阅读
2评论
Kafka是现在流行的消息中间件,在大数据开发面试中被问到的可能性非常大,下面放出一些kafka面试中,经常可能被问到的kaf
原创 2019-06-07 07:40:03
32阅读
1、​​Kafka​​ 都有哪些特点?高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。可扩展性:kafka集群支持热扩展持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失容错性:允许集群中节点失败(若副本数量为n,则允许n
原创 精选 2022-09-11 18:11:43
966阅读
6.常见面试题1 什么是kafkaKafka是分布式发布-订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。2 为什么要使用 kafka,为什么要使用消息队列缓冲和削峰:上游数据时有突发流量,下游可能扛不住,或者下游没有足够多的机器来保证冗余,kafka在中间可以起到一个缓冲的
第 7 章 Kafka 面试题7.1 面试问题Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么?Kafka 中的 HW、LEO 等分别代表什么?Kafka 中是怎么体现消息顺序性的?Kafka 中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?Kafka 生产者客户端的整体结构是什么样子的?使用了几...
原创 2022-03-04 10:05:10
75阅读
第 7 章 Kafka 面试题 7.1 面试问题 Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么? Kafka 中的 HW、LEO 等分别代表什么? Kafka 中是怎么体现消息顺序性的? Kafka 中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么? Kafka 生产者客户端的整体结构是什么样子的?使用了几
原创 2021-08-18 10:41:24
198阅读
1. 说说kafka:1.消息分类按不同类别,分成不同的Topic,Topic⼜拆分成多个partition,每个partition均衡分散到不同的服务器(提⾼并发访问的能⼒)。2.消费者按顺序从partition中读取,不⽀持随机读取数据,但可通过改变保存到zookeeper中的offset位置实现从任意位置开始读取。3.服务器消息定时清除(不管有没有消费)4.每个partition还可以设置备份到其他服务器上的个数以保证数据的可⽤性。通过Leader,Follower⽅式。5.zookeepe
原创 2022-03-21 17:35:39
240阅读
1 kafka是什么Apache Kafka是一款分布式流处理框架,用于实时构建流处理应用。它有一个核心的
原创 2021-08-02 13:51:25
457阅读
1. Kafka与其他MQ的区别 以时间复杂度O(1)的方式提供消息持久化的能力,即使对TB级以上的数据也能保证常数时间的访问; 高吞吐率,即使是在非常廉价的商用机器上也能做到单机每秒100K的消息传输; 分布式系统,生产者,broker及消费者都可以有多个,支持在线扩展。 支持离线数据处理和实时数 ...
转载 2021-07-23 15:23:00
111阅读
2评论
  • 1
  • 2
  • 3
  • 4
  • 5