做一个kafka的要点总结，官网或者博客都有大量资料目录基础术语副本机制Kafka数据备份Leader选举ISR集合方法少数服从多数方法如果所有的ISR副本都失败了怎么办Kafka数据commitISR配置宕机如何恢复少部分副本宕机全部副本宕机Zookeeper协调服务Zookeeper的watch机制Kafka分区策略RangeAssignor分区策略RoundRobinAssignor分区策略
转载
2024-08-10 09:20:04
130阅读
一、引言什么是消息？ 消息是系统间通信的载体，系统通讯（RPC）的介质，是分布式应用中不可或缺的一部分。 目前系统间发送消息的方式有两种： ①同步消息（即时消息），生产消费同时存在，必须建立会话； ②异步消息（离线消息），生产不关心消费，不必建立会话，消费者自行消费。不同消息使用场景 即时消息：打电话，表单提交，webservice(soap)，dubbo/springCloud 离线消息：发短息
转载
2024-07-04 16:34:14
59阅读
一、Kafka核心组件及工作方式 Producer ：消息生产者，就是向kafka broker发消息的客户端 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：消息主题 ConsumerGroup（CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个
转载
2024-02-14 19:32:04
401阅读
1. 关键名词1.1 Producer1.消息的生产者，向Kafka Broker发送消息的客户端1.2. Consumer1.消息的消费者，向Kafka Broker接受消息的客户端
2.Consumer Group: 单个或多个consumer可以组成一个consumer group；这是Kafka用来实现消息的广播（发送给所有的consumer）的单播（发给任意一个consumer）。一个
转载
2024-02-03 10:35:56
124阅读
1.Kafka 概述为什么需要消息队列:解耦. 冗余. 拓展性. 灵活性&峰值处理能力. 可恢复性. 顺序保证. 缓冲. 异步通信Kafka架构(1)Producer: 消息生产者, 向kafka broker 发消息的客户端 (2)Consumer: 消息消费者, 向kafka broker区小溪的客户端 (3)Topic: 可以理解为一个队列; (4)Consumer Group 是k
转载
2024-04-25 16:17:46
225阅读
kafka中consumer group 是什么概念？同样是逻辑上的概念，是Kafka实现单播和广播两种消息模型的手段。同一个topic的数据，会广播给不同的group；同一个group中的consumer实例，只有一个consumer实例能拿到这个数据。换句话说，对于同一个topic，每个group都可以拿到同样的所有数据，但是数据进入group后只能被其中的一个consumer实例消费。gro
转载
2024-04-26 11:00:55
301阅读
【关键原理】 1.消息文件存储（消息堆积能力） 2.消息topic分区 3.消息顺序的保证 4.拉模型（消费者水平扩展）【关键概念】 Producer ：消息生产者，就是向kafka broker发消息的客户端。 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：咱们可以理解为一个队列。Consumer Group （CG）：这是kafka用来实现一个topi
转载
2024-03-01 13:17:42
89阅读
目录1 Kafka1.1 定义1.1.1 Kafka名词1.1.2 Kafka核心API1.2 相关组件介绍1.2.1 Topic1.2.2 Partitions分区1.2.3 Topics主题 和 partitions分区1.2.4 Distribution分配1.2.5 Producers生产者 和 Consumers消费者1.2.5.1 Producers生产者1.2.5.2 Consume
转载
2024-03-01 15:36:58
905阅读
关于消息队列的使用一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。2.1
转载
2024-02-17 20:23:37
264阅读
文章目录kafka消息细节消息的储存单播消息多播消息两者区别 kafka消息细节 消息的储存 ⽣产者将消息发送给broker，broker会将消息保存在本地的⽇志⽂件中。消息的保存是有序的，通过offset偏移量来描述消息的有序性。消费者消费消息时也是通过offset来描述当前要消费的那条消息的位置。单播消息 在⼀个kafka的topic中，启动两个消费者，⼀个⽣产者，问：⽣产者发送消息，这条消
转载
2024-06-05 00:46:58
239阅读
kafka**Kafka是一个分布式消息队列。**Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为brokerKafka架构1）Producer ：消息生产者，就是向kafka broker发消息的客户端；2）Consumer ：消息消费者，向kafka broke
转载
2024-04-09 10:13:49
97阅读
1.这个记录的实例就是说，接了上一篇的代码修改，加了广播变量的东西。 我在mysql存的某个规则， 我启动sparkStreaming程序的时候使用broadcast广播出去，注意这个就仅执行一次的 然后吧在redis有这么一个kv作为标志，比如说flag=true，每次sparkStreaming程序程序处理数据用到规则之前，都要先到redis看一下
转载
2024-04-05 00:04:01
100阅读
在专题的上一章中，重点讲解了项目的改造背景、难点分析 在进入正篇之前，想简单说一下，之所以会如此的追本溯源的去记录：第一是因为：一个可以落地的解决方案的敲定，是综合项目各方面的原因得到的。没有完美的架构，只有刚好的架构；没有满足一切的架构，只有满足目标的架构。第二是因为想要通过这样的记录，让后面的同学能快速的理解：实践中并不需要沿用我的解决方案，只要能把思路打开，一定会找到更加适合你们项目的方式。
转载
2024-07-18 11:41:39
487阅读
1 kafka简介根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： (1)发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因。 (2)以容错的方式记录消息流，kafka以文件的方式来存储消息流。 (3)可以在消息发布的时候进行处理。使用场景: (1)在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能。 (2)构建实时
转载
2024-04-26 21:12:32
924阅读
一、入门
1、简介
设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统
概况及需求大型商场，设有休闲、购物、餐饮、超市等一站式服务。作为人流密集并且地区覆盖面广的公共场所，相对分散以致集中管理及发布临时通知复杂不方便，IP网络广播系统充分利用网络平台的优势为其集中统一管理提供了解决方案。该系统主要分为两部分：集团总部控制室及其各个连锁店广播中心。其中集团总部为主控中心，通过网络集中控制各个连锁店，以便及时发布重要通知及新品促销特卖等信息，各连锁店为分控中心
producer 是如何将某个topic的一条record发送到该topic对应的某个分区Partition上面去的？首先分析一个重要的消息载体 ConcurrentMap<TopicPartition, Deque<RecordBatch>> 的结构，它是一个Map(对HashMap进行了包装，HashMap不是线程安全的，而其包装类Cop
广播： 主机之间一对所有的通讯模式，网络对其中每一台主机发出的信号都进行无条件复制并转发，所有主机都可以接收到所有信息（不管你是否需要），由于其不用路径选择，所以其网络成本可以很低廉。有线电视网就是典型的广播型网络，我们的电视机实际上是接受到所有频道的信号，但只将一个频道的信号还原成画面。在数据网络中也允许广播的存在，但其被限制在二层交换机的局域网范围内，禁止广播数据穿过路由器，防止广播数据影响大
转载
2024-07-11 20:56:20
92阅读
正文2.3.1 max.poll.interval.ms：增大poll的间隔，可以为消费者提供更多的时间去处理返回的消息（调用poll(long)返回的消息，通常返回的消息都是一批）。缺点是此值越大将会延迟组重新平衡。max.poll.records：此设置限制每次调用poll返回的消息数，这样可以更容易的预测每次poll间隔要处理的最大值。通过调整此值，可以减少poll间隔，减少重新平衡分组的。
转载
2024-06-05 00:58:45
653阅读
文章目录Kafka中的关键细节1.消息的顺序存储2. 单播消息的实现3.多播消息的实现4.查看消费组及信息主题、分区的概念1.主题Topic2.partition分区 Kafka中的关键细节1.消息的顺序存储消息的发送方会把消息发送到broker中，broker会存储消息，消息是按照发送的顺序进行存储。因此消费者在消费消息时可以指明主题中消息的偏移量。默认情况下，是从最后一个消息的下一个偏移量开
转载
2024-03-27 10:30:46
348阅读
