一、简介 Kafka是一款开源的、轻量级的、分布式、可分区和具有复制备份的（Replicated）、基于ZooKeeper协调管理的分布式流平台的功能强大的发布—订阅消息系统。据Kafka官方网站介绍，当前的Kafka已经定位为一个分布式流式处理平台（a distributed streaming platform），它最初由LinkedIn公司开发，后来成为Apache项目的一部分。 作为一
转载
2024-04-09 10:53:23
51阅读
broker物理机器，一个broker管多个partitiontopic：一个topic可以由多个partitionpartiti
原创
2017-09-20 20:49:14
79阅读
发布-订阅模型:kafka消息模型发布-订阅模型主要是为了解决队列模型存在的问题。发布订阅模型（Pub-sub）使用主题（topic）作为消息通信载体，类似于广播模式；发布者发布一条消息，该消息通过主题传递给所有的订阅者，在一条消息广播之后才订阅的用户则是收不到该条消息的。在发布-订阅模型中，如果一个订阅者，那它和队列模型就基本是一样的。所以说，发布-订阅模型在功能层面上是可以兼容队列模型的。Ka
原创
2022-12-02 14:15:51
159阅读
概念Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中所有动作流数据。即Kafka是一个分布式的、可分区的、可复制的消息系统。Kafka将消息以topic为单位进行归纳 将向Kafka topic发布消息的程序为priducers. 将预定topic并消费信息的程序称为consumer. Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker. p
转载
2024-04-15 11:06:34
44阅读
kafka官方介绍是分布式的流处理平台，理解上比较难。先简单理解为一种分布式的支持发布订阅的高可用消息队列 kafka通过topic(主题) 对数据分类，每条记录包含：一个key，一个value，一个时间戳 核心概念：一串流的记录topic，一个topic可以有一个或者多个消费者来订阅 topic数
原创
2021-09-24 13:00:48
258阅读
精品推荐国内稀缺优秀Java全栈课程-Vue+SpringBoot通讯录系统全新发布!Docker快速手上视
转载
2021-07-27 15:10:27
213阅读
参考 https://www.jianshu.com/p/a036405f989c zk与kafka的基本交互关系 1，kafaka集群的 broker，和 Consumer 都需要连接 Zookeeper。Producer 直接连接 Broker。 2，Producer 把数据上传到 Broker ...
转载
2021-09-26 19:06:00
136阅读
2评论
1 消息系统简介1.1 为什么要用消息系统 ？解耦 各位系统之间通过消息系统这个统一的接口交换数据，无须了解彼此的存在；冗余 部分消息系统具有消息持久化能力，可规避消息处理前丢失的风险；灵活性和消除峰值 在访问量剧增的情况下，应用仍然需要继续发挥作用，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃；（节省资源）可恢复性 系统中部分组件失效并不会影响整个系统，它
转载
2021-03-27 23:43:11
267阅读
为什么需要消息系统：由于消息发送者不需要等待消息接收者处理数据就可以返回，系统具有更好的响应延时，同时，在网站访问高峰，消息可以暂时存储在消息队列中等待消息接收者根据自己负载处理能力控制消息处理速度，减轻数据库等后端存储的负载压力1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。
原创
2017-07-19 11:18:09
1252阅读
【0】kafka基础概念 【0.1】总体脑图 【1】角色 （1.0）角色详细架构图 （1.1）topic 主题 就是一个主题，某一类的数据都往里面放； 换算成数据库来表达： 简单来说就是 mysql 建了个库名，你往库里放什么随便，不管你建什么表、用什么引擎； 以topic 为一个容器单位； （1. ...
转载
2021-09-02 15:57:00
144阅读
2评论
Broker一台kafka服务器就是一个broker。一个集群由多个broker组成。Kafka集群包含一个或多个服务器，这种服务器被称为broker。bro
原创
2022-07-04 11:44:13
94阅读
Broker 一台kafka服务器就是一个broker。一个集群由多个broker组成 Topic Topic 就是数据主题，kafka建议根据业务系统将不同的数据存放在不同的topic中！Kafka中的Topics总是多订阅者模式，一个topic可以拥有一个或者多个消费者来订阅它的数据。一个大的T
原创
2021-08-10 13:46:04
418阅读
文章目录一、简介（1）消息（2）`Topic` 主题（3）`Partition` 分区（4）`offset` 位移
原创
2022-10-21 16:15:43
49阅读
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...
原创
2021-06-04 18:59:34
103阅读
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并
转载
2018-01-25 17:11:00
249阅读
2评论
小知识，大挑战！本文正在参与「程序员必备小知识」创作活动 本文已参与 「掘力星计划」 ，赢取创作大礼包，挑战创作激励金。 Kafka 概述 特征 发布订阅基于消息队列 实时的方式对事件进行响应 分布式
原创
2022-04-12 15:37:20
182阅读
主题topic在kafka中是⼀个逻辑的概念，kafka通过topic将消息进⾏分类，不同的topic会被订阅该topic的消费者消费。不同的消费组订阅同⼀
原创
精选
2023-12-06 09:27:40
185阅读
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
原创
2022-02-17 15:43:59
58阅读
一、消费者与消费者组 消费者负责订阅 Kafka 中的主题，并且从上面拉取消息，但与生产者不同的是它增加了消费者组的概念，这是因为很多时候 Kafka 的消费者在消费消息的时候经常会做一些高延时的动作，比如把数据写到数据库，读取数据进行计算处理等，这就相对于 producer 慢的多了，因此消费者组 ...
转载
2021-08-24 21:29:00
373阅读
2评论
小知识，大挑战！本文正在参与「程序员必备小知识」创作活动 本文已参与 「掘力星计划」 ，赢取创作大礼包，挑战创作激励金。 Kafka 核心概念 生产者 (Producer) 生产者（Producer）
原创
2022-04-12 15:34:43
106阅读
