Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”大规模发布/订阅模式是生产者生产的消息可以多个消费者（订阅者）消费该消息，这里面又有两种模式：消费者主动拉取消息和消息主动推送。相对于大规模发布/订阅模式，还有点对点模式，
转载
2024-03-26 10:49:09
43阅读
一. 消息队列（一） 使用场景：这边就先不介绍消息队列的优劣，主要列了一下它的三种核心的场景。解耦异步削峰（二） 消费方式：点对点： Work Queue发布-订阅：Publish/Subscribe目前我们项目应用到的场景：目前我们使用RabbitMq，主要使用点对点的消费模式。削峰，异步：我们这些场景如果用 Kafka 该如何实现?二. Kafka（一） 简介官网的描述是这几句：Apache
转载
2023-11-01 21:10:15
131阅读
什么是发布-订阅模式发布—订阅模式又叫观察者模式，它定义对象间的一种一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都将得到通知。举个例子，售楼处卖房，那么售楼处要发布房型信息，那么它是发布者，中介关注房型，所以中介是订阅者，当售楼处发布消息之后或者房型信息更新之后，中介就会收到消息。紧接着他去通知客户。这么做的好处是：客户不用关心房型，不用和任何一家售楼处保持紧密的联系，只需要与
转载
2024-10-10 07:19:09
4阅读
1、什么是发布-订阅模式发布-订阅模式是属于经过解耦合的观察者模式。让多个订阅者对象同时监听某一个调度中心，这个调度中心观察到发布者发生变化的时候，会通知所有的订阅者。涉及的几个角色：订阅者：收到通知之后，可以更新自己调度中心：通知订阅者发布者：被调度中心监视比如说我们上淘宝买一样东西，但是价格有点贵，所以我们可以把它加入淘宝的降价通知功能中去，这样子，当商家降低该商品的价格的时候，我们就能够收到
转载
2024-03-31 17:06:11
51阅读
我们为什么要搭建该系统 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。 活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部分。活动数据包括页面访问量（pa
转载
2024-08-07 10:58:34
16阅读
目录一. KafKa概述1.1 什么是kfk1.2 消息队列的两种模式1.3 kfk的架构二. kfk入门2.1 安装部署kfk2.2 kfk的命令行操作2.2.1 命令行操作topic2.2.2 命令行测试生产者消费者2.2.3 kafka-topics.sh --describe 显示结果解释2.2.4 kfk常用命令2.3 kfk的日志和数据分目录存放三. kfk架构深入 一. KafKa
转载
2024-02-12 21:34:25
156阅读
文章目录Apache Kafka各组件概念总结Producer（生产者）Topic（主题）Partition（分区）Partition的副本数SegmentPartition的offsetkafka分区与消费组的关系ConsumerKafka工作流程图topic结构图至少看两遍那个视频的总结再来一遍，这14个都要背（1个1分）： Apache Kafka各组件概念总结开始之前先看两个架构图：下面
转载
2024-03-16 13:08:14
113阅读
发布-订阅消息系统在任何企业体系结构中都起着重要作用，因为它可以实现可靠的集成而无需紧密耦合应用程序。 在解耦的系统之间共享数据的能力并不是一个容易解决的问题。 考虑一个企业，其中具有使用不同语言和平台独立构建的多个应用程序。 它需要以响应方式共享数据和流程。 我们可以使用Messaging通过使用可自定义的格式频繁，立即，可靠且异步地传输数据包来实现此目的。 从根本上说，异步消息传递是对
转载
2024-08-03 13:48:35
38阅读
1. Kafka定义传统定义：kafka是一个分布式的基于发布/订阅模式的消息队列发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息最新定义：kafka是一个开源的分布式事件流平台，被多家公司用于高性能、流分析、数据集成和关键任务应用2. 传统消息队列应用场景缓存/消峰 有助于控制和优化数据流经系统的速度，解决生产者和消费者处理速度不
转载
2024-03-21 10:47:53
31阅读
发布消息通常有两种模式：consumers可以同时从服务端读取消息，每个消息只被其中一个consumer读到发布-订阅模式(publish-subscribe):消息被广播到所有的consumer中，但这里订阅者是个组而不是单个consumer。kafka消费消息机制：consumer group 内的一个 consumer 所消费，且 consumer 消费消息时不关注 offset，
转载
2023-08-27 21:49:35
0阅读
一.说到Kafka之前，我们首先了解消息系统（又称消息队列）是一个存放消息的容器，当我们需要使用消息的时候可以取出消息供自己使用，其主要有两种模式：队列模式（又称点对点模式）：多个消费者读取消息队列，每条消息只发送给一个消费者。发布/订阅模式：多个消费者订阅主题，主题的每条记录会发送给所有的消费者。 二.Apache Kafka是一个分布式的、基于发布/订阅的消息系统，其由Scala语言
转载
2024-03-19 02:13:07
56阅读
缘起有时当新增一个topic时，我们需要流处理任务能够动态感知新增的topic，这样我们可以有以下好处：（1）当新增topic时，我们不需要重启流数据处理任务。（2）可以对kafka中的数据进行分组，具有相同处理逻辑的数据放到具有相同模式（正则表达式）的topic中。这样，我们在处理时，就可以按组来编写处理任务的逻辑。spark对kafka动态感知的支持spark-3.x版本的structured
转载
2024-02-12 20:49:04
132阅读
1.kafka的概念kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。2.kafka消息队列的两种模式1.点对点模式(一对一，消费者主动拉取数据，消息接到后消息清除)2.发布/订阅模式(一对多又叫观察者模式，消费者消费数据之后不会清除消息但有一个过期时间，到了时间就删除，但ActiviMQ的话 只要消费完然后没有删除的话就一直在，像对数据处理有一定的严格要求就可以
转载
2023-12-15 07:18:04
61阅读
文章目录1、kafka当中的producer说明2、kafka当中的topic说明3、kafka当中的partition说明4、kafka当中partition的副本数说明5、kafka当中的segment说明6、kafka当中的partition的offset7、kafka分区与消费组的关系8、kafka当中的consumer 1、kafka当中的producer说明producer主要是用于
转载
2024-02-21 14:38:53
15阅读
Kafka介绍Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布，使用Scala和Java语言编写，与2010年12月份开源，成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。三大特点： 高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费。 持久性 有一套完善的消息存储机制，确保数据的高效安全的持久化——中间存储。
转载
2024-06-28 07:14:59
15阅读
apache kafka 如今，可扩展的发布/订阅消息传递实际上是Apache Kafka的同义词。 无论您要添加Apache Storm或Apache Spark之类的东西进行处理还是使用Apache Kafka本身提供的处理工具，Apache Kafka始终是分布式流应用程序的坚如磐石，开源，首选。 但是，卡夫卡并不是镇上唯一的游戏。 由Yahoo开发，现在是Apache Software
转载
2024-06-25 17:15:36
0阅读
Win10下kafka简单安装及使用—— MQ定义：是一个分布式的基于发布 / 订阅模式的消息队列，主要应用于大数据实时处理领域优点：解耦；削峰；缓冲（生产大于消费）；灵活性（分布式）两种模式：点对点模式（消费者主动拉取数据，消费者消费数据后清除消息）发布/订阅模式（一对多，消费者消费数据之后不会被清除） 队列自动推送；消费者主动拉取（kafka，需要不断去轮询队列）—— Kafka架构图基本概念
转载
2024-05-22 09:49:44
46阅读
kafka主要组件说明 kafka当中的producer说明producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面。 kafka当中的top
转载
2024-04-25 18:09:05
28阅读
公众号分类 1. 订阅号（个人）2 服务号（公司-工商营业执照、个体户-工商营业执照）3 企业号（公司-工商营业执照） 注册公众平台账号1 个人只能注册订阅号 ：https://mp.weixin.qq.com2 订阅号 服务号 企业号 三者能使用的功能不相同3 注册的账号需要跟微信号绑定（微信号需要绑定银行卡）https://mp.weixin.qq.com/c
Kafka消息队列的通信模式1.点对点模式（queue）消息生产者发送消息到queue中，然后消息消费者从queue中取出并消费消息；一条消息被消费以后，queue中就不存在了，不存在重复消费2.订阅/发布模式（topic）消息生产者（发布）将信息发布到topic中,同时有多个消费者（订阅）消费该消息；和点对点不同的是，发布到topic中的消息会被所有的订阅者消费；补充：发布订阅模式下，当发布信息
转载
2024-01-25 22:41:59
106阅读
