Kafka提供了两种Consumer API，分别是：High Level Consumer API 和 Lower Level Consumer API(Simple Consumer API)High Level Consumer API：高度抽象的Kafka消费者API；将底层具体获取数据、更新offset、设置偏移量等操作屏蔽掉，直接将操作数据流的处理工作提供
转载
2023-08-26 23:51:15
38阅读
kafka简介：Kafka 属于分布式的消息引擎系统，它的主要功能是提供一套完备的消息发布与订阅解决方案。kafka相关术语：topic：发布订阅的对象就是topic,可以为每个业务、每个应用甚至是每类数据都创建专属的主题Partitioning：分区（Kafka 中的分区机制指的是将每个主题划分成多个分区（Partition），每个分区是一组有序的消息日志。生产者生产的每条消息只会被发送到一个分
转载
2024-01-30 19:06:09
35阅读
文章目录kafka分区分配策略分区分配策略代码测试 kafka分区分配策略分区分配策略默认是range strategy策略Kafka从0.11.x版本开始有3种方式：RangeAssignor、RoundRobinAssignor、StickyAssignor（之前是前2种）3种策略解释1.RangeAssignor：假设n=分区数/消费者数量，m=分区数%消费者数量，那么前m个消费者每个分配
转载
2024-05-31 16:18:06
26阅读
Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量
转载
2024-04-18 18:55:50
94阅读
一、简介 Apache Kafka 是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【Message Queue】）。流处理平台有以下3个特性：可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录，并且有较好的容错性。可以在流式记录产生时就进行处理。1.1 消息队列的两种模式1.1.1 点对点模式生产者将消息发送到queue中，然后消费者
摘要kafka主要由Scala和Java编写，broker启动后可以直接用jps -l查看到是kafka进程。kafka是一种高吞吐量的分布式发布订阅消息系统，组件参数都比较多。总体组件kafka的组件主要有：Kafka Cluster(zookeeper和kafka broker组成)、Producer、Consumer、Connector、Stream，总体架构图如下： Kaf
转载
2024-03-04 21:14:55
36阅读
前段时间接到用户要求，调整某个主题在 Kafka 集群消息大小为 4M。根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max.message.bytes 的大小为 4M。以上是针对 Kafka 2.2.x 版本的设置，需要注意的是，在某些旧版本当中，还需要调整相关关联参数，比如 rep
转载
2024-08-06 21:06:06
188阅读
001、kafka简介kafka消息队列有两种消费模式，分别是点对点模式和订阅/发布模式。具体比较可以参考Kafka基础–消息队列与消费模式。下图是一个点对点的Kafka结构示意图producer：消息生产者consumer：消息消费者Topic：消息主题partition：主题内分区Brokers：消息服务器Groups：消费者组002、关于TopicKafka需要对消息进行逻辑上的分类(而to
转载
2024-03-06 17:45:56
58阅读
前言
最近在学习Flink 读写 Kafka， 突然想到如果 Flink 生产消息到Kafka，那么这条消息如何确定发往那个分区。顺便也回顾下 Kafka 本身一个默认分区策略和生产策略这里整理并记录下。
Flink 1.15
Kafka 2.7
一、KafkaSink
FlinkKafkaProducer 已在 Flink 1.15 中
转载
2024-03-18 00:02:11
83阅读
1.背景介绍1. 背景介绍消息队列是一种在分布式系统中实现解耦的一种方式，它允许不同的系统或服务通过异步的方式传递消息。在现代分布式系统中，消息队列是非常重要的组件，它可以帮助我们实现高可用、高性能和高扩展性。Go语言是一种现代的编程语言，它具有简洁的语法、高性能和易于扩展的特点。在Go语言中，我们可以使用消息队列来实现分布式系统的各种功能，如异步处理、负载均衡、流量控制等。在本文中，我们将会讨论
转载
2024-10-17 11:21:30
69阅读
Kafka是什么？KafKa是一个高吞吐量、分布式的发布——订阅消息系统。据KafKa官网介绍，当前的KafKa已经定位为一个分布式流式处理平台（a distributed streaming platform），它以可水平扩展和具有高吞吐量等特性而著称。越来越多的开源分布式处理系统（Flume、Apache Storm 、Spark、Flink等）支持与KafKa集成。1.Kafka简介1.Ka
转载
2024-04-30 20:29:44
145阅读
一、Kafka概述1.1 kafka是什么 在流式计算中，Kafka一般用于缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala编写而成，是由Apache软件基金会开发的一个开源消息系统项目；
转载
2024-04-30 21:50:08
233阅读
一、分布式事务的本质本质上要解决,逻辑上是一个事务,但是代码又是在两个进程里面实现,spring的事务管理不能跨进程的问题。
那么就需要用第三方介质记录当前这个分布式事务逻辑的状态,一般用数据库或redis缓存记录。二、kafka+本地消息表实现的关键点生产者:生产者本地业务逻辑执行完成之后,往数据库插入一条待发送的数据(在一个事务内,要么全部成功,要么全部失败)
然后从数据库去取这条待发送的数
转载
2024-04-23 13:18:27
57阅读
kafka---介绍kafkakafka学习流处理消息系统 Kafka是一种分布式的消息系统。本文基于0.9.0版本，新版kafka加入了流处理组件kafka stream，最新的官方文档又自称分布式流处理平台。概念BrokerKafka的节点。kafka集群包含一个或多个brokerProducer消息的生产者。负责发布消息到Kafka brokerConsumer消息的消费者。每个c
转载
2024-05-22 09:32:29
157阅读
Kafka术语Broker：Kafka 集群包含一个或多个服务器，这种服务器被称为 broker 。Topic：每条发布到 Kafka 集群的消息都有一个类别，这个类别被称为 Topic。（物理上不同 Topic 的消息分开存储，逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上，但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处）。Partition：
转载
2024-02-08 22:11:10
29阅读
Kakfa在大数据消息引擎领域，绝对是没有争议的国民老公。本文盘点了 Kafka 的各种术语并且进行解读，术语可能比较枯燥，但真的是精髓中的精髓！了解Kafka之前我们必须先掌握它的相关概念和术语，这对于后面深入学习 Kafka 各种功能将大有裨益。所以，枯燥你也得给我看完！大概是有这么些东西要掌握，不多不多，预计20分钟可以吃透： 主题层主题层有三个儿子，分别叫做:Topic、Par
转载
2024-03-20 10:14:06
78阅读
一 Kafka概述1.1 Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提
转载
2024-08-07 08:28:35
9阅读
Kafka基本概念1、主题Kafka将一组消息抽象归纳为主题（Topic），也就是说，一个主题就是对消息的一个分类。生产者将消息发送到特定主题，消费者订阅主题或主题的某些分区进行消费。2、消息消息是Kafka通信的基本单位，由一个固定长度的消息头和一个可变长度的消息体构成。在老版中，每一条消息称为Message；在由Java重新实现的客户端中，每一条消息称为Record。3、分区和副本Kafka
转载
2024-04-09 21:26:45
91阅读
一、kafka简介Kafka最初由Linkedin公司开发，是一个分布式的、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常用于web/nginx日志、访问日志、消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。二、kafka的特性高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒；可扩
转载
2024-03-20 14:05:29
35阅读
复制-Kafka 的核心 复制功能是 Kafka 架构的核心。在 Kafka 的文档里, Kafka 把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。复制之所以这么关键, 是因为它可以在个别节点失效时仍能保证 Kafka 的可用性和持久性。 Kafka 使用主题来组织数据, 每个主题被分为若干个分区,每个分区有多个副本。那些副本被保存在 broker 上, 每个 broker 可以保存成百上千个属于 不同主题和分区的副本。...
原创
2021-06-03 13:46:27
639阅读
