我们在《360度测试：KAFKA会丢数据么？其高可用是否满足需求？》这篇文章中，详细说明了KAFKA是否适合用在业务系统中。但有些朋友，还不知道KAFKA为何物，以及它为何存在。这在工作和面试中是比较吃亏的，因为不知道什么时候起，KAFKA似乎成了一种工程师的必备技能。一些观念的修正从 0.9 版本开始，Kafka 的标语已经从“一个高吞吐量，分布式的消息系统”改为”一个分布式流平台“。Kafka
转载
2024-06-20 06:44:00
36阅读
Kafka 阶段性总结一)业务场景中，我们会碰到哪些模型？1.1 场景一 ：我就注销了一个商户背景：商服 是一个维护商户基本信息的平台系统。场景：当商户进行了销户行为后，如果其他的业务部门进行感知到这个变化，商服需要怎么做？思考：最简单的办法，由业务部门提供接口，商服对接，并在处置完销户行为后，调用该接口。问题：业务部门对接一次，回头业务部门B也要感知到销户，再对接一次？业务部门今天要感
转载
2024-06-24 12:41:20
60阅读
背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数据处
Kafka 消息幂等性enable.idempotence=true。设置了这个参数后，Producer自动升级成幂等性Producer。 两个重要机制： 1、Producer Id，幂等性的生产者每个客户端都有一个唯一编号id。 2、sequence number，幂等性的生产者发送的每条消息都会带相应的sequence number，Server端就是根据这个值来判断数据是否重复。如果发现se
转载
2024-03-28 06:16:41
133阅读
一些观念的修正从 0.9 版本开始，Kafka 的标语已经从“一个高吞吐量，分布式的消息系统”改为"一个分布式流平台"。Kafka不仅仅是一个队列，而且是一个存储，有超强的堆积能力。Kafka不仅用在吞吐量高的大数据场景，也可以用在有事务要求的业务系统上，但性能较低。Kafka不是Topic越多越好，由于其设计原理，在数量达到阈值后，其性能和Topic数量成反比。引入了消息队列，就等于引入了异步，
转载
2024-07-03 21:48:11
181阅读
除了正常的消息发送和消费， 在使用Kafka的过程中难免会遇到一些其他高级应用类的需求， 比如消费回溯， 这个可以通过原生Kafka提供的KafkaConsumer.seek() 方法来实现， 然而类似延时队列、消息轨迹等应用需求在原生Kafka中就没有提供了。我们在使用其他消息中间件时， 比如Rabbit MQ，使用到了延时队列、消息轨迹的功能， 如果我们将应用直接切换到Kafka中， 那么只能
转载
2024-03-28 11:51:04
159阅读
消息格式消息由一个固定长度的头部和可变长度的字节数组组成。头部包含了一个版本号和CRC32校验码。 [plain] view plaincopyprint?1. /**
2. * 具有N个字节的消息的格式如下
3. *
4. * 如果版本号是0
5. *
6. * 1. 1个字节的 "magic" 标记
7. *
8. * 2. 4个字节的CRC32校验码
9. *
10. *
转载
2024-08-12 14:29:42
49阅读
一、简介1、简介简 介• Kafka是Linkedin于2010年12月份开源的消息系统• 一种分布式的、基于发布/订阅的消息系统2、特点– 消息持久化：通过O(1)的磁盘数据结构提供数据的持久化– 高吞吐量：每秒百万级的消息读写– 分布式：扩展能力强– 多客户端支持：java、php、python、c++ ……– 实时性：生产者生产的message立即被消费者可见3、基本组件• Broker：每
转载
2024-07-26 00:19:47
39阅读
Kafka的消费者consumer是通过遍历KafkaStream的迭代器ConsumerIterator来消费消息的，其数据来源是分配给给KafkaStream的阻塞消息队列BlockingQueue，而BlockingQueue中的消息数据来自于针对每个Broker Server的FetchThread线程。FetchThread线程会将Broker Server上的部分partition数据
转载
2024-03-18 11:33:43
33阅读
Apache Kafka早期的logo：Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for
high-performance data pipelines, streaming analytics, data integration, and
转载
2024-03-13 09:39:27
74阅读
kafka简介kafka是一个高吞吐量、分布式的发布—订阅消息系统。据kafka官网介绍，当前的kafka已经定位为一个分布式流式处理平台，它最初由LinkedIn公司开发，后来成为Apache项目的一部分。kafka核心模块使用Scala语言开发，支持多语言（java、c/c++、python、Go等）的客户端，它可以进行水平扩展和具有高吞吐量的特性基本结构kafka基本概念主题 一组消息的抽象
转载
2024-02-27 19:26:48
71阅读
kafka定义Apache kafka is a distributed streaming platform，即官方定义 kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。消息队列的特点模式这个模式主要是针对消费者来讲的，生产者是无模式概念说法的，生产者生产消息都是主动的。点对点 p
转载
2024-03-27 09:30:09
22阅读
概述 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息
转载
2024-03-21 08:48:57
26阅读
一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。 这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一
转载
2024-05-20 22:24:43
111阅读
一、为什么有消息系统 1、解耦合 2、异步处理 例如：电商平台，秒杀活动。一般流程会分为：1: 风险控制、2：库存锁定、3：生成订单、4：短信通知、5：更新数据 3、通过消息系统将秒杀活动业务拆分开，将不急
转载
2024-04-11 11:10:42
46阅读
Kafka-常用术语(消息、生产者、消费者、集群、broker解释)消息和批次kafka的数据单元被称为消息。类似于数据库表中的一行数据。消息由字节数组组成，所以对于kafka来说，消息里的数据没有特别的格式或含义。消息可以有一个可选的元数据，也就是键，键也是一个字节数组，当消息以一种可控的方式写入不同的分区时，会用到键。最简单的例子就是为键生成一个一致性散列值，然后使用散列值对主题分区数进行取模
转载
2024-04-10 15:31:24
36阅读
背景
Apache Kafka是一种高性能、分布式的消息队列系统，广泛应用于大规模数据处理、实时流处理、日志收集等场景。在Kafka中，消息的路由和选择策略对于系统的性能和可靠性至关重要。本文将深入探讨Kafka消息路由与消息选择策略的性能调优技巧。
Kafka消息路由
在Kafka中，消息的路由是通过Partition实现的。每个Topic可以被分为多个Partition，每个Partition
原创
2023-09-20 17:57:01
855阅读
简介Kafka作为最流行的消息队列，在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后，再使用其他的软件如ElasticSearch进行分析。Kafka Connect 是一个专门用于在Kafka 和其他数据系统直接进行数据搬运插件，如将Kafka数据写入到S3，数据库等。 Kafka Connect阿里云日志服务是一个日志采集，查询分析与可视化的平台，服务于阿里云上数十万用户。借助
转载
2024-02-20 10:50:04
131阅读
1.4.查看kafka找那个特定主题的详细信息1.5.修改主题的分区数(只能从小往大改)1.6.删除主题二、操作消息命令2.1.生产者向指定主题发送消息2.2.消费者监听指定消息(消费者每次启动都从主题中最开始的消息开始监听)2.3.消费者监听指定主题的消息(消费者每次启动都从最新的消息开始监听)三、消费者组操作命令3.1.创建一下消费者监听消息，并将该消费者放在名为testgroup消费者组下3
转载
2024-06-06 15:11:05
148阅读
除了正常的消息发送和消费，在使用 Kafka 的过程中难免会遇到一些其他高级应用类的需求，比如消费回溯，这个可以通过原生 Kafka 提供的 KafkaConsumer.seek() 方法来实现，然而类似延时队列、消息轨迹等应用需求在原生 Kafka 中就没有提供了。我们在使用其他消息中间件时，比如 RabbitMQ，使用到了延时队列、消息轨
转载
2024-04-27 21:43:49
149阅读
