Kafka官网：Apache KafkaKafka作用：削峰，蓄水池，离线处理（例：日志数据采集：flume->kafka->hdfs），实时处理（例：数据传输到kafka->对接flink、sparkstreaming）顺序保证： Kafka可以保证同一个分区里的消息是有序的。考虑一种情况，如果retries为非零整数，同时max.in.flight.requests.per.
转载
2024-03-21 08:49:13
0阅读
数据传输的事务定义通常有以下三种级别：最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输。最少一次: 消息不会被漏发送，最少被传输一次，但也有可能被重复传输.精确的一次（Exactly once）: 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次，这是大家所期望的。当发布消息时，Kafka有一个“com
# 了解Spark Kafka消费者组
在大数据处理中，Apache Spark 是一个流行的分布式计算框架，而 Apache Kafka 则是一个分布式流处理平台。在实际应用中，很多时候需要将 Spark 和 Kafka 结合起来使用，以实现实时数据处理和分析。
在 Spark 中使用 Kafka 作为数据源，可以通过消费者组（Consumer Group）的概念来实现数据的并行消费和负载均
原创
2024-03-12 05:28:03
35阅读
# Java 如何创建 Kafka 消费者
Apache Kafka 是一个分布式流平台，广泛应用于实时数据处理和流数据集成。在许多现代应用中，Kafka 作为消息队列的功能被频繁使用。在这一篇文章中，我们将重点讨论如何在 Java 中创建一个 Kafka 消费者，并解决一个实际问题——如何消费 Kafka 中的消息。
## 项目设置
首先，您需要将 Kafka 客户端库加入到您的 Java
Kafka ,是一个分布式、支持分区的(partition)、多副本的(replica),高吞吐量的基于zookeeper协调的分布式消息系统 应用场景： 1)构建实时的流数据管道，可靠地获取系统和应用程序之间的数据。 2)构建实时流的应用程序，对数据流进行转换或反应。kafka四个核心 &nbs
转载
2024-05-22 09:38:54
74阅读
本文是《Flink的DataSource三部曲》系列的第一篇，该系列旨在通过实战学习和了解Flink的DataSource，为以后的深入学习打好基础，由以下三部分组成：直接API：即本篇，除了准备环境和工程，还学习了StreamExecutionEnvironment提供的用来创建数据来的API；内置connector：StreamExecutionEnvironment的addSource方法，
转载
2024-03-29 10:19:19
59阅读
一、Catalog定义 Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的二、Catalog在F
转载
2024-03-19 01:44:46
40阅读
Kafka 介绍官方网址采用生产者消费者模型,具有高性能（单节点支持上千个客户端，百兆/s吞吐量）、持久性（消息直接持久化在普通磁盘上且性能好)、分布式（数据副本冗余、流量负载均衡、可扩展）、灵活性（消息长时间持久化+Client维护消费状态）的特点Kafka优势解耦与缓冲: 例如使用SparkStream时,于flume采集后的数据传输,解决了大量数据导致SparkStream崩溃的问题,flu
转载
2024-06-05 14:09:50
145阅读
一、概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以 实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟 的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务 等等，用scala语言编写，Li
转载
2024-03-22 08:23:16
69阅读
首先明确一点，RocketMQ 是基于发布订阅模型的消息中间件。所谓的发布订阅就是说，consumer 订阅了 broker 上的某个 topic，当 producer 发布消息到 broker 上的该 topic 时，consumer 就能收到该条消息。之前我们讲过 consumer group 的概念，即消费同一类消息的多个 consumer 实例组成一个消费者组，也可以称为一个 consum
转载
2024-06-27 09:02:54
199阅读
1、概念入门1.1、消费者、消费组消费者从订阅的主题消费消息，消费消息的偏移量保存在Kafka的名字是__consumer_offsets 的主题中。消费者还可以将自己的偏移量存储到Zookeeper，需要设置offset.storage=zookeeper。推荐使用Kafka存储消费者的偏移量。因为Zookeeper不适合高并发。多个从同一个主题消费的消费者可以加入到一个消费组中。
消费组
转载
2023-08-22 21:58:38
108阅读
目录测试用sourceJDBCsource读取 Kafka数据常见的Source可以分为大概4类：1、基于本地集合的 source2、基于文件的 source3、基于网络套接字的 source4、自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也
转载
2024-04-23 06:44:54
74阅读
KafkaApache kafka 是一个分布式消息系统，能作为生产者消费者问题连接的框架。1. Kafka的特性 1）高吞吐/低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒 2）可扩展性：kafka集群支持热扩展 3）持久性/可靠性：消息被持久化到本地磁盘，并且支持数据备份 4）容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） 5）高并发：支持数千个客户端
转载
2024-02-03 13:56:10
60阅读
Flink 版本： 1.15.0问题在社区看到以下问题：请教个问题哈，sink 到 kafka，采用默认的分区器，是不是每个并行度都会与kafka的partition维护一个连接
比如 10 个并行度，3个 partition，那么维护的连接数总共为 10*3 个
？ 是的
还是一个taskManager建立一个生产者 一个生产者对应多个分区
一个taskManager里面多个slot共
转载
2024-02-21 14:12:26
35阅读
自定义flink-kafka-connector背景：消费特定开始和结束位置的kafka数据，需求是执行flink任务消费完特定位置数据后，任务自行停止。但批任务并不支持消费kafka数据，而流任务不会自行停止，因此需要自定义kafka连接器。flink1.14版本中，DataStream Connectors 有一个属性setBounded,可以设定消费的结束位置，但Table API目前并不支
转载
2023-10-27 16:36:53
320阅读
Flink是一个开源流处理框架，注意它是一个处理计算框架，类似Spark框架，Flink在数据摄取方面非常准确，在保持状态的同时能轻松地从故障中恢复。Flink内置引擎是一个分布式流数据流引擎，支持 流处理和批处理 ，支持和使用现有存储和部署基础架构的能力，它支持多个特定于域的库，如用于机器学习的FLinkML、用于图形分析的Gelly、用于复杂事件处理的SQL和FlinkC
转载
2024-08-07 09:54:33
86阅读
简介阿里巴巴基于Java语言开发的分布式消息中间件。RocketMQ是Mateq3.0之后的开源版本。Metaq最早源于Kafka，早期借鉴了Kafka很多优秀的设计。RocketMQ的使用场景应用解耦：系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验
转载
2024-06-09 19:12:17
145阅读
Flink对接KafKa消费分词统计Demo1. 环境准备环境需要：KafKa_2.12(1.0.0以上)Java_1.8(java 8/11)Flink1.1 KafKa通过Apache KafKa官网下载KafKa，目前版本最新为KafKa_2.12-2.60，KafKa安装包内已包含Zookeeper下载完成后在本地解压可以看到文件夹KafKa_2.12-2.60 KafKa目录
转载
2024-03-27 16:31:15
267阅读
顺序保证难点本文主要分析 CDC 业务场景中任务级顺序保证，技术选型为：debezium、kafka、flink，其构成了顺序保证中至关重要的每一环，应该充分考虑、分析各组件的对于顺序的支持。首先 debezium 作为采集组件，其分别为 schema topic 和 data topic 提供了不同的时间字段，如下图 schema topic 中提供了事件时间，data topic 中提供了事件
转载
2023-07-11 17:26:09
377阅读
Kafka介绍kafka背景一、 什么是kafka1.1 kafka基本术语1.2 kafka特性1.3 kafka使用场景1.4 kafka的topic为什么要分区？二、Kafka安装2.1 kafak启动2.2 kafka常见命令三、SpringBoot+Kafka3.1 依赖引入3.2 kafka配置3.3 生产者config3.4 消费者config3.5 注册topic并发送消息3.6
转载
2023-08-06 11:40:59
225阅读
