顺序保证难点本文主要分析 CDC 业务场景中任务级顺序保证，技术选型为：debezium、kafka、flink，其构成了顺序保证中至关重要的每一环，应该充分考虑、分析各组件的对于顺序的支持。首先 debezium 作为采集组件，其分别为 schema topic 和 data topic 提供了不同的时间字段，如下图 schema topic 中提供了事件时间，data topic 中提供了事件
转载
2023-07-11 17:26:09
377阅读
1、反压产生的场景反压经常出现在促销、热门活动等场景。短时间内流量陡增造成数据的堆积或者消费速度变慢。它们有一个共同的特点：数据的消费速度小于数据的生产速度。2、反压危害Flink会因为数据堆积和处理速度变慢导致checkpoint超时，而checkpoint是Flink保证数据一致性的关键所在，最终会导致数据的不一致发生。3. 反压原因及定位数据倾斜：可以在 Flink 的后台管理页面
一、本文介绍了kafka的基础概念：topic、partition、broker、consumer、consumer group和producer。Topic 一个Topic代表了一类资源，一种事件。比如用户上传的数据可以是一个topic，系统产生的事件也可以是一个topicBroker 一个broker代表一个kafka实例，通常建议一台物理机配置一个kafka实例，因为配置多个磁盘的IO限制也
转载
2023-12-07 13:02:30
272阅读
1. kafka分区数据顺序性kafka具有分区内数据有序的特点，可以通过将数据指定到特定的分区来实现数据的顺序性。kafka分区逻辑代码如下：如果指定了分区号生产，则发送到指定分区；否则调用分区器计算方法partitioner.partition()private int partition(ProducerRecord<K, V> record, byte[] serialized
转载
2023-11-19 08:15:25
37阅读
# Flink消费Kafka数据到HBase
随着大数据技术的发展，Apache Flink、Apache Kafka 和 Apache HBase 已成为处理大规模数据流的重要框架。在这篇文章中，我们将探讨如何使用Flink从Kafka中消费数据，并将其写入HBase。这将包括代码示例、类图和饼状图，以便更好地理解整个过程。
## 一、架构概述
在我们的示例中，Flink将充当数据流处理的
原创
2024-10-14 03:29:45
179阅读
## Flink消费Kafka数据写入HBase
### 概述
在大数据处理领域，Flink是一个流处理框架，Kafka是一个高性能的分布式消息队列，HBase是一个分布式非关系型数据库。本文将介绍如何使用Flink消费Kafka数据，并将数据写入HBase的过程。我们将使用Java编程语言来实现这个过程。
### 准备工作
在开始之前，我们需要准备以下几个工具和环境：
- JDK（Ja
原创
2023-10-08 04:58:53
440阅读
本文是《Flink的DataSource三部曲》系列的第一篇，该系列旨在通过实战学习和了解Flink的DataSource，为以后的深入学习打好基础，由以下三部分组成：直接API：即本篇，除了准备环境和工程，还学习了StreamExecutionEnvironment提供的用来创建数据来的API；内置connector：StreamExecutionEnvironment的addSource方法，
转载
2024-03-29 10:19:19
59阅读
KafkaApache kafka 是一个分布式消息系统，能作为生产者消费者问题连接的框架。1. Kafka的特性 1）高吞吐/低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒 2）可扩展性：kafka集群支持热扩展 3）持久性/可靠性：消息被持久化到本地磁盘，并且支持数据备份 4）容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） 5）高并发：支持数千个客户端
转载
2024-02-03 13:56:10
60阅读
目录测试用sourceJDBCsource读取 Kafka数据常见的Source可以分为大概4类：1、基于本地集合的 source2、基于文件的 source3、基于网络套接字的 source4、自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也
转载
2024-04-23 06:44:54
74阅读
首先明确一点，RocketMQ 是基于发布订阅模型的消息中间件。所谓的发布订阅就是说，consumer 订阅了 broker 上的某个 topic，当 producer 发布消息到 broker 上的该 topic 时，consumer 就能收到该条消息。之前我们讲过 consumer group 的概念，即消费同一类消息的多个 consumer 实例组成一个消费者组，也可以称为一个 consum
转载
2024-06-27 09:02:54
199阅读
一、概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以 实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟 的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务 等等，用scala语言编写，Li
转载
2024-03-22 08:23:16
69阅读
当我们处理大规模数据流时，Apache Flink 提供了一种流处理方式，使得实时分析和处理数据变得更加简单和高效。在这个博文中，我将深度探讨如何使用 Flink 从 Kafka 消费数据，并将处理后的数据存储到 HBase 和 TiDB 中。在实施的过程中，我们面临了一些技术挑战，我将分享这一过程的每一个步骤，包括问题背景、错误现象、根因分析、解决方案和验证测试等。
### 问题背景
在日常业
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "localhost:9092");
// only required for Kafka 0.8
properties.setProperty("zookeeper.connect", "localhost:2181");
p
转载
2023-09-26 15:40:28
59阅读
一、Catalog定义 Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的二、Catalog在F
转载
2024-03-19 01:44:46
40阅读
Kafka 介绍官方网址采用生产者消费者模型,具有高性能（单节点支持上千个客户端，百兆/s吞吐量）、持久性（消息直接持久化在普通磁盘上且性能好)、分布式（数据副本冗余、流量负载均衡、可扩展）、灵活性（消息长时间持久化+Client维护消费状态）的特点Kafka优势解耦与缓冲: 例如使用SparkStream时,于flume采集后的数据传输,解决了大量数据导致SparkStream崩溃的问题,flu
转载
2024-06-05 14:09:50
145阅读
前言最近的工作主要是在向实时计算平台方向迁移，之前的实时计算任务都是用Flink DataStream API开发的，对于DBA或者分析人员来说，可能开发代码能难度太大，所以我们打算把API封装好做成Flink SQL对外提供服务。那么其中就要涉及到一些是社区不提供的某些功能，比如与业务紧密结合的自定义函数，比如一些Source和Sink的连接器。下面我就给大家讲一讲 如何基于Flink1.11.
转载
2023-08-09 10:04:26
165阅读
自定义flink-kafka-connector背景：消费特定开始和结束位置的kafka数据，需求是执行flink任务消费完特定位置数据后，任务自行停止。但批任务并不支持消费kafka数据，而流任务不会自行停止，因此需要自定义kafka连接器。flink1.14版本中，DataStream Connectors 有一个属性setBounded,可以设定消费的结束位置，但Table API目前并不支
转载
2023-10-27 16:36:53
320阅读
Flink 版本： 1.15.0问题在社区看到以下问题：请教个问题哈，sink 到 kafka，采用默认的分区器，是不是每个并行度都会与kafka的partition维护一个连接
比如 10 个并行度，3个 partition，那么维护的连接数总共为 10*3 个
？ 是的
还是一个taskManager建立一个生产者 一个生产者对应多个分区
一个taskManager里面多个slot共
转载
2024-02-21 14:12:26
35阅读
文章目录1 Kafka1.1 Kerberos安全模式的认证与环境准备1.2 创建一个测试主题1.3 消费主题的接收测试2 Flink1.1 Kerberos安全模式的认证与环境准备1.2 Flink任务的开发3 HDFS与Hive3.1 Shell脚本的编写思路3.2 脚本测试方法4 DolphinScheduler 该需求为实时接收对手Topic，并进行消费落盘至Hive。在具体的实施中，基
转载
2024-07-18 10:04:44
104阅读
Kafka介绍kafka背景一、 什么是kafka1.1 kafka基本术语1.2 kafka特性1.3 kafka使用场景1.4 kafka的topic为什么要分区？二、Kafka安装2.1 kafak启动2.2 kafka常见命令三、SpringBoot+Kafka3.1 依赖引入3.2 kafka配置3.3 生产者config3.4 消费者config3.5 注册topic并发送消息3.6
转载
2023-08-06 11:40:59
222阅读
