项目简介是一个开源项目，旨在帮助开发者和数据工程师深入理解并掌握Apache Flink这一强大的实时流处理框架。该项目由Flink China社区维护，提供了一系列详细的教程和实战案例，涵盖了Flink的基础知识到高级特性，为用户提供了丰富的学习资源。技术分析Apache FlinkFlink是一个用于批处理和流处理的数据处理引擎，它支持低延迟、高性能和状态管理。其核心是DataStream A
代码地址：https://github.com/18113996630/flink-practice/blob/master/src/main/scala/com/hrong/flink/watermark/WaterMarkFunc02.scala视频讲解：flink迟到数据处理视频讲解waterMark和Window机制解决了流式数据的乱序问题，对于因为延迟而顺序有误的数据，可以根据event
转载
2024-04-23 16:48:13
207阅读
Flink对接KafKa消费分词统计Demo1. 环境准备环境需要：KafKa_2.12(1.0.0以上)Java_1.8(java 8/11)Flink1.1 KafKa通过Apache KafKa官网下载KafKa，目前版本最新为KafKa_2.12-2.60，KafKa安装包内已包含Zookeeper下载完成后在本地解压可以看到文件夹KafKa_2.12-2.60 KafKa目录
转载
2024-03-27 16:31:15
267阅读
Kafka介绍kafka背景一、 什么是kafka1.1 kafka基本术语1.2 kafka特性1.3 kafka使用场景1.4 kafka的topic为什么要分区？二、Kafka安装2.1 kafak启动2.2 kafka常见命令三、SpringBoot+Kafka3.1 依赖引入3.2 kafka配置3.3 生产者config3.4 消费者config3.5 注册topic并发送消息3.6
转载
2023-08-06 11:40:59
225阅读
Flink是一个开源流处理框架，注意它是一个处理计算框架，类似Spark框架，Flink在数据摄取方面非常准确，在保持状态的同时能轻松地从故障中恢复。Flink内置引擎是一个分布式流数据流引擎，支持 流处理和批处理 ，支持和使用现有存储和部署基础架构的能力，它支持多个特定于域的库，如用于机器学习的FLinkML、用于图形分析的Gelly、用于复杂事件处理的SQL和FlinkC
转载
2024-08-07 09:54:33
86阅读
文章目录1 TimingWheel：探究Kafka定时器背后的高效时间轮算法1.1 时间轮简介1.2 源码层级关系1.3 时间轮各个类源码定义1.3.1 TimerTask 类1.3.2 TimerTaskEntry 类1.3.3 TimerTaskList 类1.3.4 TimingWheel 类1.4 总结2 DelayedOperation：Broker是怎么延时处理请求的？2.1 Tim
转载
2024-02-28 09:58:18
140阅读
kafka中有很多运用到延迟操作，比较典型的延时任务实现：DelayedProduce 和 DelayedFetch。DelayedProduce当生产者追加消息到集群时（对应 ProduceRequest 请求），实际上是与对应 topic 分区的 leader 副本进行交互，当消息写入 leader 副本成功后，为了保证 leader 节
转载
2023-10-10 13:34:17
238阅读
在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout(即max.poll.interval.ms)，而每次rebalance的代价又相当地大，因为很多状态都需要在rebalance前被持久化，而在rebalanc
转载
2024-03-22 10:55:31
86阅读
Flink 版本： 1.15.0问题在社区看到以下问题：请教个问题哈，sink 到 kafka，采用默认的分区器，是不是每个并行度都会与kafka的partition维护一个连接
比如 10 个并行度，3个 partition，那么维护的连接数总共为 10*3 个
？ 是的
还是一个taskManager建立一个生产者 一个生产者对应多个分区
一个taskManager里面多个slot共
转载
2024-02-21 14:12:26
35阅读
kafka interceptor能够拦截,所有kafka client接收或发送的消息, 基于这一点,我们可以在消息被拦截到时,进行消息统计以及相应的延时计算;需要明白一个点kafka在0.10.0版本, 开始支持每个record带一个timestamp. KafkaProducer发送的record所带有的ts比较特别, 你可以在创建ProducerRecord时,设置该record的时间戳,
转载
2024-04-16 15:18:18
129阅读
前言 实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数据指标。并且在实际操作中，肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点，它比Spark Streaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）。 数据格式与接入 简化的子订单消息
转载
2024-06-24 21:32:10
182阅读
Flink反压利用了网络传输和动态限流。Flink的任务的组成由流和算子组成，那么流中的数据在算子之间转换的时候，会放入分布式的阻塞队列中。当消费者的阻塞队列满的时候，则会降低生产者的处理速度。如上图所示，当Task C 的数据处理速度发生异常的时候，Receive Buffer会呈现出队列满的情况，Task B发送端就会感知到这一点，因为发不过去了吗。然后把数据的发送速度降低，以此类推，整个反压
转载
2024-02-10 15:54:44
341阅读
前言碎语昨天博主写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能，今天升级下，将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分，一是kafka环境的搭建，二是如何使用官方提供的flink-connector-kafka_2.12来消费kafka消息，其他的逻辑部分和上文类似。进入正题本篇博文涉及到
转载
2024-06-05 21:21:49
130阅读
1.30.Flink SQL案例将Kafka数据写入hive 1.30.1.1.场景，环境，配置准备 1.30.1.2.案例代码 1.30.1.2.1.编写pom.xml文件 1.30.1.2.2.Maven工程resources下编写配置文件log4j2.properties 1.30.1.2.3.Maven工程resources下编写配置文件logback.xml 1.30.1.2.4.Mav
转载
2024-02-20 11:23:04
29阅读
文章目录kafka(MQ)简介QuickstartZookeeper环境安装kafkakafka的运用Flink介绍Flink开发步骤 kafka(MQ) 官网：http://kafka.apache.org/简介kafka(25W-50W/秒)也是一个消息队列，主要用作流量的削峰平谷，Kafka目前是大数据业界公认的MQ，比较古老的队列有activemq(6000/s)，现在流行用的有rabb
转载
2024-03-18 08:24:18
57阅读
通常情况下，企业中会采取轮询或者随机的方式，通过Kafka的producer向Kafka集群生产数据，来尽可能保证Kafk分区之间的数据是均匀分布的。在分区数据均匀分布的前提下，如果我们针对要处理的topic数据量等因素，设计出合理的Kafka分区数量。对于一些实时任务，比如Spark Streaming/Structured-Streaming、Flink和Kafka集成的应用，消费端不存在长时
转载
2023-11-28 20:31:29
275阅读
Flink消费kafka数据起始offset配置:Flink读取Kafka数据确定开始位置有以下几种设置方式：flinkKafkaConsumer.setStartFromEarliest():从topic的最早offset位置开始处理数据，如果kafka中保存有消费者组的消费位置将被忽略。flinkKafkaConsumer.setStartFromLatest():从topic的最新offse
转载
2023-10-18 21:14:15
699阅读
1.概述最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。2.内容这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然后采用Flink去实时消费积累到HDFS上，积累后的数据可以构建数据仓库（如Hive）做数据分
转载
2023-09-25 11:30:39
199阅读
背景最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决重复消费的问题的文章，于是在flink官网中搜索此类场景的处理方式，发现官网也没有实现flink到mysql的Exactly-Once例子，但是官网却有类似的例子来解决端到端的仅一次消费问题。这个现成的例子就是FlinkKaf
转载
2024-03-22 09:08:18
2382阅读
背景： flink1.8 实现暂停消费kafka 并能接受到通知，继续消费kafka需求描述：实现思路类1：package org.apache.flink.streaming.connectors.kafka.internal;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.cli
转载
2024-03-16 11:58:25
556阅读
