前言Flink版本：1.12.1将实时的数据类比于一个车流（带有一个值），如果你想获得所有车值的总和，那该怎么办呢？求和：不断的将数据相加，像聚合函数一样：Flink的常见算子和实例代码。 但是问题来了：实时数据流是不断的产生数据的，那么作为无界数据流，你永远不可能获得流的完整结果。也许你可以创建一个同样的求和数据流（无界）像这样：关于事件时间和水印与窗口的联合使用及其demo代码：Flink事
转载
2024-03-01 13:39:10
106阅读
flink初始flink是什么为什么使用flinkflink的基础概念flink剖析实例flink是什么flink是一个用于有界和无界数据流进行有状态的计算框架。
flink提供了不同级别的抽象来开发流和批处理应用程序。最底层是Stateful Stream processing,只提供有状态流它 通过Process Function嵌入到DataStream API中。它允许用户自由处理来自一个
转载
2024-04-18 12:11:29
49阅读
1. map特性：接收一个数据，经过处理之后，就返回一个数据1.1. 源码分析我们来看看map的源码 map需要接收一个MapFunction<T,R>的对象，其中泛型T表示传入的数据类型，R表示经过处理之后输出的数据类型我们继续往下点，看看MapFunction<T,R>的源码 这是一个接口，那么在代码中，我们就需要实现这个接口1.2. 案例那么我们现在要实现一个功能，就
转载
2024-08-09 21:57:14
58阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》生成6条数据，从0开始递增的6个数字。模拟异步查询之后，加上时间戳输出public class AsyncIODemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.ge
原创
2021-06-10 20:04:07
449阅读
生成6条数据，从0开始递增的6个数字。模拟异步查询之后，加上时间戳输出 public class AsyncIODemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment en
转载
2020-10-07 20:03:00
97阅读
2评论
# Python Flink 实例：实时流处理的力量
随着数据流的迅猛增长，实时数据处理已经成为大多数企业的必需品。Apache Flink 是一个开源的流处理框架，以其高吞吐量、低延迟和强大功能而受到广泛欢迎。在这篇文章中，我们将探讨如何使用 Python 和 Flink 来构建简单的实时数据处理应用，并提供代码示例和状态图，帮助您更好地理解 Flink 的工作机制。
## 什么是 Apac
原创
2024-09-19 06:22:00
23阅读
# Java Flink 实例：流处理入门
Apache Flink 是一个开源的流处理框架，用于实时数据流的处理和分析。本文将通过一个简单的 Java Flink 实例，介绍 Flink 的基本概念和使用方法。
## Flink 简介
Flink 是一个用于大规模数据流处理和事件驱动应用的框架。它提供了数据并行性和流水线并行性，以实现高性能和可伸缩性。Flink 支持多种编程模型，包括批处
原创
2024-07-28 06:24:09
23阅读
什么是FlinkXFlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统，每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通在底层实现上，FlinkX依赖F
转载
2024-03-18 15:01:00
47阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》生成6条数据，从0开始递增的6个数字。模拟异步查询之后，加上时间戳输出public class AsyncIODemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.ge
原创
2021-06-10 20:04:06
703阅读
分流案例模板代码public class FlinkApp {
public static void main(String[] args) throws Exception {
//得到执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironme
转载
2024-04-25 14:56:57
91阅读
文章目录八、Flink项目实战1、需求背景2、数据流程设计3、应用实现4、实现效果分析 Flink流式计算实战专题五 ==楼兰 八、Flink项目实战 这一个章节，我们来找一个常见的流式计算场景，将Flink真正用起来。1、需求背景 现在网络直播平台非常火爆，在斗鱼这样的网络直播间，经常可以看到这样的总榜排名，体现了主播的活跃度。我们就以这个贡献日榜为例，来设计一个Flink的计算程序。 大
转载
2023-09-04 17:08:08
272阅读
在flink中的时间窗口中有个重要概念，就是watermark，也就是我们经常谈论的水印，这里我们不对水印的概念和使用方式进行介绍，这里从源码的角度来看，如何不断的生成水印。在flink中，有两种水印TimestampsAndPunctuatedWatermarksOperatorTimestampsAndPeriodicWatermarksOperator我们编写原因水印的代码如下：//抽取ti
转载
2024-04-12 06:03:57
161阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》业务如下：接收kafka数据，转为user对象，调用async，使用user.id 查询对应的phone，放回user对象，输出主类：import com.alibaba.fastjson.JSON;import com.venn.common.Common;import org.apache.flink.formats.json.JsonNodeDeserializa.
原创
2021-06-10 20:04:04
383阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》业务如下：接收kafka数据，转为user对象，调用async，使用user.id 查询对应的phone，放回user对象，输出主类：import com.alibaba.fastjson.JSON;import com.venn.common.Common;import org.apache.flink.formats.json.JsonNodeDeserializa.
原创
2021-06-10 20:04:05
399阅读
业务如下： 接收kafka数据，转为user对象，调用async，使用user.id 查询对应的phone，放回user对象，输出 主类： import com.alibaba.fastjson.JSON; import com.venn.common.Common; import org.apac
转载
2020-10-07 22:32:00
110阅读
1. 工程目录 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-
转载
2020-09-16 18:57:00
178阅读
2评论
写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发 感兴趣，可以关注我的动态 ，让我们一起挖掘数据的价值~每天都要进步一点点，生命不是要
转载
2024-03-25 15:12:05
51阅读
Flink用于处理有状态的流式计算，需要对Source端的数据进行加工处理，然后写入到Sink端，下图展示了在Flink中数据所经历的过程，今天就根据这张图分别给大家分享下。01 EnvironmentFlink所有的程序都从这一步开始，只有创建了执行环境，才能开始下一步的编写。可以使用如下方式获取运行环境：（1）getExecutionEnvironment创建一个执行环境，表示当前执行程序的上
转载
2023-11-24 23:24:12
199阅读
1、前言随着互联网3.0的到来，数据也井喷式爆发。随着大数据的到来，谁能拿到数据，用好数据也就成了重中之重。本次文章与大家分享的一个实际生产中的实时计算实时ETL项目。2、背景想必大家也都知道离线计算的标签。离线标签采用的是T+1的形式。这就具有一个很大的滞后性，对于新用户的一些策略以及营销就不好精准触达。基于这样的场景以及实时标签以及实时ETL需求项目也就出现了。3、项目介绍1、用户的操作日志数
转载
2024-09-05 15:56:47
105阅读
文章目录1. CEP概念2. CEP的主要特点3. Pattern API1.3.1 输入事件流的创建1.3.2 Pattern的定义1.3.2.1 设置循环次数1.3.2.2 定义条件1.3.2.3 模式序列1.3.3 Pattern检测1.3.4 选取结果4. CEP编程开发案例实战——银行APP 登录异常检测4.1 使用State编程实现4.2 使用CEP编程实现5. Flink CEP综
转载
2024-03-21 10:45:44
148阅读
