flink生成StreamGraph的过程本文从源码角度分析flink生成StreamGraph的过程，flink版本为1.11。从一个demo开始public class StreamingJob {
public static void main(String[] args) throws Exception {
// set up the streaming execution en
为什么要编译Flink源码根据flink官方文档，flink在1.8以后就不提供on hadoop的二进制包了，所以如果需要部署flink on yarn，官方虽然不支持了，但是提供了重新编译on hadoop的flink的二进制安装包的方法，首先我们来梳理一下编译思路。（P.S.:这篇blog主要说的是maven编译flink的操作步骤）：准备摘自 Project Template for Ja
转载
2024-08-09 14:05:58
29阅读
一、从源码构建flink的命令 mvn clean install -DskipTests -Drat.skip=true -Denforcer.fail=false二、构建release-1.9分支 （1）修改flink\flink-end-to-end-tests\flink-confluent-schema-registry\pom.xml ①flink-avro排除avro&l
转载
2021-03-20 12:54:08
463阅读
2评论
更新一篇知识星球里面的源码分析文章，去年写的，周末自己录了个视频，大家看下效果好吗？如果好的话，后面补录发在知识星球里面的其他源码解析文章。前言之前自己本地 clone 了 Flink 的源码，编译过，然后 share 到了 GitHub 上去了，自己也写了一些源码的中文注释，并且 push 到了 GitHub 上去了。这几天阿里开源了宣传已久的 Blink，结果我那个分支不能够继续 pull 下
转载
2024-03-06 21:34:03
71阅读
目录导读环境对象StreamExecutionEnvironmentExecutionEnvironmentEnvironmentRuntimeContext数据流元素StreamElement数据转换Transformation算子StreamOperator算子生命周期状态与容错数据处理OneInputStreamOperatorTwoInputStreamOperator异步算子函数Func
转载
2024-04-26 18:53:56
68阅读
前言 最新开始捣鼓flink，fucking the code之前，编译是第一步。 编译环境 win7 java maven 编译步骤 https://ci.apache.org/projects/flink/flink-docs-release-1.6/start/building.html 官方
转载
2018-09-21 11:09:00
131阅读
2评论
本文是 Flink 源码解析系列，通过阅读本文你能 get 到以下点：StreamTask 类的基本功能及其职责StreamTask 初始化详细流程StateBackend 与 keyedStateBackend 以及 operatorStateBackend 之间的关系这里先留一个思考题：如下代码所示，开发 Flink Job 时 dataStream keyBy 后连续跟 map、filter
转载
2023-12-15 10:06:21
137阅读
文章目录阅读Flink源码前必会的知识Java 8 异步编程 CompletableFuture 全解析大纲一、异步编程二、抛出一个问题：如何实现烧水泡茶的程序三、Java5 的 Future 实现的异步编程四、CompletableFuture 类功能概览五、CompletableFuture 接口精讲1、提交执行的静态方法（1）run 和 supply 的区别（2）一个参数和两个参数的区别2
转载
2024-04-02 22:06:30
32阅读
1、概述
本节演示如何在本地编译、运行 Flink 源码。
技术有限，欢迎各位大佬在评论区批评指正。
原创
2023-08-06 12:29:47
661阅读
修改flink1.9.2源码，并编译构建，在新的任务中使用和验证
推荐
原创
2022-03-19 08:22:28
667阅读
修改flink1.9.2源码，并编译构建，在新的任务中使用和验证
推荐
原创
2022-12-11 00:10:34
333阅读
复合事件处理（Complex Event Processing，CEP）是一种基于动态环境中事件流的分析技术，事件在这里通常是有意义的状态变化，通过分析事件间的关系，利用过滤、关联、聚合等技术，根据事件间的时序关系和聚合关系制定检测规则，持续地从事件流中查询出符合要求的事件序列，最终分析得到更复杂的复合事件。 &nb
序言经过一段时间对于flink学习且画了一些源码流程相关的图，决定开一个flink源码分析的专栏，该专栏以flink on yarn的 Per-job模式为基础，基于flink1.12.0，以官方SocketWindowWordCount例子来分析一个任务从提交到运行的流程源码分析。那么话不多，直接开始吧。首先我们正常情况下，在该模式下的提交flink任务的脚本入下：flink run -t ya
转载
2024-02-22 20:41:01
66阅读
本系列是针对 Flink 源码进行的一系列探究过程，旨在通过 Flink 源码全面地、详细地了解 Flink 原理写过 Flink 程序的朋友都知道，Flink 程序的第一行代码就是创建可执行环境，如下：final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();根据 get
转载
2024-04-12 15:48:10
100阅读
概述 本章我首先从介绍Flink的定义展开全书首秀，希望各位读者能有耐心看下去。接着通过详细讲述Flink定义延伸出其从多优秀特点。然后再这些特点出发，自然引出Flink优势和应用领域的相关内容。Flink定义Flink是一个开源的基于流式数据处理的计算框架，它可以实现对无限数据流进行实时处理，同时也支持对有限的批量数据进行处理。Flink采用了基于流的数据
转载
2024-06-05 14:13:59
47阅读
本文大纲 一、Flink 官方文档这么全面，为什么还要读 Flink 源码读文档和读源码的目的是不一样的，就拿 Apache Flink 这个项目来说，如果你想知道 Flink 的使用功能，设计思想，实现原理，看官方文档就足够了；如果你想了解的就是具体细节，比如说 StreamGraph 是怎么生成的或者是 Exactly Once 究竟如何实现的，那么就需要去阅读源码了。关键是看你的目的是什么
转载
2024-05-09 12:36:48
23阅读
本篇先介绍流中的数据，再通过一个完整的案例，介绍流处理应用中的几个重要组成部分。流里面是什么Flink的DataStream API可以基于Java或Scala编写，流内部支持很多种类型，比如Java的基础类型，如String、Long、Integer、Boolean、Array等；也支持复杂类型，如Tuples、POJOS、Scala Case class等。也支持使用Kryo或Avro进行序列
转载
2024-04-29 20:08:50
28阅读
自己编译flink的环境：Linux、git、maven、jdk8以上。 获取flink源代码：git clone https://github.com
原创
2022-05-29 00:54:31
225阅读
除了新功能外，Flink 2.0 还对已弃用的 API 和配置进行了全面清理，这可能导致某些接口和行为出现向后不兼容的变化。看到F
ScalaFlink介绍Flink源码主要是Java语言编写的, 开发中首选Java开发Flink如果考虑到编码效率和简洁性可以考虑使用Scala注意:Spark源码主要是Scala编写的, 开发中首选Scala开发Spark如果考虑到编码的规范性,可以考虑使用Java环境0.导入依赖<!--依赖Scala语言-->
<dependency>
转载
2023-07-11 17:09:07
76阅读
