1.基础 Flink提供了基础的Catalog接口，自定义Catalog实现此接口即可 此外还有一个CatalogFactory接口，用于创建Catalog2.CreateCatalog 走SQL解析流程，在TableEnvironmentImpl.executeInternal()步骤，根据SQL操作类型，选择CreateCatalog分支} else if (operation ins
转载
2024-10-19 08:57:34
20阅读
之前我写过一篇spark的源码，只写了spark的批处理部分，这边写flink主要是以flink的流处理为主----------public static void main(String[] args) throws Exception {
//创建流运行环境
StreamExecutionEnvironment env = StreamExecutionEnvi
转载
2024-06-04 20:05:52
87阅读
Flink源码编译首次编译的时候，去除不必要的操作，同时install会把Flink中的module安装到本地仓库，这样依赖当前module的其他组件就无需去远程仓库拉取当前module，节省了时间。mvn clean install -T 4 -DskipTests -Dfast -Dmaven.compile.fork=true -Dscala-2.11 -Drat.skip=true -Dm
Flink的引入前言大数据的飞速发展，出现了很多开源社区，Hadoop、Storm，以及Spark，他们都有各自的专注的应用场景。Spark开创了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展，Spark的火热或多或少掩盖了其他分布式计算的系统身影，就像Flink，也就在这个时候默默的发展着。DAGDAG是有向无环图（Directed Acyclic Graph）的简称。在大数据处理中，
转载
2024-04-26 16:12:56
52阅读
flink：StreamGraph生成过程分析
1、StreamGraph本质本质就是按照用程序代码的执行顺序构建出来的用于向执行环境传输的流式图，并且可以支持可视化展示给用户的一种数据结构。2、StreamGraph、StreamNode和StreamEdge的数据结构StreamGraph构建DAG流图时，其核心是要维护好节点及节点之间的关系即可，关
转载
2024-04-23 15:53:15
43阅读
——wirte by 橙心橙意橙续缘，前言白话系列 ————————————————————————————也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！白话Flink系列 —————————————————————
转载
2024-07-29 19:48:48
46阅读
一、Flink Job的提交流程用户提交的Flink Job会被转化成一个DAG任务运行，分别是：StreamGraph、JobGraph、ExecutionGraph，Flink中JobManager与TaskManager，JobManager与Client的交互是基于Akka工具包的，是通过消息驱动。整个Flink Job的提交还包含着ActorSystem的创建，JobManager的启动
转载
2024-04-08 22:11:27
73阅读
目录1. 基于控制台和文件的Sink2. 自定义Sink3. Scala代码演示1. 基于控制台和文件的SinkAPI：ds.print 直接输出到控制台ds.printToErr() 直接输出到控制台,用红色ds.writeAsText("本地/HDFS的path",WriteMode.OVERWRITE).setParallelism(1)注意：在输出到path的时候,可以在前面设置并行度当并
转载
2024-02-23 12:28:42
208阅读
Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑，Flink提供了8个Process Function：• ProcessFunction ：最原始，自定义程度高，什么都能做
• KeyedProcessFunction：keyby后使用得process中传入得Process Function
• CoProcessFunction：connect后使用得proces
转载
2024-07-03 20:16:00
21阅读
学习图相关的算法(Java 实现)(2)——Prim算法求最小生成树 目录学习图相关的算法(Java 实现)(2)——Prim算法求最小生成树相关定义最小生成树Prim算法Kruskal算法 相关定义由于太饿了，相关定义(加权图、生成树、最小生成树)已经被吃掉了，所以麻烦您自行搜索一下哈(～￣▽￣)～ 下面就直奔主题最小生成树先来看一个简单的情况，两个节点的最小生成树(最小生成树定义允许存在权重为
转载
2024-09-30 18:46:20
30阅读
DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。...
原创
2021-07-07 10:49:25
205阅读
DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。...
原创
2022-03-24 09:46:35
112阅读
1.背景介绍在大数据时代，实时分析和处理数据流是非常重要的。Apache Flink是一个流处理框架，可以用于实时分析和处理大量数据。在本文中，我们将深入探讨Flink的数据流加工与转换。1. 背景介绍Flink是一个开源的流处理框架，可以用于实时分析和处理大量数据。它支持数据流的实时处理、状态管理和故障容错。Flink可以处理各种数据源，如Kafka、HDFS、TCP流等。它的核心特点是高吞吐量
起源在进行架构转型与分库分表之前，我们一直采用非常典型的单体应用架构：主服务是一个 Java WebApp，使用 Nginx 并选择 Session Sticky 分发策略做负载均衡和会话保持；背后是一个 MySQL 主实例，接了若干 Slave 做读写分离。在整个转型开始之前，我们就知道这会是一块难啃的硬骨头：我们要在全线业务飞速地扩张迭代的同时完成架构转型，因为这是实实在在的”给高速行驶的汽车
1. Flink 介绍Flink是对无界和有界流数据进行处理的分布式计算框架1.1 如何学习Flink官网https://flink.apache.org/官方的案例国内关于flink的权威平台https://ververica.cn/源码https://github.com/apache/flink1.2 Flink1.9 跟之前的版本有什么区别？之前离线处理和实时处理是两套api处理的，1.9
转载
2024-03-27 13:11:38
257阅读
1. Flink Job的提交流程用户提交的Flink Job会被转化成一个DAG任务运行，分别是：StreamGraph、JobGraph、ExecutionGraph，Flink中JobManager与TaskManager，JobManager与Client的交互是基于Akka工具包的，是通过消息驱动。整个Flink Job的提交还包含着ActorSystem的创建，JobManager的启
转载
2024-05-01 12:12:55
52阅读
目录(?)[-]概述提交JobrddcountSparkContextrunJobDAGSchedulerrunJobDAGSchedulersubmitJobDAGSchedulerEventProcessLoopdoOnReceiveDAGSchedulerhandleJobSubmitted划分StageDAGSchedulernewResultStageDAGSchedulergetPa
目录1.execute启动时，如何知道要执行哪些DataStream2.flink是怎么按照上下游执行DataStream的总结用于记录自己学习flink整套流程的一篇博客，本文主要讨论，flink的一个job中，多个stream转化为dag的大致步骤以org.apache.flink.streaming.examples.wordcount.WordCount为例贴一张 stream转为dag执
转载
2024-05-13 23:17:12
114阅读
图操作如同RDDs有如同map，filter和reduceByKey这些基本操作，属性图也有一些基本操作可以接受用户自定义函数转化属性和结构从而生成新图。优化应用的核心操作定义在Graph中，简便操作是核心的集合并定义在GraphOps中。由于Scala的隐式性GraphOps中的操作可自动的在Graph中获得。例如我们可以计算每个点（定义在GraphOps）的入度如下：val graph: Gr
关于RDD, 详细可以参考Spark的论文, 下面看下源码 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection of elements that can be operated on in parallel. *
转载
2024-09-23 19:04:35
47阅读
