目录state容错语义at most onceat least onceexactly-once容错续跑算子容错续跑task异常作业逻辑不变CP/SP策略bugfix升级续跑SP策略source容错续跑sink 容错续跑 stateflink 支持有状态的流，存储历史的状态信息。 状态状态分类 keystate keyBy/groupBy/PartitonBy 后，每个key都有属于自己的一个s
转载
2024-03-26 17:17:43
237阅读
在Flink运行过程中，主要涉及Environment、Source、Transform、Sink四个部分，其中，最后三个尤为重要。1. EnvironmentFlink程序在编写前首先要做的便是设置该程序的执行环境，而由于Flink主要面向的是流处理任务，所以一般情况下环境设置都为StreamExecutionEnvironment：2. SourceSource可以理解为Flink流处理过程中
转载
2023-12-22 20:33:26
143阅读
这里目录1.简介2、Flink 搭建3、Flink 运行架构4、程序与数据流（DataFlow）5、Flink 流处理API6、Window 窗口机制7、时间语义与watermark8、状态管理State8.1、状态概述8.2. 类型8.3. 算子状态（Operator State）8.3.2. 算子状态的数据结构8.4. 键控状态（Keyed State）8.4.2. 键控状态的数据结构8.3
转载
2024-04-26 17:26:45
47阅读
Transformation各算子可以对Flink数据流进行处理和转化，是Flink流处理非常核心的API。mapmap算子对一个DataStream中的每个元素使用用户自定义的map函数进行处理，每个输入元素对应一个输出元素，最终整个数据流被转换成一个新的DataStream。输出的数据流DataStream[OUT]类型可能和输入的数据流DataStream[IN]不同。如业务需求可以对一些数
转载
2024-03-05 05:53:38
419阅读
集合论中的一个很重要的用法1，map简介map是STL的一个关联容器，它提供一对一的hash。第一个可以称为关键字(key)，每个关键字只能在map中出现一次；第二个可能称为该关键字的值(value)；map以模板(泛型)方式实现，可以存储任意类型的数据，包括使用者自定义的数据类型。Map主要用于资料一对一映射(one-to-one)的情況，map內部的实现自建一颗红黑树，这颗树具有对数据自动排序
转载
2023-06-22 16:52:38
270阅读
角色JM，接收提交的资料：class文件、依赖的jar、jobGraph、datafolwGraph 运行driver，类似于spark的driver，任务调度主从中的主 划分任务，把jobGraph转成executionGraph 分发任务，向RM申请slot，然后把subtask提交到TM的slot运行管理checkpointjobGraph代码的图形化表示，没有并行操作的信息TM启动后，TM
转载
2024-07-26 10:21:47
59阅读
概念map函数：map函数用键值对的方式来存储数据，提供的是一种一对一的关系，这样在某些情况下提供了很好的便利。map函数的头文件是#include<map>，实例化一个map对象：map<int ,string>，而且在修改操作中，只能改变string的值，不能更改int索引值。map函数并不是数组，所以如果要遍历的时候，就要使用迭代（iterator）才能实现遍历操作s
转载
2024-02-23 22:00:18
127阅读
map整理: https://blog..net/zhouzhenhe2008/article/details/76649158map find函数：返回找到的位置上的迭代器。
原创
2022-02-16 17:24:38
123阅读
map整理: https://blog.csdn.net/zhouzhenhe2008/article/details/76649158map find函数：返回找到的位置上的迭代器。 count函数：返回找到的key的数量，只能为1或0http://acm.hdu.edu.cn/showproblem.php?pid=1004#include<...
原创
2021-08-28 22:23:29
117阅读
一、vectorvector可理解为变长数组，它的内部实现基于倍增思想。vector支持随机访问，即对于任意的下标0 <= i <n，可以像数组一样用【i】取值。但它不是链表，不支持任意位置O（1）插入。为了保证效率，元素的增删一般应该在末尾进行。代码：...
原创
2021-08-27 14:24:27
177阅读
一、vectorvector可理解为变长数组，它的内部实现基于倍增思想。vector支持随机访问，即对于任意的下标0 <= i <n，可以像数组一样用【i】取值。但它不是链表，不支持任意位置O（1）插入。为了保证效率，元素的增删一般应该在末尾进行。代码：...
原创
2022-02-03 10:27:23
98阅读
介绍 Apache Flink是用于分布式流和批处理数据处理的开源平台。 Flink是具有多个API的流数据流引擎，用于创建面向数据流的应用程序。 Flink应用程序通常使用Apache Kafka进行数据输入和输出。 本文将为您提供将Apache Flink与MapR Streams结合使用的简单步骤。 MapR Streams是用于大规模流式传输事件数据的分布式消息传递系统，它已基于A
转载
2024-09-23 11:42:56
43阅读
一 有界流 无界流流处理与批处理 • MapReduce、Spark只支持批处理任务 • Storm只支持流处理任务 • Spark Streaming采用了一种micro-batch的架构实现了流处理 • Flink通过灵活的执行引擎，能够同时支持批处理任务与流处理任务Spark vs Flink 数据模型 • Spark采用RDD模型，Spark Streaming的DStream
Flink结构：flink cli 解析本地环境配置，启动 ApplicationMaster
在 ApplicationMaster 中启动 JobManager
在 ApplicationMaster 中启动YarnFlinkResourceManager
YarnFlinkResourceManager给JobManager发送注
转载
2024-06-07 21:57:00
21阅读
大家好，我是大圣。最近工作中使用Flink 状态比较多，但是遇到了各种各样的问题，比如应该什么时候使用KeyedState，什么时候应该使用Operator State，还有StateTTL过期的问题。趁着周末有时间，就把Flink 状态给总结一下。 Flink 状态初探熟悉Flink框架的小伙伴都知道Flink是一个实时流处理计算引擎，什么是流处理呢？我们来举个生活中的案例，大圣小时候在河边长大
转载
2024-06-12 15:35:40
107阅读
输出算子（Sink） Flink作为数据处理框架，最终还是需要把计算处理的结果写入到外部存储，为外部应用提供支持。Flink提供了很多方式输出到外部系统。1. 连接外部系统在Flink中我们可以在各种Fuction中处理输出到外部系统，但是Flink作为一个快速的分布式实时流处理系统，对稳定性和容错性要求极高。一旦出现故障，我们应该有能力恢复之前的状态，保障处理结果的正确性。这种性质一般被称为"状
转载
2024-05-01 19:45:16
84阅读
自定义source只需要传入一个SourceFunction即可val stream4 = env.addSource( new MySensorSource() )复制代码举例说明：随机生成传感器数据无非就是通过生成随机数据的方式组装成传感器数据而已Transform转换算子val streamMap = stream.map { x => x * 2 }复制代码flatMap
a、
fl
SinkFlink没有类似spark中foreach方法 让用户进行迭代操作
虽有对外的输出操作 都要利用Sink完成
最后通过类似如下方式完成整个任务最终输出操作stream.addSink(new MySink(xxxx))官方提供了一部分框架的Sink 除此之外 需要用户自定义实现sink Kafka
既然从kafka sensor主题中消费消息 所以需要有一个往该队列
转载
2024-08-13 13:30:59
39阅读
flink的重要特点1.1 事件驱动型(Event-driven) 事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应用。与之不同的就是SparkStreaming微批次，如图： 事件驱动型： 1.2：流与批的世界观流与批的世界观 批处理的特点是有界、持久、大量，非常适合
转载
2024-03-18 16:57:22
84阅读
在本节中，你将了解 Flink 中用于处理事件时间的时间戳和 watermark 相关的 API。有关事件时间，处理时间和摄取时间的介绍，请参阅事件时间概览小节。Watermark 策略简介为了使用事件时间语义，Flink 应用程序需要知道事件时间戳对应的字段，意味着数据流中的每个元素都需要拥有可分配的事件时间戳。其通常通过使用 TimestampAssigner API 从元素中的某个字段去访问
转载
2024-03-17 14:09:54
24阅读
