一、addSource & fromSource 、addSink & SinkTo
这两组算子区别在于：addSource和addSink需要自己实现SourceFunction或者是SinkFunction，其中读取数据的逻辑，容错等都需要自己实现；fromSource和SinkTo，是flink提供的简易的
转载
2024-03-13 15:35:11
653阅读
对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。1.总体架构风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： 业务系统，通常是APP+后台
序本文主要研究一下flink如何兼容StormTopology实例@Test
public void testStormWordCount() throws Exception {
//NOTE 1 build Topology the Storm way
final TopologyBuilder builder = new TopologyBuild
转载
2024-05-31 11:58:25
140阅读
1 多流转换1.1 多流转换简述在 Flink 的实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将一条流拆分成多条流的处理场景，也就是所谓的多流转换。多流转换：简单划分可以分为 “分流” 和 “合流”分流：一般通过 侧输出流（side output）方式实现。合流：可以调用 union、connect、join、coGroup等方式进行连接合并。本文主要验证内容如下：分流：侧
转载
2024-04-23 17:04:11
99阅读
Flink的下载地址Flink的部署StandAlone模式Flink on yarn模式Session-ClusterPer-Job-Cluster部署注意点在Flink 的下载界面我们可以看到大致有两种Flink的下载版本,俩者的区别就是一种是有hadoop支持的版本，如果需要和Hadoop来进行交互的化，就需要下载此版本上述只是针对于较低版本的Flink我们可以看到..
原创
2022-03-23 10:21:20
545阅读
点赞
前不久，Flink社区发布了FLink 1.9版本，在其中包含了一个很重要的新特性，即state processor api，这个框架支持对checkpoint和savepoint进行操作，包括读取、变更、写入等等。savepoint的可操作带来了很多的可能性：作业迁移 1.跨类型作业，假如有一个storm作业，将状态缓存在外部系
转载
2024-03-06 16:13:28
32阅读
无论您是在生产环境中运行Apache Flink or还是在过去将Flink评估为计算框架，您都可能会问自己一个问题：如何在Flink保存点中访问，写入或更新状态？不再询问！Apache Flink 1.9.0引入了State Processor API，它是DataSet API的强大扩展，它允许读取，写入和修改Flink的保存点和检查点中的状态。在这篇文章中，我们解释了为什么此功能对
转载
2024-04-22 21:50:04
41阅读
Flink的State一般指一个具体的task/operator的状态。State可以被记录，在失败的情况下数据还可以恢复，Flink中有两种基本类型的State：Keyed State，Operator State，他们两种都可以以两种形式存在：原始状态(raw state)和托管状态(managed state)。
原创
精选
2021-01-05 18:40:34
5945阅读
点赞
1评论
Flink的状态管理Flink中的状态状态的分类Operator StateKeyed State状态后端（State Backends）Flink中的状态什么是状态？由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态可以认为状态就是一个本地变量，可以被任务的业务逻辑访问Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑有些算子有些任务是没有状态的，如map操作，只跟输入数据有关。像窗口操作不管是增量窗
原创
2022-03-23 10:21:23
1003阅读
Apache StreamPark(Incubating) 社区的小伙伴们大家好：今天我们很高兴地宣布 StreamPark 2.0.0 正式发布！欢迎下载使用。这是 StreamPark 加入 Apache 孵化器以来发布的第一个版本，也是一个重大功能更新的版本。距离上个版本发布已有半年之久，在这半年多的时间里，我们开发了很多非常实用的新功能，也经历了社区小伙伴们的数次催更和发版合规的数次整改
1.Flink简介
Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算
应用行业：市场营销报表，电商，业务流程
物联网，电信业，金融业
Flink的主要特点：事件驱动(Event-driven)
Flink的世界观中一切都是流组成的，离线数据是有界的流，实时数据是没有界限的流
分层API
High-level Analytics API :
转载
2024-05-08 15:46:48
53阅读
ChunJun（原FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018年4月，秉承着开源共享的理念，数栈技术团队在github上开源了FlinkX，承蒙各位开发者的合作共建，FlinkX得到了快速发展。两年后的2022年4月，技术团队决定对FlinkX进行整体升级，并更名为ChunJun，希望继续和各位优秀开发者合作，进一步推动数据集成/同步的技术发展。因该
转载
2024-04-25 11:45:33
61阅读
flink集群flink可以基于自身的standalone模式进行分布式集群计算，也可以利用第三方资源管理器完成分布式集群计算。目前比较流行的第三方资源管理器包括Hadoop Yarn，Apache Mesos，Kubernetes等。但是相对来说，因为yarn能够同时支持hadoop mapreduce和spark等大数据框架，因此普遍使用yarn模式来管理集群资源。因此这里主要对yarn模式进
转载
2024-05-09 13:09:49
363阅读
下载代码1.使用git工具把项目clone到本地git clone https://github.com/DTStack/flinkx.git
cd flinkx2.直接下载源码wget https://github.com/DTStack/flinkx/archive/1.8.5.zip
unzip flinkx-1.8.5.zip
cd flink-1.8.5编译插件mvn clean pac
转载
2024-04-15 09:53:46
46阅读
文章目录Flink概述Flink生态为什么选择Flink?系统架构JobManager运行架构常用的类型和操作程序结构介绍并行数据流Task and Operator Chains核心原理Window&TimeWindowTimeState状态管理按组织形式的划分按照数据的划分和扩张方式Checkpoint容错机制Savepoint保存点Savepoint 和 CheckpointFli
转载
2024-05-28 17:48:20
74阅读
主要介绍基于 Flink 的编程模型，包括 Flink 程序的基础处理语义和基本构成模块，并且和 Spark、Storm 进行比较，Flink 作为最新的分布式大数据处理引擎具有哪些独特的优势呢？Flink 的核心语义和架构模型 我们在讲解 Flink 程序的编程模型之前，先来了解一下 Flink 中的 Streams、State、Time 等核心概念和基础语义，以及 Flink 提供的不同层级的
转载
2024-04-05 10:51:17
37阅读
本系列是针对 Flink 源码进行的一系列探究过程，旨在通过 Flink 源码全面地、详细地了解 Flink 原理写过 Flink 程序的朋友都知道，Flink 程序的第一行代码就是创建可执行环境，如下：final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();根据 get
转载
2024-04-12 15:48:10
100阅读
目录4.1 系统架构4.1.1 整体构成4.1.2 作业管理器（JobManager）4.1.3 任务管理器（TaskManager）4.2 作业提交流程4.2.1 高层级抽象视角4.2.2 独立模式（Standalone）4.2.3 YARN 集群 4.3 一些重要概念4.3.1 数据流图（ Dataflow Graph）4.3.2 并行度（ Parallelism）4.3.3 算子
转载
2024-05-06 20:42:58
58阅读
前言之前 讲过 Flink 使用连续的 Split 会有问题，当时提供了几种解决方法，有一种方法就是使用 Side Output 来进行，当时留了个余念，那么就在这篇文章详细的讲一波，教大家如何使用 Side Output 来分流。Side Output通常我们在处理数据的时候，有时候想对不同情况的数据进行不同的处理，那么就需要把数据流进行分流。比如我们在那篇文章里面的例子：需要将从 K
转载
2024-03-21 11:35:50
64阅读
Flink 它可以处理有界的数据集、也可以处理无界的数据集、它可以流式的处理数据、也可以批量的处理数据。Flink 是什么 ？上面三张图转自 云邪 成都站 《Flink 技术介绍与未来展望》，侵删。从下至上，Flink 整体结构从下至上：1、部署：Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行， 也能部署在云上。2、运行：Flink 的核心是分布式流式数
转载
2023-12-19 15:38:35
31阅读
