Flink/Spark 如何实现动态更新作业配置由于实时场景对可用性十分敏感，实时作业通常需要避免频繁重启，因此动态加载作业配置（变量）是实时计算里十分常见的需求，比如通常复杂事件处理 (CEP) 的规则或者在线机器学习的模型。尽管常见，实现起来却并没有那么简单，其中最难点在于如何确保节点状态在变更期间的一致性。目前来说一般有两种实现方式：轮询拉取方式，即作业算子定时检测在外部系统的配置是否有变更
转载
2024-04-18 11:13:31
188阅读
Table API 和 SQL，本质上还是基于关系型表的操作方式；而关系型表、关系代数，以及SQL 本身，一般是有界的，更适合批处理的场景。这就导致在进行流处理的过程中，理解会稍微复杂一些，需要引入一些特殊概念。 文章目录流处理和关系代数（表，及 SQL）的区别动态表（Dynamic Tables）流式持续查询的过程将流转换成表（Table）持续查询（Continuous Query）将动态表转换
转载
2024-03-16 01:33:08
86阅读
文章目录1、基础环境2、开发环境2.1、pom.xml2.2、log4j.properties2.3、测试用的代码2.3.1、Flink执行环境工具2.3.2、Kafka工具2.3.3、测试Flink读写Kafka2.3.4、测试FlinkSQL读写Kafka2.4、打包后上传到服务器3、生产环境3.1、Flink安装3.2、Flink on YARN下3种模式3.2.1、Session-Clu
转载
2024-03-07 21:44:23
181阅读
1. 首先客户需要在消息通知服务（SMN）中提前创建一个【主题】，并将客户指定的邮箱或者手机号添加到主题订阅中。这时候指定的邮箱或者手机会收到请求订阅的通知，点击链接确认订阅即可。2. 创建Flink SQL作业，编写作业SQL完成后，配置【运行参数】。2.1 配置作业的【CU数量】、【管理单元】与【最大并行数】，依据如下公式：CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数)
转载
2024-04-18 08:42:58
49阅读
摘要：本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括：相关背景大作业部署优化Checkpoint 跨机房副本状态稳定性相关优化未来规划一、相关背景美团 Flink 的应用场景覆盖了社区定义的三种场景：应用比较多的是数据管道场景，比如数仓 ODS 层数据的实时接入，或跨数据源的实时数据同步；比较典型的应用场景是数据分析
转载
2024-04-23 09:39:53
140阅读
资源配置调优Flink 性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 提交方式主要是 yarn-per-job，资源的分配在使用脚本提交 Flink 任务时进行指定。内存设置生产资源配置：bin/flink run \
-t yarn-per-job \
-d \
-p 5 \
转载
2024-01-27 23:33:40
157阅读
前言在本系列博客中，你将学习到三种构建 Flink 应用程序的强大案例：动态更新应用程序的逻辑动态的数据分区（shuffle），在作业运行时进行控制基于自定义窗口逻辑的低延迟告警（不使用 Window API）这几个案例扩展了使用静态定义的数据流可以实现的功能，并提供了满足复杂业务需求的基础。动态更新应用程序的逻辑 允许作业在运行时进行更改，不需要将作业停止后修改代码再发布。动态的数据分
转载
2024-07-29 11:40:04
79阅读
文章目录基本设置主机名/端口内存大小并行性检查点网页界面其他常用设置选项主机和端口容错固定延迟重启策略故障率重启策略可重试清理固定延迟清理重试策略指数延迟清理重试策略检查点和状态后端高可用性高可用性设置中的 JobResultStore 选项ZooKeeper 的高可用性设置选项内存配置其他选项安全(Security)SSL使用外部系统进行身份验证ZooKeeper 身份验证/授权基于 Kerb
转载
2023-10-12 13:37:45
628阅读
Flink状态管理及状态后端配置 目录Flink状态管理及状态后端配置1. 什么是状态2. 为什么需要管理状态3. Flink中的状态分类4. Managed State的分类5. 算子状态的使用案例1: 列表状态案例2: 广播状态6. 键控状态的使用案例1: ValueState案例2: ListState案例3: ReducingState案例4: AggregatingState案例5:Ma
转载
2024-03-19 10:20:53
136阅读
我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的，或者通过读取配置文件的参数，在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法： 改变启动参数或者改变配置文件，重启作业，让作业能够读取到修改后的配置 通过读取配置流（需要自定义 Source 读取配置），然后流和流连接起来
转载
2023-10-05 19:36:12
181阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！前言在实时计算作业中，往往需要动态改变一些配置，举几个栗子：实时日志ETL服务，需要在日志的格...
原创
2021-06-10 19:55:51
402阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！前言在实时计算作业中，往往需要动态改变一些配置，举几个栗子：实时日志ETL服务，需要在日志的格...
原创
2021-06-10 19:55:50
388阅读
由于实时场景对可用性十分敏感，实时作业通常需要避免频繁重启，因此动态加载作业配置（变量）是实时计算里十分常见的需求，比如通常复杂事件处理 (CEP) 的规则或者在线机器学...
转载
2021-06-10 19:53:53
452阅读
由于实时场景对可用性十分敏感，实时作业通常需要避免频繁重启，因此动态加载作业配置（变量）是实时计算里十分常见的需求，比如通常复杂事件处理 (CEP) 的规则或者在线机器学...
转载
2021-06-10 20:16:45
896阅读
前言本案例是一个专注于flink动态规则计算的项目，核心技术组件涉及flink、hbase、clickhouse、drools等 项目可根据各类个性化需求进行二次开发后，直接用于实时运营，实时风控、交通监控等场景的线上生产画像标签体系用户基本属性标签用户订单属性标签用户退换货属性标签用户购物车属性标签用户活跃属性标签用户偏好属性标签用户基本属性标签用户属性指标主要根据业务数据来源（业务系统中的用户
转载
2024-05-27 17:12:08
133阅读
文章目录6、DataStream API 开发6.1 入门案例6.1.1 Flink 流处理程序的一般流程6.1.2 示例6.1.3 步骤6.1.4 参考代码6.2 输入数据集Data Sources6.2.1 Flink 在流处理上常见的Source6.2.2 基于集合的source6.2.3 基于文件的source（File-based-source）6.2.4 基于网络套接字的source
转载
2024-06-11 08:10:11
23阅读
需求背景Flink实时任务的开发过程中，有一个常见的场景需要动态更新一些配置信息，这些信息可能在文件中，也可能是数据库中。对于批处理任务而言这非常简单，可我们在实时任务的执行过程中，该如何实现呢，其实也非常简单。源码阅读在Flink中，DataStream也有Broadcast（广播）的能力，通过将数据流广播，可以把我们需要读取的的配置数据广播到所有的下游task中，实现共享配置信息的能力，方便下
转载
2023-07-11 17:29:17
195阅读
本人自己录的视频，讲解 Flink 整和 Apollo，动态更新作业配置，无需重启作业！在上一篇讲解 Flink 与 Nacos 整合的视频 中，讲过了常见的几种更新配置的方法，最常使用的可能就是通过广播流的方式，相信看完上个视频的，估计对整合 Nacos 做动态更新配置应该问题不大，zhisheng 我也觉得稍微简单，尤其 Nacos 搭建安装也比较简单。不知道大家公司有没有使用 Nacos 呢
转载
2024-05-24 19:32:01
11阅读
文章目录1. 部署模式（抽象的概念）1.1 会话模式（Session Mode）1.2 单作业模式（Per-Job Mode）1.3 应用模式（Application Mode）1.4 总结2. 系统架构2.1 整体构成2.1.1 作业管理器（JobManager）2.1.2 任务管理器（TaskManager）2.2 高层级抽象视角3. 独立模式（Standalone）3.1 概念3.2 会话
转载
2024-03-15 08:53:43
71阅读
序言本次主要是弄清楚.批流统一 的处理方式,因为它是使用SQL来操作批流计算的.所以它怎么设置算子并行度?如何设置窗口?如何处理流式数据?等等 有很多疑问.我还是觉得直接使用流计算的API更好.流批一体API最终也是转换成流式计算,最主要的是使用sql来设置算子或者窗口,并不直观. 本身就是转换流操作,我们可以知接使用流.另外,在1.12版本说的是流批一体并不成熟,现在到了1.17虽然没说不成熟,
转载
2024-05-22 13:07:23
90阅读
