概述Flink 是一个开源的分布式，高性能，高可用，准确的流处理框架。支持实时流处理和批处理。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Ja
转载
2024-02-03 10:42:00
61阅读
背景适用于配置化操作流，无需终止流式程序实现配置，并且以广播流的形式在流式程序中使用；实现MySQL_Source配置信息动态定时更新；实现MySQL_Source广播流，此处使用最常用的keyby广播流KeyedBroadcastProcessFunction；摘要关键字MySQL_Source、Flink广播流；设计MyJdbcSource日常创建一个继承源富函数的类；初始化单连接；配置更新时
转载
2023-07-26 10:52:02
96阅读
Flink 优化总结3第6章 FlinkSQL调优FlinkSQL官网配置参数：https://ci.apache.org/projects/flink/flink-docs-release-1.13/dev/table/config.html设置空闲状态保留时间Flink SQL新手有可能犯的错误，其中之一就是忘记设置空闲状态保留时间导致状态爆炸。列举两个场景：FlinkSQL的regular
转载
2023-12-23 15:19:26
274阅读
Flink从1.5.0开始支持广播状态(Broadcast State)。广播状态可以用来解决如下问题: 一条流需要根据规则或配置处理数据，而规则或配置又是随时变化的。此时，就可将规则或配置作为广播流广播出去，并以Broadcast State的形式存储在下游Task中。下游Task根据Broadcast State中的规则或配置来处理常规流中的数据。场景举例:动态更新计算规则: 如事件流需要根据
转载
2024-03-11 09:24:51
165阅读
点赞
背景描述：从kafka消费的数据落到Hbase中，源表的数据量较大，因此采用了mutator缓存1000条，或者累积1秒后，一起put。避免短时间内大量访问hbase regionServer，把hbase 干废了。由于mutator的flush操作是在invoke()方法中触发的，而invoke方法只在数据达到sink算子时，才会被触发。因此在夜间数据比较稀疏时，数据的时效性取决于两条数据到达的
转载
2024-03-22 14:49:49
130阅读
Flink（八）CDC一.简介二.DataStream方式1.MySQL binlog开启2.相关依赖3.编写代码4.打包5.测试三.自定义反序列化 一.简介CDC 是 Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费CDC的
转载
2023-08-20 20:08:00
132阅读
1、dataStreaming中的broadcast把元素广播给所有的分区，数据会被重复处理dataStream.broadcast()2、机器级别的广播广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasks。 广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都
转载
2023-08-05 13:21:30
477阅读
1、基于 Flink 实现典型的 ETL 场景这里我们主要介绍两大实时 ETL 场景：维表 join 和双流 join。流 join 维表预加载维表（读取维度数据库，将数据全量的加载到内存）热存储关联（Redis、HBase 这样的一些热存储中）广播维表Temporal table function join双流 join 离线 join vs. 实时 joinRe
转载
2023-08-02 10:40:14
266阅读
什么是CDC？CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。1. 环境准备mysqlHiveflink 1.13.5 on yarn说明：如果没有安装hadoop，那么可以不用
转载
2023-07-28 23:08:12
169阅读
总是被项目经理问：为什么你的Flink代码占用我这么多的集群资源啊？集群受不了，优化一下吧，程序员一听到优化的痛疼症，你懂的……今天我们就讲解一个比较基础，且容易被人忽略的基础优化Flink程序的方法。Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点，可以直
转载
2023-10-05 19:03:54
162阅读
更新模式在流处理过程中，表的处理并不像传统定义的那样简单。对于流式查询（Streaming Queries），需要声明如何在（动态）表和外部连接器之间执行转换
原创
2022-07-04 11:11:15
211阅读
在 Flink 中使用表和 SQL基本上跟其他场景是一样的；不过对于表和流的转换，却稍显复杂。当我们将一个 Table 转换成 DataStream 时，有“仅插入流”（Insert-Only Streams）和“更新日志流”（Changelog Streams）两种不同的方式，具体使用哪种方式取决于表中是否存在更新（update）操作。这种麻烦其实是不可避免的。我们知道，Table API 和
转载
2023-07-28 10:38:22
1731阅读
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流一、表和流的转换二、动态表三、持续查询四、将流转换成动态表五、更新查询六、追加查询七、将动态表转换为流八、更新插入流(Upsert) 一、表和流的转换Flink中使用表和SQL基本上跟其他场景是一样的。不过对于表和流的转换，却稍显复杂。当我们将一个Table转换成Dat
转载
2023-07-26 13:39:05
602阅读
CDC什么是CDCCDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC类型CDC主要分为基于查询和基于Binlog的两种方式。基于查询的CDC基于Binlog的CDC开源产品Sqoop、Kafka JDBC Sour
转载
2023-08-22 09:55:57
87阅读
Flink 支持广播变量，就是将数据广播到具体的 taskmanager 上，数据存储在内存中，这样可以减缓大量的 shuffle 操作；比如在数据 join 阶段，不可避免的就是大量的 shuffle 操作，我们可以把其中一个 dataSet 广播出去，一直加载到 taskManager 的内存中，可以直接在内存中拿数据，避免了大量的 shuffle，导致集群性能下降；广播变量创建后，它可以运行
转载
2024-03-21 11:32:58
108阅读
广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasks； 广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都是一致的； 一句话解释，可以将广播变量理解为是一个公共的共享变量，我们可以把一个dataset 数据集广播出去，然后不同的task在节点上都能够获
转载
2024-05-02 12:11:15
89阅读
Flink SQL 通过jdbc连接表的DDL语句create table deal_mysql(
tenant_id String,
shop_id String,
pay_amt decimal(19, 2),
pay_qty double,
sku_code String,
category_code_b string,
write_time timestamp,
dt Date,
prim
转载
2023-09-18 00:06:31
185阅读
本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。一.Flink Streaming ConnectorFlink 是新一代流批统一的计算引擎，它需要从不同的第三方存
转载
2023-10-18 16:37:25
135阅读
在Flink中，同一个算子可能存在若干个不同的并行实例，计算过程可能不在同一个Slot中进行，不同算子之间更是如此，因此不同算子的计算数据之间不能像Java数组之间一样互相访问，而广播变量Broadcast便是解决这种情况的。如下代码所示：val env = ExecutionEnvironment.getExecutionEnvironment
val ds1 = env.fromEle
转载
2024-02-20 14:54:20
82阅读
通常的认识是：Flink流模式跑流任务，批模式跑批任务，用流模式跑离线任务也是个有意思的事情虽然新版Flink已经在sql上实现了一定程度的流批一体，但是DataStream和DataSetAPI还是相差比较大的用Flink跑离线任务也是机缘巧合（也是必然，毕竟我不会Spark）现在的项目组经常会跑历史数据，当然是批模式的，在用Flinkbatch被遇到各种各样的问题困扰之后深入思考了我们需要跑的
原创
2021-02-07 15:10:00
2124阅读
