翻译 | 林东Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.2.0 版本正式发布！本次发布的版本重点添加了 Flink ML 中的特征工程算法。现在 Flink ML 包含了 33 个开箱可用的特征工程算法，可以支持很多常见的特征工程任务。随着这些算法的添加，我们相信 Flink ML 已经准备好用于需要特征工程的生产作业，例如预处理离线和在线机器学习任务的输入数
问题导读1.Flink1.8引入对什么状态的连续清理？2.保存点兼容性方面，不在兼容哪个版本？3.Maven依赖在Hadoop方便发生了什么变化？4.Flink是否发布带有Hadoop的二进制文件？Flink1.8发布，主要改变如下：1.将会增量清除旧的State2.编程方面TableEnvironment弃用3.Flink1.8将不发布带有Hadoop的二进制安装包更多详细如下：这次的发行版本讨
转载
2024-05-07 16:04:53
102阅读
Transform转换算子1、mapval streamMap = stream.map { x => x * 2 }2、flatMap val streamFlatMap = stream.flatMap{
x => x.split(" ")
}3、Filterval streamFilter = stream.filter{
x =>
转载
2024-03-22 09:37:10
52阅读
JobMaster 的主要职责包括作业生命周期的管理、任务的调度、出错恢复、状态查询和分布式状态快照。分布式状态快照包括 Checkpoint 和 Savepoint，其中 Checkpoint 主要是为出错恢复服务的，而 Savepoint 主要是用于作业的维护，包括升级和迁移等等。分布式快照是由 CheckpointCoordinator 组件来进行触发和管理的。JobMaster 中的核心组
转载
2024-03-27 13:48:34
25阅读
1. 背景 在本次升级之前，我们使用的主要版本为Flink-1.4.2，并且在社区版本上进行了一些增强，提供了StreamSQL和低阶API两种服务形式。现有集群规模达到了1500台物理机，运行任务数超过12000 ，日均处理数据 3万亿条左右。不过随着社区的发展，尤其是Blink合入master后有很多功能和架构上的升级，我们希望能通过版本升级提供更好的流计算服务。今年2月份
转载
2024-04-08 11:01:43
24阅读
Flink 1.10刚刚发布，这个版本周期内号主将主要方向转向数据湖社区（Apache Hudi），在重要特性中包含一个特性由号主贡献：[FLINK13025] There is a new Elasticsearch sink connector, fully supporting Elastic
转载
2024-04-29 12:50:45
79阅读
Apache Flink 核心概念之一是流 (无界数据) 批 (有界数据) 一体。流批一体极大的降低了流批融合作业的开发复杂度。在过去的几个版本中，Flink 流批一体逐渐成熟，Flink 1.15 版本中流批一体更加完善，后面我们也将继续推动这一方向的进展。目前大数据处理的一个趋势是越来越多的业务和场景采用低代码的方式进行数据分析，而 Flink SQL则是这种低代码方式数据分析的典型代表。越来
转载
2024-03-01 07:15:16
116阅读
## Flink升级后Hadoop要跟着升级吗？
### 引言
Flink是一个分布式流处理和批处理框架，而Hadoop是一个开源的分布式计算框架。在进行Flink升级的过程中，一般来说是需要考虑Hadoop是否需要跟着升级的。本文将探讨这个问题，并提供一些示例代码来帮助理解。
### Flink和Hadoop的关系
在讨论是否需要升级Hadoop之前，让我们先了解一下Flink和Hado
原创
2024-01-31 04:19:51
92阅读
就在刚才 Apache Flink 社区宣布 Flink 1.12.0 版本正式发布了,从这个版本开始真正的流批一体又往前迈了一大步.
Release Notes - Flink 1.12
这些发布说明讨论了在 Flink 1.11 和 Flink 1.12 之间发生变化的重要方面，比如配置、行为或依赖关系。如果您计划将 Flink 版本升级到 1.12，请仔细阅读这些说明。
1, APIS
Re
原创
2021-08-16 14:58:58
1060阅读
本文将为大家展示字节跳动公司怎么把Storm从J storm迁移到Flink的整个过程以及后续的计划。你可以借此了解字节跳动公司引入Flink的背景以及Flink集群的构建过程。字节跳动公司是如何兼容以前的Jstorm作业以及基于Flink做一个任务管理平台的呢？本文将一一为你揭开这些神秘的面纱。本文内容如下：引入Flink的背景Flink集群的构建过程构建流式管理平台引入Flink的背景 下面这
Shiro是Apache一款开源产品，它是一款安全框架，它支持多语言开发，而且使用起来比较简单，因此使用的人数也是可观的。我们还知道一款spring开发的框架，SpringSecurity 这款安全框架功能更加强大，但是使用起来相对shiro较复杂。shiro可以开发出比较好的应用 它不仅可以在JavaSE程序中使用，也可以在复杂EJB程序中使用，还能在WEB程序中使用，所以它的应用非常广泛的。s
在flink1.3.2及一下版本中有一个bug，导致吧cpu打满，从而会影响node manager上其他task的正常运行。官方链接说明：https://issue
原创
2022-06-19 21:44:02
686阅读
导读：滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。这篇文章介绍了我们升级过程中遇到的困难和思考，希望能给大家带来启发。 一、 背景 在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进行了
转载
2024-05-28 17:48:20
69阅读
导读：滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。
这篇文章介绍了我们升级过程中遇到的困难和思考，希望能给大家带来启发。
一、 背景
在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进行了一些增强，提供了 St
转载
2021-02-03 10:21:00
88阅读
2评论
简介： 滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。一、 背景在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进行了一些增强，提供了 StreamSQL 和低阶 API 两种服务形式。现有集群规模达到了 1500 台
转载
2021-02-04 09:50:47
370阅读
2评论
导读：滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。 这篇文章介绍了我们升级过程中遇到的困难和思考，希望能给大家带来启发。 在…
转载
2022-05-23 20:55:56
114阅读
简介： 滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。 一、 背景 在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进
转载
2021-02-03 09:46:00
29阅读
Flink 作为有状态计算的流批一体分布式计算引擎，会在运行过程中保存很多的「状态」数据，并依赖这些数据完成任务的 Failover 以及任务的重启恢复。那么，请思考一个问题：如果程序升级迭代调整了这些「状态」的数据结构以及类型，Flink 能不能从旧的「状态」文件（一般就是 Savepoint 文件）中恢复？数据类型上一篇我们介绍过 Flink 内置的一些用于状态存储的集合工具，如 ValueS
转载
2024-04-24 10:21:12
27阅读
内存配置在1.10和_1.11_版本中，Flink 分别对TaskManager和JobManager的内存配置方法做出了较大的改变。 部分配置参数被移除了，或是语义上发生了变化。jobmanager.heap.sizejobmanager.heap.mb尽管这两个参数以“堆（Heap）”命名，在此之前它们实际上只有在独立部署模式才完全对应于 JVM 堆内存。 在容器化部署模式下（Kubernet
转载
2021-04-04 23:37:37
662阅读
2评论
Flink的standAlone模式环境安装使用standalone模式，需要启动flink的主节点JobManager以及从节点taskManager服务及地址node1node2node3JobManager是否否TaskManager是是是第一步：更改配置文件
修改node01服务器配置文件flink-conf.yamlnode01执行以下命令更改从节点slaves配置文件cd /op
转载
2024-03-11 07:42:39
41阅读
