文章目录1.概览2.框架内存(Framework Memory)3.根据比例限制的组件(Capped Fractionated Components)4.对应的 JVM 参数(JVM Parameters)5.本地执行时的内存策略(Local Execution) 之前的一篇 文章( flink-1.10 如何配置 Task Executor 内存)介绍了新的内存模型下配置 task exec
转载
2024-03-21 09:56:06
32阅读
导读：Apache Flink 是公认的新一代开源大数据计算引擎，可以支持流处理、批处理和机器学习等多种计算形态，也是Apache 软件基金会和 GitHub 社区最为活跃的项目之一。2019 年 1 月，阿里巴巴实时计算团队宣布将经过双十一历练和集团内部业务打磨的 Blink 引擎进行开源并向 Apache Flink 贡献代码，此后的一年中，阿里巴巴实时计算团队与 Apache Flink 社
转载
2024-05-04 23:23:40
51阅读
Flink内存管理庞大而复杂，其究竟划分为哪些结构，又是为什么这么划分，Flink版本迭代过程中内存模型又有何变化，这都是需要关注的问题，本文结合Flink源码与官方文档总结了Flink内存管理的重点内容。有问题的地方，还请批评指正~ 文章目录一. Flink1.10及以上版本内存管理1.1 TaskManager内存组成与配置1.2 JobManager内存组成与配置1.3 内存管理源码解析二.
转载
2024-03-21 14:36:57
38阅读
前言学习flink时写的一个本地demo在测试过程中报错，一个很简单的word count代码package com.ieg.wc;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.
转载
2024-05-15 21:51:14
39阅读
FlinkBatchSQL1.10实践李劲松（之信）Flink中文社区Flink作为流批统一的计算框架，在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的FlinkBatchSQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。架构Stack首先来看下stack，在新的Blinkplanner
原创
2021-02-06 20:08:38
565阅读
Flink 1.10 release 文档描述了一些比较重要的点，比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别，如果你准备将 Flink 升级到 1.10 版本，建议仔细看完下面的内容。集群和部署•文件系统需要通过插件的方式加载•Flink 客户端根据配置的类加载策略加载，parent-first 和 child-first 两种方式•允许在所有的 TaskManager 上均匀
原创
2022-09-08 13:23:38
113阅读
整理 | 张壮壮（Flink 社区志愿者）摘要：本文根据 Apache Flink 系列直播整理而成，由阿里巴巴高级开发工程师唐云（茶干）分享。主要内容如下：容器管理系统的演变Flink...
转载
2021-07-06 13:58:02
618阅读
官网对应页面：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connectorFlinkSQLElasticSearchconnector仅支持流模式，也仅支持做sink： ``` Sink:StreamingAppendModeSink:Strea
原创
2021-02-08 10:15:07
1113阅读
最近因为疫情的原因，偷了好长时间的懒，现在终于开始继续看Flink的SQL了————————————————电脑上的Flink项目早就升级到了1.10了，最近还在看官网新的文档，趁着周末，体验一下新版本的SQLAPI（踩一下坑）。直接从之前的云邪大佬的Flink的SQL样例开始（pom已经提前整理好了）。简单回忆一下内容，就是从kafka接收用户行为，根据时间分组，求PV和UV，然后输出到mysq
原创
2021-02-08 10:16:53
456阅读
Flink1.10Container环境实战唐云（茶干）Flink中文社区整理|张壮壮（Flink社区志愿者）摘要：本文根据ApacheFlink系列直播整理而成，由阿里巴巴高级开发工程师唐云（茶干）分享。主要内容如下：容器管理系统的演变FlinkonK8SintroFlinkonK8S实战分享DemoTips：点击「阅读原文」可查看更多1.10系列直播视频～本文第一部分将简明扼要地介绍容器管理系
原创
2021-02-05 20:38:36
489阅读
Hbase也是我们很常用的数据存储组件，所以提前尝试下用SQL写Hbase，中间也遇到一些坑，跟大家分享一下。官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#hbase-connectorHBaseConnector支持这些操作：Source:BatchSink:Bat
原创
2021-02-08 10:12:56
1506阅读
整理 | 张壮壮（Flink 社区志愿者）摘要：本文根据 Apache Flink 系列直播整理而成，由阿里巴巴高级开发工程师唐云（茶干）分享。主要内容如下：容器管理系统的演变Flink...
转载
2022-01-25 16:47:58
307阅读
Flink 1.10 release 文档描述了一些比较重要的点，比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别，如果你准备将 Flink 升级到 1.10 版本，建议仔细看完下面的内容。集群和部署•文件系统需要通过插件的方式加载•Flink 客户端根据配置的类加载策略加载，parent-first 和 child-first 两种方式•允许在所有的 TaskManager 上均匀
转载
2024-04-21 16:04:58
27阅读
简介： 滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。一、 背景在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进行了一些增强，提供了 StreamSQL 和低阶 API 两种服务形式。现有集群规模达到了 1500 台
转载
2021-02-04 09:50:47
370阅读
2评论
导读：滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。 这篇文章介绍了我们升级过程中遇到的困难和思考，希望能给大家带来启发。 在…
转载
2022-05-23 20:55:56
114阅读
简介： 滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。 一、 背景 在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进
转载
2021-02-03 09:46:00
29阅读
前言 突然的一个想法，我想把flink官网英语版全部看一遍翻译出来，并且带上自己的理解。自己不是什么大神，只是想这样做一遍，有人说不是有中文版，因为我自己想练习一下英语和对flink的理解吧！工作是一步一步进行的，所以此博客会不断更新直到读完，希望能够坚持读完！能力有限，希望写的不对的地方，你能够纠
原创
2021-05-12 21:53:45
286阅读
导读：滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。
这篇文章介绍了我们升级过程中遇到的困难和思考，希望能给大家带来启发。
一、 背景
在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进行了一些增强，提供了 St
转载
2021-02-03 10:21:00
88阅读
2评论
Flink1.13发布新特性概要这个版本是一些永久性的更新，帮助用户更好理解Flink程序的性能。当我们的流处理的速度并不是我们希望看到的性能的时候，这些新特性能帮助我们找到原因：数据加载和背压图能帮助定位性能瓶颈所在, CPU火焰图可以定位哪些代码是程序中的热点代码，State Access Latencies可以查看状态的保存情况除了上述的特征，Flink社区还改进了系统的许多地方，其中有一些
转载
2024-03-09 21:51:15
25阅读
Flink1.10的内存管理发生部分变化，笔者基于官方文档对主要变更做了分析，将Flink1.10中内存设置等总结出本文。Flink1.10内存模型 如上图，最外层是Flink进程内存，即Flink相关进程的JVM内存，通常容器部署设置这个参数即可。内层的 Total Flink Memory是去除部分JVM元数据区等内存后的部分，通常独立集群设置这个参数即可。其次，Flink总内存分为堆上内存和
转载
2024-04-15 11:08:04
387阅读
