文章目录资源配置调优内存设置并行度设置最优并行度计算Source端并行度的配置Transform端并行度的配置Sink端并行度的配置RocksDB大状态调优Checkpoint设置用 Flink ParameterTool读取配置读取运行参数读取系统属性读取配置文件注册全局参数压测方式反压处理反压现象及定位利用 Flink Web UI 定位产生反压的位置利用 Metrics 定位反压位置反压的
转载
2023-12-25 11:40:41
203阅读
1.minibatch实现原理：MiniBatch 优化的核心思想是缓冲输入记录微批处理以减少对状态的访问，进而提升吞吐并减少数据的输出。适用场景：仅适用于优化 GROUP BY，Flink SQL 流模式下，每来一条数据都会执行 State 操作，I/O 消耗较大。设置 miniBatch 后，同一个 Key 的一批数据只访问一次 State，且只输出最新的一条数据，既减少了 State 访问也
转载
2024-02-15 15:40:06
71阅读
原文：4 Ways to Optimize Your Flink Applications 作者：Ivan Mushketyk 译者注：Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台。作者在本文介绍了一些如何优化Flink应用速度的方式。以下为译文。Flink框架非常复杂，并提供了许多方法来调整其执行方式。本文我将介绍提高Flink应用程序性能的四种不同方法。如
转载
2024-03-13 17:09:35
53阅读
1、 资源配置调优Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定。标准的Flink任务提交脚本（Generic CLI 模式）从1.11开始，增加了通用客户端模式，参数使用-D <
转载
2023-10-17 09:59:12
81阅读
截至当前，Flink 作业的状态后端仍然只有 Memory、FileSystem 和 RocksDB 三种可选，且 RocksDB 是状态数据量较大（GB 到 TB 级别）时的唯一选择。RocksDB 的性能发挥非常仰赖调优，如果全部采用默认配置，读写性能有可能会很差。 但是，RocksDB 的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑 Flink 状态存
转载
2024-03-06 00:51:17
72阅读
Foreword截至当前，Flink作业的状态后端仍然只有Memory、FileSystem和RocksDB三种可选，且RocksDB是状态数据量较大（GB到TB级别）时的唯一选择。RocksDB的性能发挥非常仰赖调优，如果全部采用默认配置，读写性能有可能会很差。但是，RocksDB的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑Flink状态存储这一方面，我们
转载
2024-03-15 05:35:22
38阅读
1. 版本说明本文档内容基于 flink-1.16.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 查询配置默认情况下，Table 和 SQL API 已经配置好了可以接受的性能对应的配置。取决于 table 程序的需要，可能还需要配置一些必要的参数给优化器。比如，无界流程序可能需要确定必要的状态大小上限。2.1. 概述在实例化一个 TableEnvironment 对象时，
转载
2024-02-28 21:57:32
55阅读
Flink介绍-《Fink原理、实战与性能优化》读书笔记1.1 Apache Flink是什么？在当代数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎Apache Spark,基本上已经取代了MapReduce
转载
2024-04-28 18:58:38
94阅读
一、背景及现状 1. 三种模式的分析 Flink 作业目前有三种创建方式：JAR 模式、画布模式和 SQL 模式。不同的提交作业的方式针对的人群也是不一样的。■ Jar 模式Jar 模式基于 DataStream/DataSet API 开发，主要针对的是底层的开发人员。优点：功能灵活多变，因为它底层的 DataStream/DataSet A
转载
2024-07-24 13:13:18
51阅读
在大数据领域，大多数开源框架（Hadoop、Spark、Storm）都是基于 JVM 运行，但是 JVM 的内存管理机制往往存在着诸多类似 OutOfMemoryError 的问题，主要是因为创建过多 的对象实例而超过 JVM 的最大堆内存限制，却没有被有效回收掉，这在很大程度上影响了系 统的稳定性，尤其对于大数据应用，面对大量的数据对象产生，仅仅靠 JV
原创
2022-07-01 17:46:47
1545阅读
一、为什么要优化？（优化背景）Flink 支持多种 StateBackend，当状态比较大时目前只有 RocksDBStateBackend 可供选择。RocksDB 是基于 LSM 树原理实现的 KV 数据库，LSM 树读放大问题比较严重，因此对磁盘性能要求比较高，强烈建议生产环境使用 SSD 做为 RocksDB 的存储介质。但是有些集群可能并没有配置 SSD，仅仅是普通的机械硬盘，当 Fli
转载
2024-06-20 17:12:57
87阅读
深度学习（Deep Learning）是机器学习的一个子领域，利用多层神经网络模型来模拟和解决复杂问题。深度学习通过大量数据和强大的计算能力，能够在图像识别、自然语言处理、语音识别等领域取得显著的成果。以下是对深度学习技术的详细总结。概述 深度学习（Deep Learning）：是机器学习的一个分支，使用多层神经网络模型来处理和分析数据。 模拟人脑的工作方式，通过多层次的神经网络进行特征提取和模式
转载
2024-08-19 19:59:15
49阅读
参考官网： https://flink.apache.org/截止目前：20220606， flink 最新的版本1.15。本次学习使用Flink1.13 + jdk8 进行学习。1. 简单介绍 Flink 是Apache旗下的一个框架和分布式处理引擎。用于对无界和有界数据流进行有状态计算，核心目标是数据流上的有状态计算(Stateful Computations over Data
转载
2023-05-17 23:15:31
18阅读
本文分为四个部分，基本涵盖了所有Spark优化的点，面试和实际工作中必备。
《Spark性能优化：开发调优篇》
《Spark性能优化：资源调优篇》
《Spark性能优化：数据倾斜调优篇》
《Spark性能优化：shuffle调优篇》
Spark性能优化：开发调优篇在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了
改造后数据存储周期由原来的5分钟减少到1秒钟。
物联网数据平台是电站及泵站智慧运维平台的核心组成，其整体架构如下：物联网数据平台的数据来源主要为电站、水厂、储能站，通过数据网关，将各场站端的设备运行数据传输至云平台的消息队列（MQ）中，数据处理服务订阅MQ的消息，根据设定的规则引擎，进行实时数据处理，之后将数据存储落盘。数据服务API则根据业务需求提供包含实
Flink Table 和 SQL 内置了很多 SQL 中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。 5.1 系统内置函数Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数。SQL 中支持的很多函数，Table API 和 SQL 都已经做了实现，其它还在快速开
转载
2024-02-17 12:38:50
43阅读
./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-
转载
2024-03-16 14:03:26
205阅读
文章目录01 引言02 History Server03 序列化04 复用对象05 数据倾斜
原创
2022-03-22 11:47:06
1060阅读
1.代码层优化1.没有必要的变量直接使用2.多个地方用到的配置文件提取到公共的地方 3.用集合处理多个变量 修改为 4.冗余代码换个写法改为：5.规范注释的书写6.对于异常类的处理，如果捕捉到一定要处理，不然任务报错没有查询的地方7.配置信息从类里抽出来，直接写到配置文件里，方便查找统一修改如下：2.流程优化：对于任务算子的并行度单独设置，2.Hbase落地表分区写入
转载
2024-04-28 14:00:44
85阅读
文章目录MiniBatch 聚合Local-Global 聚合拆分 distinct 聚合在 distinct 聚合上使用 FILTER 修饰符关注我的公众号【宝哥大数据】，更多干货 SQL 是数据分析中使用最广泛的语言。Flink Table API 和 SQL 使用户能够以更少的时间和精力定义高效的流分析应用程序。此外，Flink Table API 和 SQL 是高效优化过的，它集成了许多
转载
2024-02-28 10:58:05
66阅读
