深度学习（Deep Learning）是机器学习的一个子领域，利用多层神经网络模型来模拟和解决复杂问题。深度学习通过大量数据和强大的计算能力，能够在图像识别、自然语言处理、语音识别等领域取得显著的成果。以下是对深度学习技术的详细总结。概述 深度学习（Deep Learning）：是机器学习的一个分支，使用多层神经网络模型来处理和分析数据。 模拟人脑的工作方式，通过多层次的神经网络进行特征提取和模式
转载
2024-08-19 19:59:15
49阅读
在大数据领域，大多数开源框架（Hadoop、Spark、Storm）都是基于 JVM 运行，但是 JVM 的内存管理机制往往存在着诸多类似 OutOfMemoryError 的问题，主要是因为创建过多 的对象实例而超过 JVM 的最大堆内存限制，却没有被有效回收掉，这在很大程度上影响了系 统的稳定性，尤其对于大数据应用，面对大量的数据对象产生，仅仅靠 JV
原创
2022-07-01 17:46:47
1545阅读
文章目录01 引言02 History Server03 序列化04 复用对象05 数据倾斜
原创
2022-03-22 11:47:06
1060阅读
2. 前端性能优化实战2.1 延迟渲染通常为了加快页面渲染的速度，基础的解决思路是，通过去除页面上除首屏以外的对于用户不可见的信息区块，让页面的DOM节点数更少，DOM树结构更简单，从而达到加快页面下载和渲染速度的目的。然后使用懒加载异步化请求、BigPipe等方案，动态加载这些不可见的信息区块。2.1.1 挑战和困难有些页面是网站重要的主流程页面，承担搜索功能的搜索
转载
2023-12-27 22:59:00
51阅读
后端服务实战之性能优化本文简单介绍下后端服务开发中常用的一些性能优化策略。1、代码优化代码实现是第一位的，特别是一些不合理的复杂实现。如果结合需求能从代码实现的角度，使用更高效的算法或方案实现，进而解决问题，那是最简单有效的。2、数据库数据库的优化，总体上有3个方面：1) SQL调优：除了掌握SQL基本的优化手段，使用慢日志定位到具体问题SQL，使用explain、profile等工具
转载
2023-09-25 06:55:43
89阅读
Flink介绍-《Fink原理、实战与性能优化》读书笔记1.1 Apache Flink是什么？在当代数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎Apache Spark,基本上已经取代了MapReduce
转载
2024-04-28 18:58:38
91阅读
目录1 History Server性能优化2 序列化3 复用对象4 数据倾斜 1 History Server性能优化flink的HistoryServer主要是用来存储和查看任务的历史记录，具体信息可以看官网 https://ci.apache.org/projects/flink/flink-docs-release- 1.12/deployment/adva
原创
2021-09-13 23:06:36
557阅读
在大数据处理领域，Apache Flink以其流处理和批处理一体化的能力，成为许多企业的首选。然而，随着数据量的增长，性能优化变得至关重要。本文将深入浅出地探讨Flink SQL的常见性能问题、调优方法、易错点及调优技巧，并提供代码示例。
1. 常见性能问题
1.1 数据源读取效率低
并行度不足：默认的并行度可能无法充分利用硬件资源。
-- 设置并行度
SET 'parallelism.de
原创
2024-05-22 10:35:59
123阅读
在大数据处理领域，Apache Flink以其流处理和批处理一体化的能力，成为许多企业的首选。然而，随着数据量的增长，性优方
原创
2024-05-26 19:51:07
99阅读
优化自定义Source和Sink：减少不必要的序列化和反序列化。上面介绍了Apache Flink SQL的性能优化实践，涵盖了数据源读取、
原创
2024-06-11 15:36:57
112阅读
缘起最近我们组在大规模上线Flink SQL作业。首先，在进行跑批量初始化完历史数据后，剩下的就是消费Kafka历史数据进行追数了。但是发现某些作业的追数过程十分缓慢，要运行一晚上甚至三四天才能追上最新数据。由于是实时数仓指标计算上线初期，经常验证作业如果有问题就得重蹈覆辙重新追数，效率很低，于是我开始分析Flink SQL的优化。问题insert into tableB
select a, ma
本文针对Flink SQL作业追数缓慢问题进行分析与优化。作业主要涉及分组聚合操作，从upsert-kafka表读取数据写入HBase。通过分析作业瓶颈，提出三个优化方案：1)启用local/global聚合减少网络传输，但效果有限；2)增加并行度提升吞吐，缩短50%处理时间；3)针对大状态问题调整RocksDB参数，包括block缓存大小等，最终将作业处理时间
Flink 将 JVM 堆内存切分为三个部分，其中一部分为 Network Buffers 内存。Network Buffers 内存是 Flink 数据交互层的关键内存资源，主要目
原创
2022-07-01 17:46:53
1516阅读
1评论
导读：Flink是目前流式处理领域的热门引擎，具备高吞吐、低延迟的特点，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+K8S深入打造高性能、稳定、可靠、易用的实时计算平台，支撑了京东内部多条业务线平稳度过618、双11多次大促。本次讲演将分享京东Flink计算平台在容器化实践过程中遇到的问题和方案，在性能、稳定性、易用性等方面对社区版Flink所做的深
转载
2024-05-09 19:32:01
141阅读
【Flink简介】概述如今的大数据技术应用场景，对实时性的要求已经越来越高。作为新一代大数据流处理框架，由于非常好的实时性，Flink独树一帜，在近些年引起了业内极大的兴趣和关注。Flink能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供了丰富的时间类型和窗口计算、Exactly-once 语义支持，另外还可以进行状态管理，并提供了CEP（复杂事件处理
转载
2024-05-24 19:20:56
21阅读
以 SQL 作业为例介绍 Flink 1.12 中 multiple input operator 与 source chaining 的优化。
转载
2021-06-13 21:36:03
261阅读
SQL 是数据分析中使用最广泛的语言。Flink Table API 和 SQL 使用户能够以更少的时间和精力定义高效的流分析应用程序。此外，Flink Table API 和 SQL 是高效优化过的，它集成了许多查询优化和算子优化。但并不是所有的优化都是默认开启的，因此对于某些工作负载，可以通过打开某些选项来提高性能。这里将介绍一些实用的优化选项以及流式聚合的内部原理，它们在某些情况下能带来很大
转载
2023-07-17 23:42:10
0阅读
执行效率的优化一直是 Flink 追寻的目标。在大多数作业，特别是批作业中，数据通过网络在 task 之间传递（称为数据 shuffle）的代价较大。正常情况下一条数据经过网络需要经过序列化、磁盘读写、socket 读写与反序列化等艰难险阻，才能从上游 task 传输到下游；而…
转载
2022-03-22 16:30:45
122阅读
Apache Flink 是一个开源的分布式，高性能，高可用，准确的流处理框架。同时支持实时流处理和批处理。flink特性支持批处理和数据流程序处理优雅流畅的支持java和scala api同时支持高吞吐量和低延迟支持事件处理和无序处理通过SataStream API，基于DataFlow数据流模型在不同的时间语义(时间时间，处理时间)下支持灵活的窗口(时间，技术，会话，自定义触发器)仅处理一次的
转载
2024-03-17 00:56:06
46阅读
摘要：本文作者洪志龙（柏星）& 朱翥（长耕），分享了如何在 Flink 1.13 版本和 1.14 版本中对 Flink 调度大规模作业的性能进行了优化。主要内容包括：性能测评结果...
转载
2022-04-19 10:28:29
10000+阅读
