导读：Flink是目前流式处理领域的热门引擎，具备高吞吐、低延迟的特点，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+K8S深入打造高性能、稳定、可靠、易用的实时计算平台，支撑了京东内部多条业务线平稳度过618、双11多次大促。本次讲演将分享京东Flink计算平台在容器化实践过程中遇到的问题和方案，在性能、稳定性、易用性等方面对社区版Flink所做的深
转载
2024-05-09 19:32:01
141阅读
文章目录1. 问题2. 解决办法2.1. 创建数据流时指定TypeInfomation2.2. 数据流转换时指定TypeInfomation3. 关于TypeInfomation4. 总结 1. 问题当使用Flink中的registerDataStream注册table时，一直报错：org.apache.flink.table.api.TableException: An input of Ge
转载
2024-03-25 21:24:01
62阅读
程序运行时，发生的本不是程序本身编写顺序之内的行为，就是异常！
java中提供了一种解决方法，异常处理机制。
转载
2023-06-01 09:53:04
49阅读
Dojo Grid 结构Dojo Grid 在结构上有点类似于大家熟悉的 MVC 模式。MVC 模式是“Model-View-Controller”的缩写，也就是“模型 - 视图 - 控
原创
精选
2023-09-26 09:37:49
269阅读
点赞
作者：孙妍, 软件工程师, IBM
简介： Dojo 从 1.0 开始引入了一个功能强大又健壮的控件—— Grid。程序员可以使用此控件在开发 Gui 程序时制作出漂亮的电子表格。Gui 程序最注重的一个方面就是用户体验，但是在往 Grid 中添加大量数据的时候，程序的响应通常非常慢。本文通过一些方法来提高 Dojo Grid 的增加数据时的性能，增强用户体验。
Dojo Grid
转载
2010-10-08 13:52:23
351阅读
导读：随着 Flink 在流式计算的应用场景逐渐成熟和流行，如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具，所以 Flink 针对于批计算也以 SQL 为主要接口。本次分享主要介绍 Flink 对批处理的设计与 Hive 的集成。主要分为下面三点展开：设计架构项目进展性能测试
转载
2024-03-10 23:21:49
43阅读
当前Flink将迭代的重心集中在批处理上，之前我们谈及了批量迭代和增量迭代主要是针对批处理（DataSet）API而言的，并且Flink为批处理中的迭代提供了针对性的优化。但是对于流处理（DataStream），Flink同样提供了对迭代的支持，这一节我们主要来分析流处理中的迭代，我们将会看到流处理中的迭代相较于批处理有相似之处，但差异也是十分之明显。可迭代的流处理程序允许定义“步函数”（step
转载
2024-03-21 14:22:11
48阅读
Flink的核心特性：1、高吞吐，低延迟2、结果的准确性，提供了事件时间和处理时间，对于乱序事件流仍然提供一致且准确地结果3、精确一次(exactly-once)的状态一致性保证4、可以连接到最常用的存储系统和分布式文件系统5、高可用，本身高可用的设置，再加上从故障中快速恢复和动态扩展任务的能力，能够做到7*24小时全天候运行6、能够更新应用程序代码并将作业迁移到不同的Flink集群，而不会丢失应
转载
2023-10-23 13:26:19
209阅读
MySQL之SQL优化篇（二）：SQL性能分析与诊断 在优化之前，学会分析SQL性能十分重要，只有知道影响性能点，才能针对性地去进行优化。上一节：MySQL之SQL优化篇（一）：概述
SQL性能分析的目的 在编写SQL之初，最重要的是完成功能开发，在当时的系统环境和业务环境下，我们“自以为SQL已经最优”（不然也不会写上去）。如果不是因为业务上出现长时间等待或者超时，一般是想不起来要进行SQL
转载
2024-05-14 17:15:14
37阅读
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能。 流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理。 Flink在实现流处理和批处理时，与传统的一些方案完全不同，它从另一个视角看待流处理和批处理，将二者统一起来
转载
2024-01-29 11:28:09
116阅读
Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个 Flink 运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的 SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once 保证，而批处理需要支持高吞吐、高
转载
2023-12-11 01:48:18
171阅读
概述Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理
转载
2023-10-24 15:11:15
125阅读
RSS（Receive Side Scaling）队列是网络接口卡（NIC）的一种功能，用于提高网络数据包处理的效率和性能。它通过将接收的数据包分配到多个接收队列，从而使得多个处理器核心可以并行处理数据包。这种方法可以减少单个核心的负载，提高整体系统的吞吐量。原理接收队列：RSS 功能将网络数据包分配到多个接收队列中。每个队列与一个处理器核心相关联，这样数据包处理就可以并行进行。哈希函数：RSS
原创
2024-09-13 11:13:26
1167阅读
Python和Java是目前编程最受欢迎的两种语言，本文从多角度比较二者的相同点和差异，帮助你更深入地了解两种语言的特点，最终能根据你自身的需求来进行选择。Python和Java是当今世界上最流行的两种编程语言python工程师怎么考。两者都被广泛用于各种行业和应用，从网络开发到机器学习再到数据分析。但是这两种语言哪个更好呢？在这本中，我们将多方面比较Python和Java，探索二者的历史、特点
导读： 做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅速流行，刚推出时除了在某些场景比 Hadoop MapReduce 带来几十到上百倍的性能提升外，还提出了用一个统一的引擎支持批处理、流处理、交互式查询、机器学习等常见的数据处理场景。凭借高性能和全面的场景支持，Spark 早已成为众多大数据开发者
转载
2024-08-16 19:44:47
29阅读
在现代数据处理领域，Apache Flink 和 Apache Spark 是两款非常流行的批处理框架。在对比它们的性能时，许多业务场景和技术细节需要考虑。这篇博文将详细记录我们在解决“Flink 批处理和 Spark 批处理性能对比”问题的全过程。
## 问题背景
在数据处理越来越成为企业核心竞争力的今天，选择合适的批处理框架对业务的成功至关重要。Apache Flink 和 Apache
导读当前的市场环境对产品运营提出了更高的要求，特别是对数据指标实时性的要求日益严格。为了能够实时监测数据动态和特征用户的状态，我们采用了分布式数据库 TiDB 和计算框架 Flink 的组合，提出了一种基于滑动窗口的实时累计指标算法。该算法能够在市场营销活动中发挥积极的作用，显著改善用户体验并促进收益增长。1. 前言在不少的支付分析场景里，大部分累计值指标可以通过 T+n 的方式计算得到。随着行业
转载
2024-04-25 20:26:38
67阅读
流式计算中时间的分类：1 eventTime:数据、事件产生的时间，2 ingestionTime：进入flink/spark的时间3 processingTime：进入到具体计算的operator的系统时间分析：spark streaming中的窗口计算使用的就是processingtime,与事件、数据真实发生的时间无关，就取决于什么到达处理节点；flink中引入了eventtime机制，就是
转载
2024-05-26 20:22:58
103阅读
文章目录数据流图（Dataflow Graph）并行度（Parallelism）算子链（Operator Chain）作业图（JobGraph）与执行图（ExecutionGraph） 数据流图（Dataflow Graph）所有的 Flink 程序都可以归纳为由三部分构成：Source、Transformation 和 Sink。Source 表示“源算子”，负责读取数据源。Transform
转载
2024-03-25 10:38:06
170阅读
文章目录2.9 进阶使用2.9.1 写入性能2.9.2 读取性能2.9.3 多Writer并发写入2.9.4 表管理2.9.5 缩放Bucket2.10 文件操作理解2.10.1 插入数据2.10.2 删除数据2.10.3 Compaction2.10.4 修改表2.10.5 过期快照2.10.6 Flink 流式写入 2.9 进阶使用2.9.1 写入性能Paimon的写入性能与检查点密切相关，
