ApacheFlink的博客_行业实践,技术探索

为什么 Flink 无法实时写入 MySQL？

Flink 1.10 使用 flink-jdbc 连接器的方式与 MySQL 交互，读数据和写数据都能完成，但是在写数据时，发现 Flink 程序执行完毕之后，才能在 MySQL 中查询到插入的数据。即，虽然是流计算，但却不能实时的输出计算结果？那么问题虽然解决了，根本原因是…

Flink

flink

mysql

默认值

转载 2022-09-28 16:09:58 198 阅读

Flink 使用大状态时的一点优化

Flink 源码中在选择 RocksDB 状态磁盘时，存在的问题。一些解决方案，并分析了每种方案的利弊。 Flink 支持多种 StateBackend，当状态比较大时目前只有 RocksDBStateBackend 可供选择。 RocksDB 是基于 LSM 树原理实现的 …

Flink

flink

并行度

负载均衡

原创 2022-09-28 16:09:44 103 阅读

Flink 1.11 SQL 使用攻略

7 月 6 日，Apache Flink 1.11 正式发布。从 3 月初进行功能规划到 7 月初正式发版，1.11 用将近 4 个月的时间重点优化了 Flink 的易用性问题，提升用户的生产使用体验。 SQL 作为 Flink 中公认的核心模块之一，对推动 Flink 流批一…

Flink

sql

flink

hive

原创 2022-09-28 16:09:39 85 阅读

数据处理能力相差 2.4 倍？Flink 使用 RocksDB 和 Gemini 的性能对比实验

微博机器学习平台使用 Flink 实现多流 join 来生成在线机器学习需要的样本。时间窗口内的数据会被缓存到 state 里，且 state 访问的延迟通常决定了作业的性能。开源 Flink 的状态存储主要包括 RocksDB 和 Heap 两种，而在去年的 Flink Fo…

Flink

数据

flink

机器学习

转载 2022-09-28 16:09:13 94 阅读

Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略

Flink SQL 的 FileSystem Connector 为了与 Flink-Hive 集成的大环境适配，做了很多改进，而其中最为明显的就是分区提交（partition commit）机制。本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策…

Flink

apache

flink

hive

转载 2022-09-28 16:08:16 243 阅读

Zeppelin SDK ：Flink 平台建设的基石

用过 Zeppelin 的人应该比较熟悉 Zeppelin 的 UI，因为 Zeppelin 的主要使用场景都是交互式，用户需要手动来操作。那除了这种手动的方式，还有其他的方式吗？如果你不想用 Zeppelin UI，但又想用 Zeppelin 提交和管理大数据作业（比如 F…

Flink

flink

sql

spark

原创 2022-09-28 16:07:57 91 阅读

Flink 生态：Pulsar Connector 机制剖析

Apache Pulsar 是 Yahoo 开源的下一代分布式消息系统，在2018年9月从 Apache 软件基金会毕业成为顶级项目

Flink

数据

flink

事件流

原创 2022-09-28 16:07:31 341 阅读

基于 Flink 的典型 ETL 场景实现方案

本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手，综述数仓发展演进，然后分享基于 Flink 实现典型 ETL 场景的几个方案。我们先来回顾一下数据仓库的概念。数据仓库的概念是于90年代由 Bill Inmon 提出, 当时的背景是传统的 OLTP 数据库无法很好…

Flink

数据

离线

数据仓库

转载 2022-09-28 16:06:45 100 阅读

滴滴基于 Flink 的实时数仓建设实践

随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。随着互联网的发展进入下半场，数…

Flink

数据

离线

sql

原创 2022-09-28 16:06:22 487 阅读

Flink RocksDB 状态后端参数调优实践

截至当前，Flink 作业的状态后端仍然只有 Memory、FileSystem 和 RocksDB 三种可选，且 RocksDB 是状态数据量较大（

Flink

flink

数据

默认值

转载 2022-09-28 16:06:00 255 阅读

双亲委派模型与 Flink 的类加载策略

我们知道，在 JVM 中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利

Flink

flink

加载

类加载器

转载 2022-09-28 16:05:16 49 阅读

数据湖有新解！Apache Hudi 与 Apache Flink 集成

Apache Hudi 是由 Uber 开发并开源的数据湖框架，它于 2019 年 1 月进入 Apache 孵化器孵化，次年 5 月份顺利毕业晋升为 Apache 顶级项目。是当前最为热门的数据湖框架之一。 1. 为何要解耦 Hudi 自诞生至今一直使用 Spark 作为其数…

Flink

spark

数据

flink

原创 2022-09-28 16:04:58 143 阅读

网易：Flink + Iceberg 数据湖探索与实践

我们凌晨一些大的离线任务经常会因为一些原因出现延迟，这种延迟会导致核心报表的产出时间不稳定，有些时候会产出比较早，但是有时候就可能会产出比较晚，业务很难接受。任务本身要请求的数据量会特别大。通常来说一天原始的数据量可能在几十TB。几百个分区，甚至上千个分区，五万+的文件数这样…

Flink

数据

flink

字段

转载 2022-09-28 16:04:43 644 阅读

如何生成 Flink 作业的交互式火焰图？

Flink 是目前最流行的大数据及流式计算框架之一，用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用，通过内部的 Java JIT、off-heap 内存管理等技术优化性能，并且有完整的 …

Flink

flink

java

git

原创 2022-09-28 16:04:16 252 阅读

Flink State 误用之痛，你中招了吗？

从性能和 TTL 两个维度来描述区别。 · RocksDB 场景，MapState 比 ValueState 中存 Map 性能高很多。 · Heap State 场景，两者性能类似。能使用 ListState 的场景，不要使用 ValueState 中存 List。大佬们已…

Flink

序列化

数组

数据

原创 2022-09-28 16:04:05 108 阅读

Flink 1.11 与 Hive 批流一体数仓实践

为什么要做 Flink 和 Hive 集成的功能呢？最早的初衷是我们希望挖掘 Flink 在批处理方面的能力。众所周知

Flink

hive

flink

数据

转载 2022-09-28 16:02:51 190 阅读

菜鸟实时数仓2.0进阶之路

导读：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致ETL流程特别复杂，还有海量的日均处理数据量，使得团队在建设进口实时数仓的过程中，面临着诸多挑战：如何…

Flink

Apache

大数据

程序员

数据

转载 2022-09-28 16:02:26 77 阅读

Flink SQL 实战：HBase 的结合应用

本文主要介绍 HBase 和 Flink SQL 的结合使用。HBase 作为 Google 发表 Big Table 论文的开源实现版本，是一种分

Flink

HBase

数据库

flink

sql

转载 2022-09-28 16:02:11 808 阅读

Flink SQL 实战：双流 join 场景应用

本文主要介绍在流式场景中 join 的实战。大家都知道在使用 SQL 进行数据分析的过程中，join 是经常要使用的操作。在离线场景中

Flink

大数据

flink

数据

kafka

转载 2022-09-28 16:01:59 2316 阅读

Flink 双流 Join 的3种操作示例

在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。同理，在流式处理作业中，有时也需要在两条流上做

Flink

数据

时间戳

ide

转载 2022-09-28 15:57:34 140 阅读

Apache Flink Meetup 7.10 北京站，Flink x TiDB 专场等你来！

那么当 Flink 遇上 TiDB，会迸发出怎样的火花呢？7 月 10 日，Apache Flink Meetup 北京站，不见不散～

Flink

flink

实时计算

sql

原创 2022-09-23 15:54:06 100 阅读

快手基于 Apache Flink 的优化实践

本次由快手刘建刚老师分享，内容主要分为三部分。首先介绍流式计算的基本概念，然后介绍 Flink 的关键技术，最后讲

Flink

Apache

大数据

程序员

flink

转载 2022-09-16 22:13:06 63 阅读

基于 FFI 的 PyFlink 下一代 Python 运行时介绍

PyFlink 现有的 Python 运行时及基于 JCP 构建的下一代 Python 运行时的架构及优势。

Flink

大数据

python

java

flink

原创 2022-09-04 07:56:38 234 阅读

Flink on YARN（下）：常见问题与排查思路

Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。上篇分享了基于 FLIP-6…

Flink

flink

hadoop

java

原创 2022-09-04 07:55:45 827 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Apache Flink 社区博客

为什么 Flink 无法实时写入 MySQL？

Flink 使用大状态时的一点优化

Flink 1.11 SQL 使用攻略

数据处理能力相差 2.4 倍？Flink 使用 RocksDB 和 Gemini 的性能对比实验

Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略

Zeppelin SDK ：Flink 平台建设的基石

Flink 生态：Pulsar Connector 机制剖析

基于 Flink 的典型 ETL 场景实现方案

滴滴基于 Flink 的实时数仓建设实践

Flink RocksDB 状态后端参数调优实践

双亲委派模型与 Flink 的类加载策略

数据湖有新解！Apache Hudi 与 Apache Flink 集成

网易：Flink + Iceberg 数据湖探索与实践

如何生成 Flink 作业的交互式火焰图？

Flink State 误用之痛，你中招了吗？

Flink 1.11 与 Hive 批流一体数仓实践

菜鸟实时数仓2.0进阶之路

Flink SQL 实战：HBase 的结合应用

Flink SQL 实战：双流 join 场景应用

Flink 双流 Join 的3种操作示例

Apache Flink Meetup 7.10 北京站，Flink x TiDB 专场等你来！

快手基于 Apache Flink 的优化实践

基于 FFI 的 PyFlink 下一代 Python 运行时介绍

Flink on YARN（下）：常见问题与排查思路