1. Flink四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。Checkpoint 这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。 Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Fl
分流案例模板代码public class FlinkApp {
public static void main(String[] args) throws Exception {
//得到执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironme
转载
2024-04-25 14:56:57
91阅读
一、时间类型解析1、处理时间(Processing Time)：处理时间是指数据被计算引擎处理的时间，以各个计算节点的本地时间为准。2、事件事件(Event Time)：事件时间是指数据发生的时间，通常产生于数据采集设备中，与Flink计算引擎本地时间无关。因受网络延迟、数据乱序、背压等影响，事件时间进入计算引擎往往有一定程度的数据乱序现象发生。为了计算结果的准确性，需要等待数据，但必须配合水印(
转载
2024-10-03 10:23:34
71阅读
Flink 详解（七）：源码篇 Ⅱ
69、流图、作业图、执行图三者区别？70、流图介绍一下？71、作业图介绍一下？72、执行图介绍一下？73、Flink 调度器的概念介绍一下？74、Flink 调度行为包含几种？75、Flink 调度模式包含几种？76、Flink 调度策略包含几种？77、Flink 作业生命周期包含哪些状态？78、Task 的作业生命周期包含哪些状态？79、Fl
转载
2024-07-12 12:45:57
32阅读
前言Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture)数据的入湖，看完这篇文章，你可以了解到：为什么从
转载
2024-05-24 11:21:37
364阅读
写这个算是记录一下吧，把解决的思路和常用套路总结一下，特别适合刚入门的拿来练手，因为数据有很明显的规律且分布极其不平衡。同时也方便小伙伴们参加下一届，也祝小伙伴能取得更好的成绩。比赛的地址是：全国高校大数据应用创新大赛，有三个比赛 ，分别是技能赛，创意赛和企业命题赛。我参加的是技能赛一个多分类，企业命题赛是一个nlp也是分类。具体的可以到上方地址查看。我强烈建议在有机器的情况下参加企业命题赛，或者
这是一篇较为完整的介绍Apache Paimon和Flink进阶应用的文章，你最好收藏一波。1.1 简介Flink 社区希望能够将 Flink 的 Strea
转载
2024-05-24 11:22:05
178阅读
2023 年 3 月 12 日，Flink Table Store 项目顺利通过投票，正式进入 Apa
原创
2023-06-04 09:19:02
257阅读
全网最全大数据面试提升手册！2023年3月12日，Flink Table Store 项目顺利通过投票，正式进入 Apache 软件基金会(ASF)的孵化
转载
2024-05-24 10:56:35
46阅读
本文整理自阿里妈妈的数据技术专家陈亮老师在 Flink Forward Asia 2024 流式湖仓（三）专场中的分享。
如果不需要对 Paimon表进行即席（OLAP）查询，只需进行批式或流式消费，可以选择配置以下表参数，将数据文件格式改为avro，并
本文基于 Apache Flink 1.16 和 Apache Paimon 1.0.1，详细介绍如何配置 Paimon 环境、创建和使用追加表（Append-Only Table）与主键表（Primary-Key Table）的特点和使用。一. IDEA 环境准备下载官方paimon-1.0.1版本，本地编译选择对应的flink版本把对应的jar包安装到本地仓库：mvn install:inst
本文基于 Apache Flink 1.16 和 Apache Paimon 1.0.1，详细介绍如何配置 Paimon 环境、创建和使用追加表（Append-Only Table）与主键表（Primary-Key Table）的特点和使用。一. IDEA 环境准备下载官方paimon-1.0.1版本，本地编译选择对应的flink版本把对应的jar包安装到本地仓库：mvn install:inst
一. 前言 本文主要介绍在Presto中orderby 算子是如何通过代码实现的。Presto中orderby会经过局部排序+全部Merge来实现列的所有数据排序，如下所示： 二. orderby算子中PartialSort功能实现 PartialSort的流程大概如下所示：&nbs
转载
2024-10-09 21:41:09
59阅读
背景搜索引擎（Google、Yander、Navar）- Search 之旅查找概论被查数据所在的集合，统称为查找表。查找表（Search Table）是由同一类型的数据元素（或记录）构成的集合关键字（Key）是数据元素中某个数据项的值，又称键值，用它可以标识一个数据元素。也可以标识一个记录的某个数据项（字段），我们称为关键码。主关键字（Primary Key）是关键字可以唯一标识一个记录次关键字
本文整理自阿里云高级专家喻良，在 Flink Forward Asia 2023 主会场的分享。本次分享将为大家介绍 Flink + Paimon + Hologres 构建湖仓一体数据分析。
原创
精选
2024-04-13 21:42:59
197阅读
字节跳动 基础架构工程师李国君， 在 Streaming Lakehouse Meetup 的分享。
原创
精选
2023-11-11 08:27:16
437阅读
阿里云智能开源表存储负责人，Founder of Paimon，Flink PMC 成员李劲松在云栖大会开源大数据专场的分享。
原创
精选
2023-12-24 18:14:38
345阅读
本文整理自阿里云智能集团苏轩楠老师在 Flink Forward Asia 2024 论坛中的分享。
2023 年 12 月 9 日，Flink Forward Asia 2023 （以下简称 FFA ）在北京圆满结束。70+ 演讲议题、30+ 一线大厂技术与实践分享，以及座无虚席……
原创
2023-12-18 09:23:33
102阅读
