目的最近使用flink比较频繁，想系统化梳理一遍flink的相关知识，把整体的知识结构都梳理一下。恰好遇到一个flink工程的交接，接手的人对相关的知识不是太感兴趣，需要一份再一步一步如何操作应对平常的需求即可。这边刚好把这份傻瓜文档分享一下，以帮助有需要的人。后续会一步一步将整体的知识结构整理到这个系列里的。flink的安装可以参考我的另一篇安装博文《flink 1.11.2 的安装记录》，目前
转载
2024-03-11 19:43:58
41阅读
# 如何在Flink Standalone YARN模式下启动应用
Apache Flink是一种强大的流处理框架，常用于大数据处理。在Flink中，YARN是一种资源管理框架，允许我们在分布式环境中运行Flink。本文将指导你如何使用Flink的Standalone模式在YARN上启动应用。
## 流程概述
启动Flink应用的整体流程如下表所示：
| 步骤 | 操作描述
原创
2024-10-14 03:30:15
15阅读
简介是一个框架和分布式处理引擎 用于对有界和无界数据流进行状态计算 基于流的世界观 一切都是由流组成的 离线数据是有界的流 实时数据是一个没有界限的流 这就是所谓的有界流和无界流安装tar -zxvf flink-1.11.2-bin-scala_2.12.tgz -C /opt/module/ cd /opt/module/flink-1.11.2启动 bin/start-cluster.shF
转载
2024-02-20 12:04:47
137阅读
Flink 它可以处理有界的数据集、也可以处理无界的数据集、它可以流式的处理数据、也可以批量的处理数据。Flink 是什么 ？上面三张图转自 云邪 成都站 《Flink 技术介绍与未来展望》，侵删。从下至上，Flink 整体结构从下至上：1、部署：Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行， 也能部署在云上。2、运行：Flink 的核心是分布式流式数
转载
2023-12-19 15:38:35
31阅读
1、Flink概述Apache Flink 是一个框架和分布式处理引擎，用于在， 无边界和有边界数据流上进行有状态的计算 ，Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括： 批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等 。Flink 不仅可以运行在包括 Y
一、Flink简介Apache Flink® - Stateful Computations over Data Streams上面是官网的介绍，翻译过来是流数据上的有状态的计算。-Flink执行模型：1.流计算：数据不断产生，一致处于计算状态2.批处理：完成一定时间段的计算任务官网给的有中文网站链接，github上面也有很多开源的翻译~https://flink.apache.org/
转载
2024-02-02 22:58:40
28阅读
默认情况下，当watermark通过end-of-window之后，再有之前的数据到达时，这些数据会被删除。为了避免有些迟到的数据被删除，因此产生了allowedLateness的概念。简单来讲，allowedLateness就是针对event time而言，对于watermark超过end-of-window之后，还允许有一段时间（也是以event time来衡量）来等待之前的数据到达，以便再次
转载
2024-05-14 16:11:18
99阅读
一句话概括flink: flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。WordCount源码放源码之前，先介绍一下一些预备知识：首先介绍一下map与flatMap区别map，就是把一个函数传入map中，然后利用传入的函数，把集合中每个元素做处理，然后把处理后的结果返回。flatMap与其区别仅仅是返回的是一个列表然后把一些基本算子过一
转载
2024-04-01 10:50:05
73阅读
概述本文介绍flink的一个重要特性：水印(Watermarks)的原理，并通过实际的例子说明如何使用该特性。 环境：flink-1.7.1水印(Watermarks)简介我们看到对事件时间(Event Time)的支持是流体系结构的核心。当计算基于事件时间时，我们如何知道所有事件是否已经全部到达，我们是否可以计算并输出窗口的结果？换句话说，我们如何跟踪事件时间并知道输入流中已达到某个事件时间？为
转载
2024-04-01 06:03:05
157阅读
1、Flink实时应用场景Flink在实时计算领域内的主要应用场景主要分为四类：实时数据同步流式ETL实时数据分析复杂事件处理2、实时数据体系架构实时数据体现大致分为三类场景：流量类业务类特征类在数据模型上，流量类是扁平化的宽表，业务数仓更多是基于范式的建模，特征数据是 KV 存储；从数据来源区分，流量数仓的数据来源一般是日志数据，业务数仓的数据来源是业务 binlog 数据，特征数仓的数据来源则
转载
2023-09-27 15:38:40
70阅读
业务背景&痛点流式处理的业务场景，经常会遇到实时消息数据需要与历史存量数据关联查询或者聚合，比如电商常见的订单场景，订单表做为实时事实表，是典型的流式消息数据，通常会在 kafka 中，而客户信息，商品 SKU 表是维度表，通常存在业务数据库或者数仓中，是典型的离线数据。实时订单数据在实时处理时通常需要事实表与维度表 join 做 reference 补全，以便拿到订单详情并实时统计当天或
转载
2024-05-11 22:57:17
42阅读
摘要：本文由阿里巴巴技术专家贺小令（晓令）分享，主要介绍 Apache Flink 新场景 OLAP 引擎，内容分为以下四部分：背景介绍Flink OLAP 引擎案例介绍未来计划Tips：点击「阅读原文」可下载作者分享 PPT～一、背景介绍 1.OLAP 及其分类OLAP 是一种让用户可以用从不同视角方便快捷的分析数据的计算方法。主流的 OLAP 可以分为3类：多维 OLAP ( Multi-
转载
2024-06-06 10:09:09
77阅读
一、为什么选择Flink Apache Flink 是一个框架和分布式处理引擎，用于对无界和有解数据流进行状态计算，其具有高吞吐、低延迟、结果准确、语义化窗口、易用的API和高容错的特点 ETL 是企业
转载
2024-05-29 11:40:39
138阅读
base FlinkX源码1.12_release版本flinkX启动主要依赖两部分：flink-client 它主要完成解析用户的提交指令，完成作业提交flink-dist这部分是打包后的target，包含了各个异构数据源的connector，和关键的flinkx-core启动脚本：flinx/bin/flinkxA.提交过程：入口类：com.dtstack.flinkx.client.Laun
转载
2024-03-16 15:25:42
97阅读
Flink系列之：深入理解ttl和checkpoint，Flink SQL应用ttl案例一、深入理解Flink TTL二、Flink SQL设置TTL三、Flink设置TTL四、深入理解checkpoint五、Flink设置Checkpoint六、Flink SQL关联多张表七、Flink SQL使用TTL关联多表 一、深入理解Flink TTLFlink TTL（Time To Live）是一
Flink时间窗口的计算中，支持多种时间的概念：Processsing，IngestionTime，EventTime。如果在Flink中用户不做任何设置，默认使用的是ProcesssingTime，其中ProcesssingTime，IngestionTime都是由计算节点产生。不同的是IngestionTime是DataSource组件在产生记录的时候指定时间，而ProcesssingTime
转载
2024-03-26 14:28:58
62阅读
生产环境，我们的 Flink 作业偶尔会出现 heap OOM，那么当出现这种情况我们会怎么办？通常来说会通过 jmap 命令去将作业的 heap dump 一份文件出来，可是 jmap 导出的文件我们也看不懂啊，那么该怎么分析呢？今天推荐 memory analyzer(mat)这个工具，让他帮助我们来观察程序的内存分布情况吧。MAT 不是一个万能工具，它并不能处理所有类型的堆存储文件。但是比较
你好，欢迎来到第 01 课时，本课时我们主要介绍 Flink 的应用场景和架构模型。实时计算最好的时代在过去的十年里，面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。直到 2019 年 1 月底，阿里巴巴内部版本 Flink 正式开源！一石激起千层浪，Flink 开源的消息立刻刷爆朋友圈，整个大数据计算领域一直以来由 Sp
转载
2024-03-12 14:15:27
48阅读
本篇博客学习一下内容缓冲流概述BufferedInputStream 字节输入缓冲流构造方法BufferedOutputStream 字节输出缓冲流构造方法flush() 和 close()BufferedReader 字符输入缓冲流构造方法BufferedWriter 字符输出缓冲流构造方法总结缓冲流概述缓冲流是对文件流处理的一种流，它本身并不具备 IO 功能，只是在别的流上加上缓冲提高了效率，
转载
2024-10-27 09:58:15
13阅读
我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱
转载
2024-07-26 01:02:47
23阅读
