目录1 需求2 数据3 编码步骤4 代码实现5 效果1 需求 在电商领域会有这么一个场景，如果用户买了商品，在订单完成之后，一定时间之内没有做出评价，系统自动给与五星好评，我们今天主要使用Flink的定时器来简单实现这一功能。2 数据自定义source模拟生成一些订单数据. 在这里，我们生了一个最简单的二元组Tuple3,包含用户id,订单id和订单完成时间三个字段./**
* 自定义sourc
转载
2024-04-17 17:12:18
84阅读
文章目录一、checkpoint1.1、Spark Streaming 的 checkpoint1.1.1、元数据检查点1.1.2、数据检查点1.2、Flink 的 checkpoint二、Exactly-Once Semantics三、checkpoint的内容 一、checkpoint流式应用程序必须 24/7 全天候运行，因此必须能够应对与应用程序逻辑无关的故障（例如，系统故障、JVM 崩溃
转载
2023-12-30 15:38:38
319阅读
Flink-checkpoint配置及重启策略
转载
2022-09-20 21:21:00
589阅读
在大数据处理的生态系统中，Apache Flink 是一个强大而灵活的流处理框架。尤其是在生产环境中，Flink 通常会与 YARN（Hadoop 的 Yet Another Resource Negotiator）集成，以便能够有效地管理资源。本文将讨论如何使用 Dinky（一个 Flink 的 UI 管理工具）将 Flink 应用程序连接到 YARN，并将其指定到特定的队列中。
## 1.
原创
2024-09-24 03:37:31
240阅读
作者 | 汪磊（网易云音乐 / 数据平台开发专家）整理 | 杨涛（Flink 社区志愿者）如何基于 Flink 的新 API 升级实时数仓架构？背景介绍网易云音乐从 2018 年开始搭建实时计算平台，到目前为止已经发展至如下规模：机器数量：130+单 Kafka 峰值 QPS：400W+在线运行任务数：500+开发者：160+业务覆盖：在线业务支持，实时报表统计，实时特征处理，实时索引支持2020
dinky flink on yarn集群是一项在大数据处理领域中颇具挑战的任务，这篇博文将详细记录解决这个问题的过程。为确保整体顺利进行，我将从环境预检到故障排查，逐一阐述操作步骤与思考。
## 环境预检
在开始之前，我首先进行了环境预检。确保硬件及软件环境的正确性非常重要。以下是我使用的硬件拓扑结构和各个组件的依赖版本对比代码。
```mermaid
mindmap
root((硬件
Streaming ConceptsFlink的Table API或者是SQL的计算针对于一些Batch或者Streaming数据在语义上是一致的。由于关系运算和SQL分析最初是为了对批处理而设计的，所以讲关系查询或者SQL应用在无界的流计算方面不如有界批处理那么好理解。因此我们后面将给大家介绍Flink 的关系API在流计算上的一些概念。Dynamic Table由于传统SQL和关系分析早期的设
转载
2024-03-22 19:29:44
93阅读
写在前面在 【Flink源码】再谈 Flink 程序提交流程（中） 一文中，笔者后来发现谬误颇多，且随着 Flink 版本的更迭，部分方法实现方式已发生较大改变。因此，思虑再三决定针对 JobManager 相关源码根据最新的 Flink 版本（1.17）单独成文。JobManager 是什么？Flink 的主节点 JobManager 是一个逻辑上的主节点，针对不同的部署模式，主节点的实现类也不
转载
2024-06-24 22:16:38
116阅读
# 实现"Docker Dinky Flink Lib 目录"的步骤
首先，我们来看一下整个实现过程的步骤：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 创建一个 Docker 镜像 |
| 2 | 在 Docker 镜像中安装 Flink |
| 3 | 将 Flink lib 目录挂载到本地目录 |
接下来，我们详细说明每一步需要做什么，并给出相应的代码示
原创
2024-04-20 04:21:29
108阅读
目录
1. 什么operator有状态
2. Operator State
2.1 Broadcast state的使用
2.2 List state和Union List state的使用
2.3 Stateful Source Functions(List state和Union List state的特例)
3. Keyed
转载
2024-04-05 00:03:15
65阅读
# Dinky连接Flink on YARN：新手开发者指南
在大数据处理的世界里，Apache Flink 是一个强大的流处理框架，而 Dinky 是一个用于管理 Flink 作业的工具。今天，我将指导你如何实现 Dinky 连接到 Flink 运行在 YARN 上的地址。
## 流程概述
在开始之前，我们先来了解一下实现 Dinky 连接 Flink on YARN 的整体流程。以下是步
原创
2024-09-29 03:56:40
235阅读
Flink On Yarn 架构前提条件
首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ，HADOOP_CONF_PATH其中一个用来确保Flink能够访问HDFS和Yarn的RM。主要启动流程1. 启动进程首先我们通过下面的命令行启动flink on yarn的集群bin/yarn-session.sh -n 3 -jm 1024 -nm 1024 -st这里将产生总
转载
2024-06-01 18:18:30
160阅读
作者简介：马阳阳 达达集团数据平台高级开发工程师，负责达达集团计算引擎相关的维护和开发工作本文主要介绍了达达集团使用基于开源的Flink Stream SQL开发的Dada Flink SQL进行实时计算任务SQL化过程中的实践经验01背景时间回到2018年，在数据平台和数据团队的共同努力下，我们已经有了完整的离线计算流程，完善的离线数仓模型，也上线了很多的数据产品和大量的数据报表。随着业务的发展
转载
2024-08-04 11:40:01
25阅读
Flink-OperatorChain源码详解前言逻辑计划中的算子链StreamingJobGraphGenerator（优化逻辑）createChain核心方法（创建chain）isChainable方法（判断operator是否可以加入chain）：划分chain的依据flink中chain的3种链接策略：物理逻辑中的算子链(ExecutionGraph)OperatorChain小总结 前
转载
2024-05-02 21:53:38
68阅读
Flink DataStream KeyedProcessFunction实现类似Session Window功能一、KeyedProcessFunction功能介绍KeyProcessFunction是一个低级的Stream处理操作（Operator），可以更加灵活的处理Stream的业务逻辑，它可以访问所有流应用程序的基本构建块：事件（Event）状态（State，仅支持KeyedStream
转载
2024-10-19 09:08:37
95阅读
# 使用dinky0.7配置Flink on YARN
Apache Flink是一个用于大规模数据处理的强大的开源框架。它可以在各种环境中运行，包括本地，standalone集群和YARN集群。在这篇文章中，我们将重点介绍如何使用dinky0.7配置Flink on YARN。
## 什么是dinky0.7
dinky0.7是一个用于管理和部署Flink作业的工具。它提供了一种简单而灵活的
原创
2023-08-03 17:19:36
689阅读
Flink事件时间处理和水印1、Flink 中的时间语义在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入 Flink 的时间。Processing Time：是每一个
转载
2024-04-28 10:36:11
57阅读
TaskManager启动后，JobManager会与它建立连接，并将作业图（JobGraph）转换成可执行的执行图（ExecutionGraph）分发给可用的TaskManager，然后由TaskManager具体执行任务。作业管理器（JobManager）对于一个提交执行的作业，Jobmanager是管理者（Master），负责管理调度，在不考虑高可用的情况下只能有一个。JobManager是
转载
2024-02-20 21:15:16
59阅读
Flink版本：1.11Flink 中每个函数和算子都可以是有状态的。有状态函数在处理单个元素/事件时会存储数据。为了能够使状态可以容错，Flink 需要对状态进行 checkpoint。checkpoint 可以允许 Flink 在流中恢复状态以及消费位置。1. 前提条件Flink Checkpoint 机制可以与流和状态的持久化存储进行交互。一般来说，需要：一个可持久化（或保存很长时间）的数据
转载
2024-05-25 18:25:42
457阅读
flink的 scala shell命令行交互模式开发flink带有一个集成的scala shell命令行。它可以以本地方式启动来模拟集群集群。执行下面的命令就可以通过shell命令行和flink集群交互(这种方式方便于代码调试)： bin/start-scala-shell.sh local如果想在集群上面运行scala shell，请查看本节后面的内容。 flink sca
转载
2024-03-18 17:14:48
150阅读
