在现代大数据处理框架中，Apache Flink 不可或缺，它以流处理和批处理的能力得到了广泛的应用。当我们将 Flink 部署在 YARN（Yet Another Resource Negotiator）之上时，能够充分利用 YARN 优秀的资源管理和调度能力，从而提升数据处理性能。这篇博文将系统地记录解决 Flink on YARN 问题的过程，涵盖必要的技术原理、架构解析以及案例分析等要素。
# Flink架构与YARN的结合
Apache Flink 是一个开源的分布式流处理框架，具有容错、状态管理和低延迟等特点，而YARN (Yet Another Resource Negotiator) 是Hadoop生态系统中的资源管理器。将Flink与YARN结合能够更好地管理集群资源，提高作业的调度与执行效率。本文将介绍Flink的架构在YARN环境下的运作方式，并给出相关代码示例。
# 如何实现 Flink on YARN 架构
Flink 是一种流处理框架，YARN（Yet Another Resource Negotiator）是一个用于管理集群资源的框架。通过将 Flink 部署在 YARN 上，你可以便于在大规模集群上运行 Flink 程序。以下是实现 “Flink on YARN 架构” 的步骤和代码示例。
## 流程步骤
| 步骤 | 描述 |
|-----
原创
2024-10-01 06:36:37
73阅读
一、前言 个人感觉学习Flink其实最不应该错过的博文是Flink社区的博文系列，里面的文章是不会让人失望的。强烈安利：https://ververica.cn/developers-resources/。 本文是自己第一次尝试写源码阅读的文章，会努力将原理和源码实现流程结合起来。文中有几个点目前也是没有弄清楚，若是写在一篇博客里，时间跨度太大，但又怕后期遗忘，所以先记下来，后期进一步阅读
转载
2023-09-15 21:20:26
126阅读
flink on yarn use kerberos.https://www.jianshu.com/p/c1eee60fd357
转载
2023-06-21 16:44:42
165阅读
文章目录一、部署1.1、[参考Standalone部署]()1.2、由于虚拟机的内存有限，所以需要修改资源配置1.3、复制Hadoop的jar包到Flink的lib目录二、Flink On Yarn的运行架构2.1、Flink On Yarn 的内部实现原理: 任务提交流程2.2、任务调度原理三、Session-Cluster模式（yarn-session）3.1、启动yarn-session集
转载
2023-07-26 10:57:43
488阅读
1.基本组件 Flink架构分为三层，由上往下依次是API&Libraries层、Runtime核心层以及物理部署层 API&Libraries层 API层包括构建流计算应用的DataStream API和批计算应用的DataSet API（基本弃用），两者都提供给用户
转载
2024-01-02 13:42:11
37阅读
绿色为未确认的部分一、概述什么是Flink是一种大数据计算引擎，用于对无界（流数据）和有界（批数据）数据进行有状态计算。特点1）批流一体：统一批处理、流处理2）分布式：Flink程序可以运行在多台电脑上3）高性能：处理速度很快4）高可用：Flink支持高可用性（HA）5）Flink可以保证数据处理的准确性，及时出现问题，也能进行修正Flink的核心组成1）Deploy(部署)层①本地模式：启动单个
转载
2024-02-02 17:52:26
159阅读
文章目录核心组件ClientDispatcherResourceManagerJobMasterTaskManager任务提交流程yarn平台提交流程CliFrontend.javaYarnJobClusterEntrypoint.javaYarnTaskExecutorRunner.java任务调度原理问题并行度slotTasks算子链slot共享并行子任务分配 核心组件Client客户端用于
转载
2024-06-25 10:05:44
59阅读
Flink on Yarn -CDH5部署1.1 Flink模式Flink有开发模式，Local-cluster模式，Standalone模式，Yarn模式
这里我们搭建在CDH集群上，我们采Flink on Yarn，由Yarn统一管理集群资源1.2 Yarn模式部署 独立部署（Standalone）模式由Flink自身提供计算资源，无需其他框架提供资源，这种方式降低了和其他第三方资源框架的耦
转载
2023-08-29 16:57:04
140阅读
一、概述当程序出现问题需要恢复 State 数据的时候，只有程序提供支持才可以实现 State 的容错。State 的容错需要依靠 CheckPoint 机制，这样才可以保证 Exactly-once 这种语义。但是注意的是，它只能保证 Flink 系统内的 Exactly-once，比如 Flink 内置支持的算子。针对 Source和 Sink 组件，如果想要保证 Exactly-one 的话
转载
2023-07-11 17:25:18
361阅读
目录1.写在前面2.三种在 yarn 上运行的模式2.1 会话模式2.1.1 简要介绍2.1.2 启动方式 2.1.3 提交作业2.2 单作业模式部署2.2.1 简要介绍2.2.2 启动方式2.2.3 提交执行任务2.2.4 取消作业2.3 应用模式部署2.3.1 简要介绍2.3.2 提交任务3.总结1.写在前面 &n
转载
2023-07-26 10:58:00
243阅读
Flink支持三大部署模式：1. Local 本地部署Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.7.x或更高版本，本地运行会启动Single JVM，主要用于测试调试代码。2. Standalone Cluster集群部署Flink自带了集群模式Standalone，这个模式对软件有些要求：1.安装Java1.8或者更高
转载
2023-09-04 12:35:30
1452阅读
当涉及到大规模数据的存储和处理时，Hadoop 和 Flink 是两个非常受欢迎的工具。虽然它们都旨在处理大数据，但它们的实现方式、架构和优缺点略有不同。下面将更加详细地介绍 Hadoop 和 Flink 的特点及其适用性。一、HadoopHadoop 是一个由 Apache 软件基金会开发的开源分布式计算框架。Hadoop 的核心组件包括：HDFS：Hadoop 分布式文件系统，它可以在多个节点
转载
2023-08-01 16:05:47
122阅读
1.下载安装包Index of /dist/flink2.上传flink-1.12.0-bin-scala_2.12.tgz到node01的指定目录3.解压：tar -zxvf flink-1.12.0-bin-scala_2.12.tgz4、修改名称 mv flink-1.12.0-bin-scala_2.12 flink5、添加系统环境变量 并source生
转载
2024-05-23 15:42:17
209阅读
Flink on Yarn1. Session模式应用场景2. Per-Job模式应用场景3. application模式3.1. 背景3.2. 原理 1. Session模式这种模式会预先在yarn启动一个flink集群，然后将任务提交到这个集群上，这种模式，集群中的任务使用相同的资源，如果某一个任务出现了问题导致整个集群挂掉，那就得重启集群中的所有任务，这样就会给集群造成很大的负面影响。特点
转载
2023-10-31 19:30:44
160阅读
1- 容错机制Checkpoint检查点理解首先状态State与检查点Checkpoint之间关系：Checkpoint将某个时刻应用状态State进行快照Snapshot保存。 1）、State：维护/存储的是某一个Operator的运行的状态/历史值，是维护在内存中。2）、Checkpoint：某一时刻，Flink中所有的Operator的当前State的全局快照，一般存在磁盘上。Flink中
转载
2023-10-27 05:37:34
109阅读
架构图Job Managers, Task Managers, ClientsJobManager(Master)
用于协调分布式执行。它们用来调度task，协调检查点，协调失败时恢复等。Flink运行时至少存在一个JobManager。一个高可用的运行模式会存在多个JobManager，它们其中有一个是leader，而其他的都是standby。TaskManager(Worker)
用于执行一个
转载
2023-07-11 17:12:10
255阅读
1. 两种模式1. 共用一个 yarn-session在 YARN 中初始化一个 Flink 集群，初始化好资源，提交的任务都在这个集群执行，共用集群的资源。这个 Flink集群常驻在 YARN 集群中，要关闭可以手动停止。2. 每个Job启动一个集群每次提交都会创建一个新的 Flink 集群，Job之间是互相独立的。任务执行完之后集群会注销。2. yarn-s...
原创
2021-08-31 13:49:07
867阅读
#
原创
2021-12-04 15:49:27
394阅读
1评论
