flink：local模式下flink执行环境MiniCluster的启动分析
LocalExecutor执行job时通过构建一个MiniCluster来完成job的执行，MiniCluster的启动可以简洁的归纳为三个步骤
a、设置conf参数
b、构建MiniCluster对象
c、启动并完成个组件的初始化
d、提交job
下面具体来看：1、Loca
转载
2024-03-21 22:22:14
98阅读
李锐，阿里巴巴技术专家，Apache Hive PMC，加入阿里巴巴之前曾就职于 Intel、IBM 等公司，主要参与 Hive、HDFS、Spark 等开源项目。Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能
1 三种时间语义在实时流式计算中，"时间"是一个能影响计算结果的非常重要因素！试想场景：每隔1分钟计算一次最近10分钟的活跃用户量：①假设此刻的时间是13:10，要计算的活跃用户量时间段为：[ 13:00,13:10 )；②有一条行为日志中记录的用户的行为时间是12:59，但到达flink计算程序时已是13:02；那么，这个用户是否要纳入本次计算的结果中呢？看如何定义：①如果时段 [13:00 ,
转载
2024-01-19 23:08:00
66阅读
本篇博客给大家讲解一下Flink运行时架构(面试必问)一、Flink运行时组件1.1 作业管理器(JobManager)控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的Jobmanager所控制执行Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图( Job Graph)、逻辑数据流图( ogical dataflow graph)和打包了所有的类、库和
转载
2023-11-04 21:29:48
88阅读
1 核心概念1.1 基础概念用户通过算子api所开发的代码，会被flink任务提交客户端解析成jobGraph然后，jobGraph提交到集群JobManager，转化成ExecutionGraph（并行化后的执行图）然后，ExecutionGraph中的各个task会以多并行实例（subTask）部署到taskmanager上执行；subTask运行的位置是taskmana
转载
2023-12-01 23:44:11
146阅读
如何在Flink中使用Yarn队列
## 引言
在使用Flink进行分布式计算时，可以使用Yarn作为资源管理器。Yarn可以帮助我们有效地管理集群资源，并充分利用集群的计算能力。在本文中，我将详细介绍如何在Flink中使用Yarn队列。
## 整体流程
下面是使用Yarn队列的整体流程，可以用以下表格展示出来。
| 步骤 | 说明 |
| ---- | ---- |
| 1. 创建Yarn
原创
2023-12-14 12:53:45
302阅读
# Flink on YARN指定队列
在使用Flink on YARN时，我们可能需要将任务指定到特定的队列中，以实现资源的隔离和管理。本文将介绍如何在Flink on YARN中指定队列，以及如何实现这一功能的代码示例。
## 什么是Flink on YARN？
Flink on YARN是指在使用Apache Flink时，将Flink应用程序提交到运行在YARN集群上的Flink集群
原创
2024-02-28 05:44:57
712阅读
本文主要介绍如何将Flink以分布式模式运行在集群上（可能是异构的）。
一、环境准备
目前准备的环境是环境说明为 ：Vmavare+centos7 4G 20G ,在安装Flink之前，确保每台机器上都做好响应的基础准备工作，
1). JDK环境：要求1.8.x或者更高，Oracle JDK或者OpenJDK都可以，二进制包解压的方式安装要配置好JAVA_HOME
2). 主机和host文件配置：
转载
2023-09-05 13:49:58
28阅读
## 使用 Flink 提交 Yarn 队列
在使用 Apache Flink 进行大规模数据处理时，通常会将 Flink 作为一个 Yarn 应用程序来运行。Yarn 是 Apache Hadoop 生态系统中的资源管理器，可以用来管理集群资源的分配和调度。当我们在提交 Flink 应用程序时，如果想要控制应用程序运行的队列，就需要设置相应的参数来指定队列名称。
### 为什么要设置 Yar
原创
2024-03-09 05:29:58
70阅读
1. openrestry的安装 OpenResty = Nginx + Lua，是⼀一个增强的Nginx，可以编写lua脚本实现⾮非常灵活的逻辑（1）安装开发库依赖yum install -y pcre-devel openssl-devel gcc curl（2）配置yum的依赖源yum install yum-utils
yum-config-manager --add-repo http
转载
2024-09-30 08:52:13
164阅读
答案写在最前面：Job的最大并行度除以每个TaskManager分配的任务槽数。问题在Flink 1.5 Release Notes中，有这样一段话，直接上截图。
这说明从1.5版本开始，Flink on YARN时的容器数量——亦即TaskManager数量——将由程序的并行度自动推算，也就是说flink run脚本的-yn/--yarn
提交参数项 -yDflink run -d -m yarn-cluster -ynm com.xiaoe -ys 3 -p 6 -yjm 2048 -ytm 10240 -yD containerized.heap-cutoff-ratio=0.1 -yD taskmanager.memory.off-heap=true -yD taskmanager.memory.size=100m -yD
转载
2023-12-21 21:49:09
27阅读
实践是最好的老师，通过项目实战才能把所学转化为实际的能力。——沃兹基一.什么是状态机？有限状态机（Finite State Machine,简称FSM）是表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型.一般分为三种：分别是Moore型，Mealy型，以及混合型。这个练习主要讲Mealy型有限状态机。Mealy型有限状态机:由寄存器组和组合逻辑构成的硬件时序电路，其状态（即由寄存器组的
转载
2024-05-10 18:32:51
49阅读
上篇博客讲了websocket的使用，只是适用于单台服务器情况下。编写springboot程序需要引入的依赖有1.spring-boot-starter-web2.spring-boot-starter-thymeleaf3.mysql-connector-java4.druid5.mybatis-spring-boot-starter6.spring-boot-starter-websocket
转载
2024-06-04 22:14:01
157阅读
几乎所有的 Flink 应用程序，包括批处理和流处理，都依赖于外部配置参数，这些参数被用来指定输入和输出源(如路径或者地址)，系统参数(并发数，运行时配置)和应用程序的可配参数(通常用在自定义函数中)。Flink 提供了一个简单的叫做 ParameterTool 的使用工具，提供了一些基础的工具来解决这些问题，当然你也可以不用这里所描述的ParameterTool，使用其他的框架，如：Common
转载
2024-03-15 13:55:45
102阅读
参考博客1.TaskManager通过solt个数划分资源，但是这里的资源仅仅是内存资源不包括CPU 2.Flink Job任务时会对算子进行chain优化，目的是共享线程减少线程切换的开销并提升执行性能。chain后的算子对外而言就是一个算子，内部算子之间的数据流通，不会经过序列化/反序列化、网络传输，而是直接将消息对象传递给下游的 ChainOperator 处理 。chain是有条
转载
2023-12-13 22:52:34
77阅读
# Flink在YARN上指定队列无效的原因与解决方案
Apache Flink是一种流处理框架，能够高效地处理大规模数据流。在与YARN集成时，用户常常会遇到指定队列无效的问题，这个问题会导致作业调度到错误的队列中，影响资源的使用效率及作业的执行。本文将探讨这个问题的原因及解决方案，并提供相应的代码示例。
## 问题背景
在YARN和Flink的集成中，用户通常希望将Flink任务提交到特
Flink on YARN 启动指定队列
在使用 Apache Flink 进行大数据处理时，依赖于 YARN（Yet Another Resource Negotiator）来动态管理资源是一个常见的做法。随着业务的发展，往往会碰到需要将 Flink 作业分配到特定队列的问题。本文将详细介绍如何在 Flink on YARN 中启动指定队列的解决方案，涵盖背景描述、技术原理、架构解析、源码分析
### 使用 Flink 提交 YARN 执行队列
在使用 Flink 时，我们经常需要将任务提交到 YARN 集群上执行。然而，有时候我们希望将任务提交到特定的 YARN 执行队列中，以便更好地管理资源和调度任务。在本文中，我们将介绍如何使用 Flink 提交任务到指定的 YARN 执行队列。
#### 什么是 YARN 执行队列？
YARN 是 Hadoop 生态系统中的资源管理器，用于
原创
2024-03-10 06:11:34
97阅读
# 如何设置 Flink 默认 YARN 队列
Apache Flink 是一个流处理和批处理框架，通常与 Apache Hadoop 的 YARN 集群资源管理一起使用。对于新手而言，设置 Flink 的默认 YARN 队列可能有些复杂，本篇文章将指导你完成这一过程。
## 整体流程
下面是实现 Flink 默认 YARN 队列设置的步骤：
| 步骤 | 描述 |
|------|---
原创
2024-09-12 06:05:32
66阅读
