自己学习Flink时整理的一些笔记，还不是很完整，后续慢慢增改，一起学习，有不同的看法或者意见可以私信或者评论1 Flink概述Flink是一个基于流式数据的有状态计算框架Flink是一个分布式的大数据处理计算引擎/框架, 支持流式数据处理(当然也支持离线),支持有状态计算(当然也支持无状态),支持基于事件时间的延迟数据处理,支持复杂事件处理(如CEP)....能够做到低延迟,高吞吐...1.1
flink-1.12.2 ha 集群配置网上很多都是旧版的配置，很多配置项名称已经改变。本文是3个节点（同时也是 hadoop 集群节点）组成的 Flink-1.12.2版本的高可用集群配置，亲测可用:参考: Flink HistoryServer配置（简单三步完成） Flink HA配置每台机器内容如下：/e
原创
2023-01-11 00:51:12
232阅读
## 从yarn到flink: 大数据处理框架的演进与应用
在当今大数据时代，处理海量数据已经成为各行各业的必备技能。为了高效处理这些数据，各种大数据处理框架相继出现。其中，Apache Flink作为一种流式数据处理框架，在实时数据处理方面表现突出。而yarn则是Hadoop生态系统中的资源管理器，负责集群资源的调度与管理。本文将从“yarn ha flink”这一主题出发，介绍yarn和fl
Flink DataStream API 编程很久没更新博客了，这半年多来，公司的事情也比较多，没多少时间学习，又赶上疫情，都是在家办公，慢慢感觉自己要颓废下去了，赶紧抽个周末让自己学点东西。word count每个分布式计算模型都是从Word count 开始的，学习Flink肯定也不例外，下面这个程序收集socket 端口的输入，统计5s内出现的单词书，并输出到控制台。object Appli
1. 简介在Flink部署架构中，JobManager负责协调Flink任务调度和资源管理。默认情况下，每个Flink集群都有一个JobManager实例，这会产生单点故障（SPOF single point of failure），如果JobManager进程崩溃，则无法提交新任务且运行中的任务也会失败。启用JobManager HA后，就可以JobManager崩溃故障中恢复，消除单点故障。目
都知道Flink中的角色分为Jobmanager,TaskManger在启动脚本里面已经找到了jobmanager的启动类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint(local模式更简单直接在Driver端的env.exection()直接启动了，有兴趣可以研究一下)来看一下StandaloneSes
flink为了保证线上作业的可用性，提供了ha机制，如果发现线上作业失败，则通过ha中存储的信息来实现作业的重新拉起。我们在flink的线上环境使用了zk为flink的ha提供服务，但在初期，由于资源紧张，只是对zk进行了standalone的部署，但是在后期的使用中，发现单节点的集群很难提供很高的可用性，所以就尝试将目前的standalone的zk服务扩展为cluster的zk服务，这其中，也踩
转载
2023-05-25 11:43:02
97阅读
序本文主要研究一下flink DataStream的window coGroup操作实例dataStream.coGroup(otherStream)
.where(0).equalTo(1)
.window(TumblingEventTimeWindows.of(Time.seconds(3)))
.apply (new CoGroupFunction () {...})
对于一个企业级的应用，稳定性是首要要考虑的问题，然后才是性能，因此 HA 机制是必不可少的；和 Hadoop 一代一样，从架构中我们可以很明显的发现 JobManager 有明显的单点问题（SPOF，single point of failure）。 JobManager 肩负着任务调度以及资源分配，一旦 JobManager 出现意外，其后果可想而知。Flink 对 JobManager HA
1.概述为了实现并行执行，Flink应用会将算子划分为不同任务，然后将这些任务分配到集群中的不同进程上去执行。和很多其他分布式系统一样，Flink应用的性能很大程度上取决于任务的调度方式。任务被分配到的工作进程、任务间的共存情况以及工作进程中的任务数都会对应用的性能产生显著影响。本节中我们就讨论一下如何通过调整默认行为以及控制作业链与作业分配（处理槽共享组）来提高应用的性能。其实这两个概念我们可以
Flink HA配置文档本文档只涉及HA具体安装步骤Flink Standalone集群HA配置1. HA集群环境规划使用三台节点实现两主两从集群(由于笔记本性能限制，不能开启太多虚拟机，其实使用三台和四台机器在安装配置上没有本质区别)Jobmanager：hadoop100 hadoop101【一个active，一个standby】Taskmanager：hadoop101
转载
2023-07-11 17:32:15
80阅读
.一 .前言二 .代码相关2.1. RichFunction2.1.1 void open(Configuration parameters) throws Exception;2.1.2 void close() throws Exception;2.1.3 RuntimeContext getRuntimeContext();2.1.4 IterationRuntimeContext get
Flink on Yarn -CDH5部署1.1 Flink模式Flink有开发模式，Local-cluster模式，Standalone模式，Yarn模式
这里我们搭建在CDH集群上，我们采Flink on Yarn，由Yarn统一管理集群资源1.2 Yarn模式部署 独立部署（Standalone）模式由Flink自身提供计算资源，无需其他框架提供资源，这种方式降低了和其他第三方资源框架的耦
转载
2023-08-29 16:57:04
86阅读
# Flink on Yarn 高可用配置
## 简介
Apache Flink 是一个分布式流处理和批处理框架，它提供了强大的容错机制和灵活的状态管理。Flink 可以在不同的集群管理器上运行，其中之一是 Yarn。
在大规模数据处理应用中，高可用性是至关重要的。Flink 提供了一种在 Yarn 上配置高可用性的方案，可以确保应用在发生故障时能够自动恢复。本文将介绍如何在 Flink o
原创
2023-08-12 06:23:15
80阅读
先看下官网对Flink各个组件的描述：https://ci.apache.org/projects/flink/flink-docs-release-1.10/concepts/runtime.html#job-managers-task-managers-clients启动流程。Flink的checkpoint可以保证任务在遇到异常的时候，可以自动从上一个checkpoint的状态恢复，保障任务
原创
2021-02-08 10:11:29
1630阅读
Flink 的源码篇包含了 Flink 的核心代码实现、Job 提交流程、数据交换、分布式快照机制、Flink SQL 的原理等考察点。你应该记得，我们在前面近 40个课时中几乎每一课时都有一定的篇幅是源码阅读，源码部分的考察是面试时十分重要的一关，如果你对 Flink 的源码有一定的研究而不仅仅停留在使用阶段，那么你的面试成功率将得到大幅提升。我们本课时将把 Flink 面试中源码部分最高频的考
## Flink on YARN的HA实现流程
在介绍Flink on YARN的HA（High Availability）实现之前，我们先来了解一下什么是Flink和YARN。
### 1. Flink简介
Apache Flink是一个分布式流处理和批处理框架，拥有高吞吐、低延迟和Exactly-Once语义的处理能力。它提供了丰富的API和工具，可以处理大规模的数据集，并且可以方便地与
原创
2023-08-21 08:17:16
78阅读
文章目录环境准备Flinkdocker-compose方式二进制部署KafkaMysqlFlink 执行 SQL命令进入SQL客户端CLI执行SQL查询表格模式变更日志模式Tableau模式窗口计算窗口计算滚动窗口demo滑动窗口踩坑 环境准备Flinkdocker-compose方式version: "3"
services:
jobmanager:
image: flink:la
规划 node01(master+slave)、node02(slave) 、node03(slave) 将tar包分发到每个节点 [centos@s101 /home/centos]$xsync.sh flink-1.10.1-bin-scala_2.12.tgz 解压tar包 xcall.sh ...
转载
2021-08-17 13:03:00
191阅读
2评论
状态管理之前我们提到过大多数流应用是有状态的。很多operators会不断的访问并更新某中状态，例如一个window中收集了多少条记录，输入源中当前读到的位置，亦或是用户定义的特定operators的状态。无论是内置的operator还是用户定义的operators，Flink对待它们都是一致的。在这章我们会讨论Flink 支持的不同的状态类型、state是如何被存储并由state backend
