前言研究了一阵子Flink Streaming，将学习的东西记录下来，今天写一下WaterMark在写WaterMark之前，先来了解一下时间窗口时间窗口在流式计算中，数据像流水一样源源不断地来，数据是无边界的，当需要操作（计算）数据时，在茫茫数据流中不知从何开始，所以，这时我们需要一个边界（范围）将整个数据流划分开来于是，我们将源源不断的数据流划分为一段一段的数据集，称之为窗口流式系统的窗口有多
flink：local模式下flink执行环境MiniCluster的启动分析
LocalExecutor执行job时通过构建一个MiniCluster来完成job的执行，MiniCluster的启动可以简洁的归纳为三个步骤
a、设置conf参数
b、构建MiniCluster对象
c、启动并完成个组件的初始化
d、提交job
下面具体来看：1、Loca
转载
2024-03-21 22:22:14
98阅读
## 实现"flink提交flink cluster和yarn cluster的区别"
### 1. 整体流程
首先我们需要了解在Flink中如何提交任务到Flink集群和YARN集群。下面是整个流程的步骤概要：
```mermaid
flowchart TD
Start[Start] --> SubmitFlink[提交到Flink Cluster]
Start --> Su
原创
2024-04-13 04:53:32
38阅读
Requirements Software Requirements Flink runs on all UNIX-like environments, e.g. Linux, Mac OS X, and Cygwin (for Windows) and expects the cluster to
转载
2018-09-26 17:59:00
93阅读
2评论
项目分点：集群规模： （12台物理机：128G内存，8T机械硬盘，2T固态硬盘，20核40线程，戴尔4万多一台）框架结构，画出来 （日志部分：日志服务器，落盘日志，flume，kafka，hdfs，hive，mysql 业务数据部分：mysql-sqoop-hdfs-hive） 3.框架： （一）Flume（留了问题：flume，take出小文件怎么处理，可以根据时间10min一次，或者128M一
转载
2024-04-21 12:47:16
24阅读
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程： Flink大数据项目实战：http://t.cn/EJtKhaz 从上图可以看出Flink 中的Time大致分为以下三类：1.Event Time：Event 真正产生的时间，我们称之为Event Time。 2.In
本文主要介绍如何将Flink以分布式模式运行在集群上（可能是异构的）。
一、环境准备
目前准备的环境是环境说明为 ：Vmavare+centos7 4G 20G ,在安装Flink之前，确保每台机器上都做好响应的基础准备工作，
1). JDK环境：要求1.8.x或者更高，Oracle JDK或者OpenJDK都可以，二进制包解压的方式安装要配置好JAVA_HOME
2). 主机和host文件配置：
转载
2023-09-05 13:49:58
28阅读
## 实现 "Flink Redis Cluster Password" 的步骤
### 整体流程
下面是实现 "Flink Redis Cluster Password" 的整体流程图：
```mermaid
journey
title 实现 "Flink Redis Cluster Password" 的步骤
section 了解需求
section 学习 Red
原创
2024-01-25 05:31:09
93阅读
Flink Redis Cluster模式
# 介绍
Apache Flink是一个流处理框架，它提供了强大的分布式处理和计算能力。Flink可以与各种外部系统集成，以提供更丰富和全面的功能。其中一个重要的集成是与Redis的集群模式。
Redis是一个内存数据存储系统，它提供了快速且高效的键值存储。它具有可扩展性和高可用性的特点，因此非常适合用作Flink应用程序的状态后端。
在本文中，
原创
2023-11-17 13:43:10
112阅读
上周发生了一件十分不幸的事，就是之前依靠这篇博文进行的依赖冲突解决方案失灵了，又开始爆No Such类似的error，这次我可没有心情再一点点的排查了，直接寄出大杀器maven helper。maven helper 是一款idea的插件。Step1: 下载maven helper 插件。 Step２：插件安装完，打开pom文件。可以看到左下角有一个dependency analyzer
一 、准备1、Flink版本 Apache Flink 1.15.1 for Scala 2.122、系统平台linux debian11.4_64。3、节点192.168.1.25（flink-master、flink-worker-1）192.168.1.26（flink-worker-2）192.168.1.27（flink-worker-3）4、配置(1) 本地DNS设置分别在三
转载
2024-03-17 10:45:35
51阅读
回顾Flink KubernetesFlink Kubernetes与Flink Native Kubernetes是不同的概览，先回顾一下Flink Kubernetes：如下图，从1.2版本到目前最新的1.10，Flink官方都给出了Kubernetes上部署和运行Flink的方案：在kubernetes上有两种方式运行flink：session cluster和job cluster，其中s
转载
2024-04-17 20:42:28
50阅读
Flink 1.10Flink 1.10 开始支持将 native kubernetes 作为其资源管理器。在该版本中，你可以使用以下命令在你的 kubernetes 集群中创建一个flink session。./bin/kubernetes-session.sh \
-Dkubernetes.cluster-id=<ClusterId> \
-Dtaskmanager.mem
转载
2024-02-08 15:25:17
76阅读
#Flink Cluster On Kubernetes部署Flink版本：1.10.1kubernetes：1.16.5Flink 在Kubernetes上部署分为Job cluster和Session cluster两种模式。Job cluster需要我们将自己的Jar打到flink镜像里一块部署，session模式可以启动cluster之后，我们再提交jar到session cluster。
转载
2023-12-02 15:16:33
181阅读
flink yarn 核心入口方法flink yarn集群模式运行的job，通过flink cli提交任务，对应的类为org.apache.flink.yarn.cli.FlinkYarnSessionCli。在FlinkYarnSessionCli对象内会创建org.apache.flink.yarn.YarnClusterDescriptor对象，此对象封装了创建flink yarn sess
转载
2023-09-10 21:00:50
151阅读
Redis cluster 集群 Redis-Cluster 在设计的时候，就考虑到了去中心化，去中间件，集群中的每个节点都是平等的关系，都是对等的，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，这样就保证了我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据。 R
转载
2024-08-13 14:37:18
12阅读
《Flink原理、实战与性能优化》基于有状态计算（好处：不需要将原始数据重新从外部存储中拿出来）周期性的通过分布式快照技术checkpoints实现状态的持久化维护优势：1、同时支持高吞吐、低延迟、高性能2、支持事件时间（event time）概念：即使乱序时间到达flink也能根据事件产生的时间来处理3、支持有状态计算：把中间结果数据保存在内存或者文件系统中，不用再次从头计算4、支持高度灵活的窗
转载
2024-01-22 10:15:15
35阅读
Flink1.16.0集群安装一、集群规划部署节点部署内容节点 IPk8s-masterjdk11、flink1.16.010.52.0.143k8s-node1jdk11、flink1.16.010.52.0.144k8s-node2jdk11、flink1.16.010.52.0.145二、安装前的准备1、关闭Selinux、防火墙和THP，三台服务器都要操作一次关闭防火墙 systemctl
转载
2023-12-21 11:12:12
212阅读
Flink 做为第三代实时计算引擎以其独特的优势已经被广泛使用，它的实时计算能力确实值得称赞，本文先从基础架构与资源管理方面对其图文梳理，后续会逐渐深入了解并做部分实际应用。1 基础架构 无论是从集群模式还是内部角色划分来看Flink 与 Spark 都比较类似，Spark 我们比较熟悉，可以对照 Spark 进行同步学习： 1.1 集群模式 F
转载
2024-03-22 13:40:08
41阅读
在Kubernetes（K8S）中使用Apache Flink时，经常会遇到需要使用命令"flink run -m yarn-cluster"的情况。这个命令的作用是在YARN集群上启动一个Flink Job。对于刚入行的小白来说，这可能是一项比较困惑的任务。不过不用担心，本文将会逐步指导你如何在K8S环境下实现"flink run -m yarn-cluster"。
首先，我们来看一下整个过程
原创
2024-04-28 11:25:56
183阅读
