文章目录第一部分：Flink State 状态01-Flink State之状态及存储结构02-Flink State之状态分类03-Flink State之KeyedState 案例04-Flink State之State TTL生命周期第二部分：Flink Checkpoint 检查点05-Flink Checkpoint之State与Checkpoint06-Flink Checkpoin
笔者最近开始学习flink，但是flink的webui上各种指标错综复杂，在网上也没有找到一个比较详尽的资料，于是个人整理了一下关于flink中taskmanager的webui各个指标的含义，供大家参考。注：括号中仅为个人理解如下图，是一个flink任务中的某个taskmanager的ui以下介绍顺序为从上到下，从左至右overview这个是整个taskmanager的总览信息data port
转载
2024-03-20 13:42:06
59阅读
一、Alluxio简介1.没有Alluxio大数据生态圈的现状1.大数据生态圈中存在大量的计算引擎和应用程序，比如spark，MapReduce,Flink等。
2.大数据生态圈中也存在大量的存储引擎，比如HDFS,S3,Swift,GFS等。
3.计算引擎要访问存储引擎中的数据，就形成大量的连接信息。规范接口都不统一。2.Alluxio在大数据生态圈的地位1.Alluxio是计算引擎和存储引擎之
转载
2024-03-25 15:19:00
70阅读
在Kubernetes环境中部署Flink应用程序并通过Flink Web UI监控任务的执行是非常常见的需求。本篇文章将介绍如何在Kubernetes中实现Flink Web UI，以便你能够更好地了解和监控你的Flink任务。
### 步骤概览
下面是在Kubernetes中实现Flink Web UI的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 1 | 在Kube
原创
2024-05-22 11:27:18
299阅读
一. 集群的基本架构Flink 整个系统主要由两个组件组成，分别为 JobManager 和 TaskManager，Flink 架构也遵循 Master-Slave 架构设计原则，JobManager 为 Master 节点，TaskManager 为 Worker （Slave）节点。所有组件之间的通信都是借助于 Akka Framework，包括任务的状态以及Checkpoint 触发等信息
转载
2024-01-22 20:22:00
54阅读
作者：潘伟龙（豁朗）背景日志服务 SLS 是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务，基于日志服务的便捷的数据接入能力，可以将系统日志、业务日志等接入 SLS 进行存储、分析；阿里云 Flink 是阿里云基于 Apache Flink 构建的大数据分析平台，在实时数据分析、风控检测等场景应用广泛。阿里云 Flink 原生支持阿里云日志服
转载
2024-08-27 10:05:41
70阅读
CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建
转载
2024-04-02 19:54:18
54阅读
介绍通过"bin/flink run"提交jar包到Flink集群，在"bin/flink"脚本中实际是调用org.apache.flink.client.cli.CliFrontend#main触发真正的执行。源码（1）org.apache.flink.client.cli.CliFrontend#main源码org.apache.flink.client.cli.CliFrontend#mai
转载
2024-03-02 09:25:36
34阅读
在大数据处理环境中，Apache Flink 和 Apache Hive 的结合为我们提供了出色的数据处理能力。然而，在使用 Flink 访问 Hive 时，尤其是在涉及认证的问题时，可能会遇到一些困难。在这篇博文中，我将通过详细的步骤和图示，介绍如何解决 Flink 和 Hive 之间的认证问题。接下来，让我们深入了解这一过程。
## 协议背景
Flink 和 Hive 之间的通讯一般遵循
Kubernetes是一个开源的容器编排平台，它可以管理和调度大规模的容器集群。Kubernetes提供了一个用户界面（UI）来展示集群的状态和资源使用情况，以及进行基本的管理操作。本文将为刚入行的小白介绍如何使用Kubernetes UI进行认证，以保护集群的安全性。
整体流程如下：
步骤|操作
--|--
1|生成认证密钥
2|创建Service Account和ClusterRoleBi
原创
2024-01-22 16:06:21
87阅读
运行作业界面在以下界面中，可以查看到作业的名称、作业的启动时间、作业总计运行时长、作业一共有多少个任务、当前正在运行多少个任务、以及作业的当前状态。这里的程序：一共有17个任务，当前正在运行的是17个任务。作业概览界面在这个界面中，我们可以看到数据流图。这个程序中，一共有3个算子。Custom Source任务并行度为1Flat Map任务并行度为8,Flink Map –> Sink任务并
转载
2024-09-19 09:18:33
147阅读
泛型编程是框架的基础，Flink中可以传递POJO对象的get方法，来作为获取key的途径，这样给开发者足够大的灵活性。理解这个过程，对于加强对泛型编程的理解有很大的帮助。此外，对于传递方法，还用到了@FunctionInterface，注意这个注解并不是强制性的，但它减少了一些错误发生的可能。KeySelector本身就是一个函数接口，它提供了两个泛化参数：T代表当前处理数据的类型，K代表Key
转载
2023-08-18 16:33:22
73阅读
欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览在《Flink SQL Client初探》一文中，我们体验了Flink SQL Client的基本功能，今天来通过实战更深入学习和体验Flink SQL；实战内容本次实战主要是通过Flink SQL Client消费kafka的实时消息，再用各种SQ
转载
2024-03-06 11:27:06
219阅读
业务需求：根据id将两个流中的数据匹配在一起组合成新的流数据，默认两个流的最大延迟时间为60s 超过60s还未匹配成功，意味着当前只有一个流来临，则任务流信息异常，需要将数据侧流输出 思路：先将两个流keyBy()，再connect，然后调用CoProcessFunction函数，在里面处理流1和流2，再设置一个60s的定时器，如果60s内另一个流没来，则把达到的流侧输出直接上代码：// 流1 要
转载
2023-11-13 10:19:43
34阅读
hadoop3.3.4+flink1.15.2+hbase2.5.0集群搭建准备3台centos7 服务器,IP为192.168.10.155~157. 本文约定安装包上传到155的/opt目录,程序安装到各服务器的/usr/java目录.1.准备工作均配置hosts/etc/hosts
#在文件最后增加以下映射
192.168.10.155 master
192.168.10.156 slave
转载
2024-10-21 18:39:13
36阅读
Flink入门你未必出类拔萃，但一定与众不同 文章目录Flink入门选择Flink我们的目标需要处理流数据的行业Flink 的主要特点事务驱动分层API支持事件时间和处理时间语义高可用 动态扩展 实现7*24小时全天候运行安装flinkflink简单上手1.打开idea 创建maven项目 写入依赖test.txt2.批处理3.流处理4.输出结果监听socket实时获取数据1.启动ubuntu 输
1- 容错机制Checkpoint检查点理解首先状态State与检查点Checkpoint之间关系：Checkpoint将某个时刻应用状态State进行快照Snapshot保存。 1）、State：维护/存储的是某一个Operator的运行的状态/历史值，是维护在内存中。2）、Checkpoint：某一时刻，Flink中所有的Operator的当前State的全局快照，一般存在磁盘上。Flink中
转载
2023-10-27 05:37:34
109阅读
1.下载安装包Index of /dist/flink2.上传flink-1.12.0-bin-scala_2.12.tgz到node01的指定目录3.解压：tar -zxvf flink-1.12.0-bin-scala_2.12.tgz4、修改名称 mv flink-1.12.0-bin-scala_2.12 flink5、添加系统环境变量 并source生
转载
2024-05-23 15:42:17
209阅读
Flink之CEP详解一、是什么维基百科对CEP的定义为:“CEP是一种事件处理模式，它从若干源中获取事件，并侦测复杂环境的事件或模式，CEP的目的是确认一些有意义的事件（比如某种威胁或某种机会），并尽快对其作出响应”。总结一下也就是CEP是一个事件处理模式，当某项检测需要在多源且复杂的事件流中进行处理，并需要低延迟、秒级或毫秒级的响应时，我们就可以考虑用到它。市场上有多种CEP的解决方案，例如S
转载
2024-06-03 11:21:18
73阅读
场景描述：之前是做kafka不是通过ssl验证的方式进行接入的，所以就是正常的接受数据。发现我们通过aws服务器去访问阿里云服务器上的kafka的时候，我们服务器要把全部的网关开放给阿里云服务器的kafka这样的话数据就很不安全。所以就从阿里买了kafka服务器这样就能通过公网去访问服务器，然后带验证的kafka集群。下面是flink连接kafka不用验证的代码：不用验证的kafka，flink
转载
2024-03-25 17:46:52
288阅读
