Flink 系列文章
一、Flink 专栏
Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。
1、Flink 部署系列
本部分介绍Flink的部署、配置相关基础内容。
2、Flink基础系列
本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。
3、Flik Table API和SQL基础系列
本部
原创
2023-12-30 08:42:01
155阅读
点赞
在Kubernetes中使用Flink Operator来管理状态（State）是一个常见的需求，本篇文章将介绍如何实现这一功能。首先，让我们看一下整个实现的流程：
| 步骤 | 操作 |
|------|------|
| 1 | 安装Flink Operator |
| 2 | 创建Flink StatefulSet |
| 3 | 创建Flink Savepoint |
原创
2024-04-24 12:25:28
122阅读
一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关
原创
2024-01-04 12:02:18
344阅读
[root@node1 software]# rz
上传软件包：flink-1.13.1-bin-scala_2.11.tgz[root@node1 software]# chmod u+x flink-1.13.1-bin-scala_2.11.tgz
[root@node1 software]# tar -zxf flink-1.13.1-bin-scala_2.11.tgz -C /ex
在Java中应用State设计模式作者：未知 发布日期：2005年01月19日在Java中应用State设计模式作者：俞良松2002年11月19日对象的状态由各个属性的当前值构成。当我们调用某个对象的setXXX()方法时，通常表示修改它的XXX属性。另外，对象在执行方法时，也可能修改自己的状态。在某些情形下，例如建立事务或机器模型时，对象的状态可能是
转载
2024-03-12 11:31:18
34阅读
Ansibleansible格式：
ansible <host-pattern> [-f forks] [-m module_name] [-a args]
args: 用法
key=value 比如调用user模块时，name=dongshi或者state=present
# ansible all -m cron -a 'name="sync time from ntpserve
Keepalived的全局配置默认配置文件如下： 1 ! Configuration File for keepalived
2
3 global_defs {
4 notification_email {
5 acassen@firewall.loc
6 failover@firewall.loc
7 sysadmin@fir
转载
2024-08-15 19:18:21
97阅读
Flink DataStream Manager(托管) Operator State的简单使用要使用Manager(托管) Operator State，需要实现CheckpointedFunction接口或者ListCheckpointed<T extends Serializable>接口。一、CheckpointFunctionCheckpointedFunction接口提供具
转载
2024-07-29 21:55:39
56阅读
Flink官网的自我介绍：Apache Flink® — Stateful Computations over Data Streams，**可以看出状态计算是 Flink 引以为豪的杀手锏。那什么是带状态的计算呢
原创
2021-09-01 13:58:18
2168阅读
为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重
转载
2020-06-20 09:56:00
108阅读
2评论
为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重 ...
转载
2021-10-21 16:54:00
291阅读
2评论
PostgreSQL pg_stat_activity state
原创
2021-04-06 12:06:38
715阅读
本文主要运行到Flink以下内容检查点机制(CheckPoint)状态管理器(StateBackend)状态周期(StateTtlConfig)关系首先要将state和checkpoint概念区分开，可以理解为checkpoint是要把state数据持久化存储起来，checkpoint默认情况下会存储在JoManager的内存中。checkpoint表示一个Flink job在一个特定时刻的一份全
转载
2024-02-17 13:15:44
101阅读
Flink 系列文章
一、Flink 专栏
Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。
1、Flink 部署系列
本部分介绍Flink的部署、配置相关基础内容。
2、Flink基础系列
本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。
3、Flik Table API和SQL基础系列
本部
原创
2023-12-29 09:33:44
129阅读
点赞
keyed state 接口提供不同类型状态的访问接口，这些状态都作用于当前输入数据的 key 下。换句话说，这些状态仅
原创
2024-01-04 12:02:44
239阅读
Flink架构：分布式系统Flink，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop Yarn，Apache Mesos，Kubernetes，但是也可以设置作为独立集群甚至库来运行。分离模式：客户端断开连接。附加模式：保持连接接受进程报告。Job Manager：决策者，决定何时调度下一个task，对完成的task和执行失败作出反应，协调chec
转载
2024-06-18 09:53:23
35阅读
一、State的基本概念什么叫State？搜了一把叫做状态机制。可以用作以下用途。为了保证 at least once, exactly once，Flink引入了State和Checkpoint某个task/operator某时刻的中间结果快照（snapshot）程序一旦crash，恢复用的机器学习模型的参数 二、Flink中包含的StateKeyed State和Opreator S
转载
2024-03-13 10:22:36
66阅读
1.概述Flink支持有状态计算，根据支持得不同状态类型，分别有Keyed State和Operator State。针对状态数据得持久化，Flink提供了Checkpoint机制处理；针对状态数据，Flink提供了不同的状态管理器来管理状态数据，如MemoryStateBackend。上面Flink的文章中，有引用word count的例子，但是都没有包含状态管理。也就是说，如果一个task在处
转载
2024-04-12 06:33:55
9阅读
crsctl stat res -t 和crsctl stat res -t -init 中STATE_DETAILS的解释
原创
2021-10-28 17:39:10
514阅读
核心概念官网链接DataSet and DataStreamFlink具有特殊类DataSet并DataStream在程序中表示数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet数据有界的情况下（批处理），对于一个DataStream元素的数量可以是无界的（流处理）。这些集合（数据）在某些关键方面与常规Java集合不同。首先，它们是不可变的，这意味着一旦创建它们就无法添加或删除
