状态和普通变量的区别：
普通变量数据保存在内存中，任务执行失败会丢失
flink的状态中的数据会被checkpoint持久化到hdfs中，如果任务失败还能恢复到之前的计算结果
flink的checlpoint默认是关闭的，开启后在本地无法运行了，只能提交服务器了
// 每 1000ms 开始一次 checkpoint
env.enableCheckpointing(1000)
转载
2024-03-02 11:09:52
257阅读
一种特殊的Checkpoint (检查点)—Savepoint(保存点)Savepoint 是一种特殊的 CheckPoint，所以有关 Savepoint 的实现与 CheckPoint 的实现密切相关因为 Savepoint 涉及到 Client 和 JobManager 之间的 Actor 信息交互，因此单独一文来进行介绍 文章目录CheckPoint VS SavepointSavepoi
转载
2024-03-17 00:40:57
344阅读
Flink checkpoint state相关概念参考源码flink-1.11Checkpoint完整的元数据CompletedCheckpoint，用来描述所有任务都完成确认后的checkpoint， 封装了一次 Checkpoint 完整的元数据信息.public class CompletedCheckpoint implements Serializable {
// job id
转载
2024-06-11 22:04:50
34阅读
Flink之状态之状态存储 state backends流计算中可能有各种方式来保存状态：窗口操作使用 了KV操作的函数继承了CheckpointedFunction的函数
当开始做checkpointing的时候，状态会被持久化到checkpoints里来规避数据丢失和状态恢复。选择的状态存储策略不同，会导致状态持久化如何和checkpoints交互。1.可用的状态持久化策略Flink提供了三种
转载
2024-08-23 22:52:33
52阅读
Flink的 Checkpoint 默认是关闭的，当Flink程序的checkpoint被激活时，状态会被持久化到checkpoint，以防止数据丢失和无缝恢复。状态在内部如何组织和它们如何以及在哪持久化，依赖于所选的状态后端。 Flink默认状态是存储在 JM（JobManage
转载
2023-12-27 15:03:28
143阅读
# 使用 Flink Checkpoint 配置 MySQL 存储
Apache Flink 是一个强大的流处理框架，广泛应用于实时数据处理和分析。其核心特性之一是状态管理和恢复机制。为了实现高可用性，Flink 提供了检查点（Checkpoint）功能，允许保存应用程序的状态并在故障时恢复。本文将介绍如何将 Flink 的检查点配置为使用 MySQL 存储。
## 什么是检查点？
检查点是
# Flink Checkpoint 存储到 MySQL 的实现指南
Apache Flink 是一个强大的流处理引擎，它提供了可靠的状态管理机制，使用“检查点”（Checkpoint）来实现故障恢复。通常，Flink 支持将检查点存储在 HDFS、S3 等分布式文件系统中，但在某些场景下，我们也可能需要将检查点存储在关系型数据库中，如 MySQL。本文将详细解释如何实现这个过程。
## 流程
在Flink中的每个函数和运算符都是有状态的。在处理过程中可以用状态来存储数据，这样可以利用状态来构建复杂操作。为了让状态容错，Flink需要设置checkpoint状态。Flink程序是通过checkpoint来保证容错，通过checkpoint机制，Flink可恢复作业的状态和计算位置。checkpoint检查点前提条件Flink的checkpoin机制需要与流和状态的持久化存储交互，一般它要
转载
2023-10-10 21:06:47
76阅读
1、检查点（checkpoint）Flink 故障恢复机制的核心，就是应用状态的一致性检查点。有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候。下图是一个奇偶求和的例子，sum_even表示偶数求和，sum_odd表示奇数求和，数据源是1-9的数字。从图中可以看出，source偏移量为5，表示已经读
转载
2023-10-14 14:44:18
212阅读
目录基础题1、flink checkpoint 与 savepoint 区别以及使用场景思考题2、Kafka 高效读写数据的原理1.顺序写磁盘2.分段日志 + 索引文件3.零拷贝4. Page Cache5. 批量发送6. 数据压缩智力题3、岛上有 100 个囚犯，基础题1、flink checkpoint 与 savepoint 区别以及使用场景1.checkpoint的侧重点是“容错”，即Fl
转载
2024-05-11 20:23:34
161阅读
什么是checkpoint?checkpoint 则表示了一个 Flink Job ，在一个特定时刻的一份全局状态状态快照，即包含了一个 job 下 所有task/operator 某时刻的状态。问题九、使用checkpoint（检查点）的作用？使用Checkpoint提高程序的可靠性用户可以根据程序里面的配置将checkpoint打开，给定一个时间间隔后，框架会按照时间间隔给程序的状态进行备份。
转载
2023-09-06 07:02:27
88阅读
之前做过Android的gradle配置多渠道打包，可以给予安装包不同的包名、不同的数据请求地址，不同的图标和启动图。最近有个需求，需要配置iOS的不同的请求地址、桌面图标、启动图，所以研究一下，记录一下。研究了一下资料，貌似最简单的方式莫过于多target方式了。具体一般有以下两种应用应用方式1:App配置不同的请求地址、桌面图标、启动图等。应用方式2:同一个应用的不同客户端，例如打车软件的普通
转载
2024-09-16 21:03:52
33阅读
1. 数据存储常用的方式（1）XML 属性列表（plist）归档（2）preference(偏好设置)（3）NSKeyedArchiver归档（NSCoding） (4) SQLite3 (5) Core Data 2. 应用沙盒（文件系统根目录） 2.1. 应用沙盒结构分析
Documents：保存应用运行
转载
2023-09-13 12:01:11
271阅读
12-容器之间link这篇主要讲 容器之间如何 link。需要准备的是，创建两个容器 test1 和 test2 通过 busybox。在之前的课程中已经创建的只需要重新启动即可。什么情况下需要link例如有一个容器是 web 服务器，并且跑在一个docker容器内，这个web程序需要访问后台数据库，一般来说我们会把数据库也运行在一个docker的容器内，那么此时就需要两个容器进行 link。访问
转载
2024-02-19 10:42:22
47阅读
搜索引擎是对数据的检索，所以我们先从生活中的数据说起。我们生活中的数据总体分为两种：结构化数据非结构化数据结构化数据： 也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。指具有固定格式或有限长度的数据，如数据库，元数据等。非结构化数据： 又可称为全文数据，不定长或无固定格式，不适于由数据库二维表来表现，包括所有
转载
2024-08-12 13:52:03
182阅读
# SQL Server 存储过程存储位置教学指南
## 引言
在SQL Server中，存储过程是一种在数据库引擎中存储的可编程对象，它允许我们封装一系列SQL操作。这些存储过程在执行时可以提高性能并简化复杂的数据库操作。对于刚入门的小白开发者来说，了解存储过程的存储位置以及如何访问它们是非常重要的。
本文将引导你逐步学习SQL Server中存储过程的存储位置，并通过表格和代码示例加深理
原创
2024-08-13 08:48:45
989阅读
沙河主要子目录：/AppName.app：存放应用程序自身/Documents/：这是文档目录。有关应用的所有数据文件应该写入到这个目录下，这个目录用于存储用户数据或者其他应该定期备份的信息。/Library/：默认设置，下面有一些规范定义的的子目录，当然也可以自定义子目录，用于存放应用的文件，但是不宜存放用户数据文件，和document一样会被itunes同步，但不包括caches子目录/Lib
转载
2023-12-30 22:25:07
343阅读
## MongoDB数据存储流程
在学习如何将数据存储在MongoDB中之前，我们需要先了解MongoDB的基本概念和安装方法。MongoDB是一个开源的、高性能、无模式的文档型数据库，适用于处理大量的非结构化数据。
### 安装MongoDB
1. 下载MongoDB并按照官方文档上的指引进行安装。你可以从MongoDB的官方网站（
2. 安装完成后，通过命令行或者图形界面启动MongoD
原创
2023-10-22 07:27:16
74阅读
文章目录1、Session和Cookie的关系是什么？1.1、session和cookie的区别2、cookie操作3、Session操作4、session在哪儿？4.1、服务器里4.2、浏览器端（客户端） 1、Session和Cookie的关系是什么？Session是基于Cookie, 是因为把数据写入session时将会生成一个随机字符串并将随机字符串存入cookie。读取时，是先从cook
springcloud 搭建 分布式系统，在搭建权限系统时，选择用jwt作为无状态，前后端分离做保证。实现方案：1.通过shiro spring-security都能很好的实现restfull风格的后端接口Api；2.通过集成jwt，可以很好的生成token，并用于鉴权或认证判断；3.jwt其实就是存储了一些信息，通过后端解析，来判断是否登录，是否有权限访问，通过全局处理可以很好的解决问题；那么问
