文章目录一、开发环境二、相关技术三、系统架构四、分包解释五、相关博客 一、开发环境 此项目的开发环境如下：
macOS Big Sur（不影响）IntelliJ IDEAjdk 1.8.0_271Maven 3.6.1Flink 1.12.2Kafka 2.0.0MySQL 5.1.49Vue Cli 4.5.12Vue 2.5.2Element-UI 2.15.1二、相关技术 项目以Vue
转载
2024-02-20 15:26:12
162阅读
1.什么是状态对于任何一个操作，都可以被看成是一个函数，比如y=f(x)，如果对于同一个x的任何一次输入，得到的y都是相同的，则可以认为这个函数是无状态，否则，这个函数就是有状态的。Flink的一大特点就在于对状态的支持。2.Keyed State和Operator StateKeyed StateKeyed State正如其名，总是和具体的key相关联，也只能在keyedStream的funct
转载
2023-10-28 13:06:27
34阅读
## 使用 Docker 容器运行 Flink 的步骤
在本篇文章中，我们将学习如何通过 Docker 容器运行 Apache Flink。Flink 是一个开源的流处理框架，通常用于实时数据处理。为了帮助你理解整个过程，下面是执行这一操作的整体流程：
| 步骤编号 | 步骤说明 |
| -------- | ----------------- |
| 1 |
前言概念词就不多说了，我简单地介绍下 ， spring batch 是一个 方便使用的 较健全的 批处理 框架。为什么说是方便使用的，因为这是 基于spring的一个框架，接入简单、易理解、流程分明。为什么说是较健全的， 因为它提供了往常我们在对大批量数据进行处理时需要考虑到的 日志跟踪、事务粒度调配、可控执行、失败机制、重试机制、数据读写等。正文那么回到文章，我们该篇文章将会带来给大家的是什么？
转载
2024-03-16 08:13:10
52阅读
目录1.写在前面2.Environment：执行环境2.1 getExecutionEnvironment：得到执行环境（常用方法）2.2 createLocalEnvironment：创建本地执行环境2.3 createRemoteEnvironment：创建远程执行环境3.执行模式（Flink 1.12.0）3.1 流执行模式（STREAMING）3.2
转载
2024-07-08 16:14:05
44阅读
warning:博文包含大量个人的吐槽和心理描述，已用区域进行标识，不喜可直接忽略这部分，直接查找答案Flink的二章，主要用途如下：熟悉Flink的组成了解 Flink 的执行的流程问题1：Flink 的组件有哪些？资源管理器 Resource Manager分发器 Dispacher作业管理器 JobManager任务管理器 TaskManager资源管理器（ResourceManager）
转载
2024-05-09 08:20:33
41阅读
flink系列文章中，flink版本是1.9.0什么是flink引用官网的一句话：数据流上的有状态计算。优势Flink 提供了 State、Checkpoint、Time、Window 等，它们为 Flink 提供了容错性、实效性等优势。部署方式Local：直接在 IDE 中运行 Flink Job 时则会在本地启动一个 mini Flink 集群。Standalone：在 Flink 目录下执行
转载
2023-12-06 20:52:11
122阅读
背景Flink 因为其可靠性和易用性，已经成为当前最流行的流处理框架之一，在流计算领域占据了主导地位。早在 18 年知乎就引入了 Flink，发展到现在，Flink 已经成为知乎内部最重要的组件之一，积累了 4000 多个 Flink 实时任务，每天处理 PB 级的数据。Flink 的部署方式有多种，根据资源调度器来分类，大致可分为 standalone、Flink on YARN、Flink o
转载
2024-07-19 14:25:31
49阅读
1.初识
Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 会 ， 参 加 这 个 孵 化 项 目 的 初 始 成 员 是Stratosphere
转载
2024-04-03 14:08:58
89阅读
上篇文章我们讲到了Reactive Feign，它在响应式微服务中替换了阻塞模型的Open Feign。今天我们要讨论的是响应式的链路跟踪。在微服务架构中，原来的单体被划分为多个细小的模块部署，一个请求可能需要横跨多个小的服务才能完成它所要实现的功能。在传统阻塞模型中有很多优秀的框架可以供我们解决这个问题，比如Zipkin，SkyWalking等等。那在Spring Webflux中他们表现如何呢
转载
2024-08-28 20:42:12
97阅读
文章目录前言什么是spring batchSpring 组件使用场景架构 前言dblink（Database Link，数据库的链接像电话线一样是一个通道，要跨本地数据库访问另外一个数据库表中的数据时，本地数据库中就必须要创建远程数据库的dblink,通过dblink本地数据库可以像访问本地数据库一样访问远程数据库表中的数据。）要转换成文件加载方式，所以要改用spring batch。什么是sp
转载
2023-10-10 09:46:12
219阅读
一、SpringBatch概述官网介绍：SpringBatch是一个轻量级、全面的批处理框架，旨在支持开发对企业系统的日常操作至关重要的健壮的批处理应用程序。 Spring Batch 提供了处理大量记录所必需的可重用功能，包括日志记录/跟踪、事务管理、作业处理统计、作业重启、跳过和资源管理。它还提供更高级的技术服务和功能，将通过优化和分区技术实现极高容量和高性能的批处理作业。简单和复杂的大批量批
转载
2023-10-02 09:54:03
182阅读
目录* 使用Docker方式安装Redis* Redis是什么？* 为什么要用Redis1.下载要使用的Redis镜像2.使用docker启动Redis容器3.通过exec进入Redis容器4.控制Redis服务器5.Redis服务端和客户端 * 使用Docker方式安装Redis提前部署docker环境，这一点不多说，请参考docker安装文章，本文安装Redis版本为6.0* Redis是什
转载
2024-02-22 12:10:11
19阅读
1、Spring 的 IoC 容器是一个提供IoC支持的轻量级容器，除了基本的 IoC 支持，还提供了相应的 AOP 框架支持、企业级服务集成等服务。Spring提供了两种容器类型：BeanFactory 和 ApplicationContext。
转载
2023-05-26 02:50:57
103阅读
# Docker启动Flink容器
## 简介
在本文中，我将向你介绍如何使用Docker来启动Flink容器。Docker是一个开源的容器化平台，可以帮助我们在不同的环境中更轻松地部署和管理应用程序。而Flink是一个强大的分布式流处理框架，它提供了许多功能，如高吞吐量、低延迟和Exactly-Once语义。
## 前提条件
在开始之前，请确保你已经安装了Docker和Docker Comp
原创
2023-12-12 04:56:14
184阅读
一、背景1、出现异常公司准备从CDH迁回社区版Hadoop集群，直接把Hadoop升级为比较新的3.30版本，Hive升级为3.12版本。Flink编译的是1.12.0版本，启动自己的测试直接报出下面的错，甚至启动官方的demo任务也会报相同的错。Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions
转载
2024-10-12 10:49:19
56阅读
# 从零开始实现Spring Boot和Flink集成
## 一、整体流程
为了实现Spring Boot和Flink的集成，我们需要按照以下步骤进行操作：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建Spring Boot项目 |
| 2 | 添加Flink依赖 |
| 3 | 实现Flink任务 |
| 4 | 在Spring Boot中运行Flink任务 |
原创
2024-05-24 11:42:16
676阅读
一、注解初使用1、声明Bean的注解名称@Component/@Controller/@Service/@Repository类型类注解位置类定义上方作用设置该类为spring管理的bean属性value（默认）：定义bean的id为了增强程序的可读性：控制器类上使用：Controller、service类上使用：Service、dao类上使用：Repository。注意：@Component注解
Flink简介Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。事件驱动及微批处理事件驱动以事件本身为触发点触发计算等动作，和Spark Streaming可以做鲜明对比，Spark Streaming就不是事件驱动，是微批应用。在Spark Streaming的观念中，流是
转载
2024-04-23 05:37:00
109阅读
相信接触过Spring框架的程序猿，肯定会接触容器这个概念，那么这个Spring容器究竟是什么呢？Spring IoC 容器Spring 容器是 Spring 框架的核心。容器将创建对象，把它们连接在一起，配置它们，并管理他们的整个生命周期从创建到销毁。Spring 容器使用依赖注入（DI）来管理组成一个应用程序的组件。（看完抽象概念可能多少会有点懵，别着急，再往下看看）Spring IoC 容器
转载
2024-03-19 15:32:02
34阅读
