1.什么是状态对于任何一个操作，都可以被看成是一个函数，比如y=f(x)，如果对于同一个x的任何一次输入，得到的y都是相同的，则可以认为这个函数是无状态，否则，这个函数就是有状态的。Flink的一大特点就在于对状态的支持。2.Keyed State和Operator StateKeyed StateKeyed State正如其名，总是和具体的key相关联，也只能在keyedStream的funct
转载
2023-10-28 13:06:27
34阅读
## 使用 Docker 容器运行 Flink 的步骤
在本篇文章中，我们将学习如何通过 Docker 容器运行 Apache Flink。Flink 是一个开源的流处理框架，通常用于实时数据处理。为了帮助你理解整个过程，下面是执行这一操作的整体流程：
| 步骤编号 | 步骤说明 |
| -------- | ----------------- |
| 1 |
warning:博文包含大量个人的吐槽和心理描述，已用区域进行标识，不喜可直接忽略这部分，直接查找答案Flink的二章，主要用途如下：熟悉Flink的组成了解 Flink 的执行的流程问题1：Flink 的组件有哪些？资源管理器 Resource Manager分发器 Dispacher作业管理器 JobManager任务管理器 TaskManager资源管理器（ResourceManager）
转载
2024-05-09 08:20:33
41阅读
# Docker启动Flink容器
## 简介
在本文中，我将向你介绍如何使用Docker来启动Flink容器。Docker是一个开源的容器化平台，可以帮助我们在不同的环境中更轻松地部署和管理应用程序。而Flink是一个强大的分布式流处理框架，它提供了许多功能，如高吞吐量、低延迟和Exactly-Once语义。
## 前提条件
在开始之前，请确保你已经安装了Docker和Docker Comp
原创
2023-12-12 04:56:14
184阅读
flink系列文章中，flink版本是1.9.0什么是flink引用官网的一句话：数据流上的有状态计算。优势Flink 提供了 State、Checkpoint、Time、Window 等，它们为 Flink 提供了容错性、实效性等优势。部署方式Local：直接在 IDE 中运行 Flink Job 时则会在本地启动一个 mini Flink 集群。Standalone：在 Flink 目录下执行
转载
2023-12-06 20:52:11
122阅读
背景Flink 因为其可靠性和易用性，已经成为当前最流行的流处理框架之一，在流计算领域占据了主导地位。早在 18 年知乎就引入了 Flink，发展到现在，Flink 已经成为知乎内部最重要的组件之一，积累了 4000 多个 Flink 实时任务，每天处理 PB 级的数据。Flink 的部署方式有多种，根据资源调度器来分类，大致可分为 standalone、Flink on YARN、Flink o
转载
2024-07-19 14:25:31
49阅读
Flannel实质上是一种“覆盖网络(overlay network)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。安装dockeryum -y install yum-utils
yum-config-manager --add-repo https://mirrors.ustc.edu.
转载
2024-07-03 09:53:41
25阅读
环境准备安装Docker及相关镜像Docker下载链接 由于穷买不起mac，所以挂的windows的链接，可自行去Docker官网下载其他版本。 安装过程省略，毕竟一路下一步的东西，下面开始安装并启动kafka、mysql等服务。安装zookeeper服务因为kafka需要将许多信息固化存储在zk上，所以我们首先得安装zookeeper服务执行docker run -d --name zookee
转载
2024-02-13 12:15:49
111阅读
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 无界 或者 有界 流来处理。 Apache Flink
转载
2023-12-17 22:02:29
60阅读
背景Flink 因为其可靠性和易用性，已经成为当前最流行的流处理框架之一，在流计算领域占据了主导地位。早在 18 年知乎就引入了 Flink，发展到现在，Flink 已经成为知乎内部最重要的组件之一，积累了 4000 多个 Flink 实时任务，每天处理 PB 级的数据。Flink 的部署方式有多种，根据资源调度器来分类，大致可分为 standalone、Flink on YARN、Flink o
转载
2024-06-27 20:45:05
114阅读
本文主要通过代码练习熟悉Flink DataStream相关API的功能和使用。读者可完成简单的准备工作后跟着一起完成练习准备一台装有 Docker 的 Linux 或 MacOS 计算机。使用 Docker Compose 启动容器通过 wget 命令自动下载该 docker-compose.yml 文件，也可以手动下载mkdir flink-service; cd flink-service;
转载
2023-08-27 10:37:01
233阅读
Docker 中部署使用 Docker 容器完成 Flink 集群的本地设置（在一台机器上，但在单独的容器中）。在 Docker 上启动会话集群一个Flink Session 集群可用于运行多个作业。每个作业都需要在集群部署完成后提交到集群。要使用 Docker 部署Flink Session 集群，您需要启动一个 JobManager 容器。为了启用容器之间的通信，我们首先设置一个必需的 Fli
转载
2023-06-12 14:50:52
2567阅读
目录1.写在前面2.Environment：执行环境2.1 getExecutionEnvironment：得到执行环境（常用方法）2.2 createLocalEnvironment：创建本地执行环境2.3 createRemoteEnvironment：创建远程执行环境3.执行模式（Flink 1.12.0）3.1 流执行模式（STREAMING）3.2
转载
2024-07-08 16:14:05
47阅读
文章目录一、开发环境二、相关技术三、系统架构四、分包解释五、相关博客 一、开发环境 此项目的开发环境如下：
macOS Big Sur（不影响）IntelliJ IDEAjdk 1.8.0_271Maven 3.6.1Flink 1.12.2Kafka 2.0.0MySQL 5.1.49Vue Cli 4.5.12Vue 2.5.2Element-UI 2.15.1二、相关技术 项目以Vue
转载
2024-02-20 15:26:12
162阅读
# Flink Docker实现教程
## 整体流程
为了实现Flink Docker，我们需要按照以下步骤进行操作：
| 步骤 | 描述 |
| ------ | ------ |
| 步骤1 | 安装Docker和Docker Compose |
| 步骤2 | 创建Flink项目 |
| 步骤3 | 准备Docker镜像 |
| 步骤4 | 编写Docker Compose配置文件 |
原创
2023-07-14 16:31:26
223阅读
目录* 使用Docker方式安装Redis* Redis是什么？* 为什么要用Redis1.下载要使用的Redis镜像2.使用docker启动Redis容器3.通过exec进入Redis容器4.控制Redis服务器5.Redis服务端和客户端 * 使用Docker方式安装Redis提前部署docker环境，这一点不多说，请参考docker安装文章，本文安装Redis版本为6.0* Redis是什
转载
2024-02-22 12:10:11
19阅读
flink运行环境使用docker快速搭建测试环境这是官网的快速搭建环境方法，可直接参考flink官网：https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/try-flink/flink-operations-playground/都是中文，很方便。环境linux version CentOS 7
docker 20
转载
2024-04-28 10:58:32
108阅读
今天的实战是用两台树莓派3B组建Flink1.7集群环境，模式是独立集群(Cluster Standalone)；操作步骤准备操作系统；安装JDK；配置host；安装Flink1.7;配置参数；设置两台树莓派相互SSH免登录；启动Flink集群环境；部署一个Flink应用，验证环境是否正常；树莓派操作系统两台树莓派的操作系统都是64位Debian，详细的安装步骤请参考《树莓派3B安装64位操作
转载
2023-09-05 20:20:15
9阅读
# 实现“flink on docker”教程
## 1. 流程图
```mermaid
erDiagram
小白 -->|学习| 开发者
开发者 -->|教授| 小白
```
## 2. 教学步骤表格
| 步骤 | 说明 |
|------|-----------------------|
| 1 | 下载Docker
原创
2024-06-30 05:00:43
40阅读
Flink CDC 基于 Docker Flink 的实现过程记录
在这篇博文中，我将详细记录如何在 Docker 中配置和使用 Flink CDC（Change Data Capture）。Flink CDC 允许我们在实时数据流中捕获数据变更，并利用 Docker 的便捷性来进行环境的配置和部署。
## 环境准备
在开始之前，我们需要确保我们有适合的软硬件环境。
### 硬件资源评估四
