文章目录缘起启动第一个flink程序分析 缘起 我为什么学习apache flink呢？因为下面一件事： 这种事经常出现，flink经常被提及。我不得不注意了，不得不学习了，否则将被市场无情地淘汰。启动 我开始时试着从官网直接下载1.15版本然后启动发现总是启动失败。第一个难点是1.15版本不再支持Windows系统了。然后我就是用cygwin启动，看着是没问题哈： 但是实际上没有进
转载
2024-03-27 11:08:23
68阅读
flink背压的两种场景1.本地传输如果task1和task2都运行在同一个工作节点（TaskManager），缓冲区可以被直接共享给下一个task，一旦task 2消费了数据它会 被回收。如果task 2比task 1慢，buffer会以比task 1填充的速度更慢的速度进行回收从而迫使task 1降速。 2.网络传输如果task 1和task 2运行在不同的工作节点上。一旦缓冲区内的数据被
转载
2024-04-26 21:59:16
117阅读
（1）事件驱动型 1、什么是事件驱动型应用程序：事件驱动的应用程序是有状态的应用程序，它从一个或多个事件中提取事件，并通过触发计算，状态更新或外部操作来对传入的事件做出反应。 2、事件驱动型应用程序与传统应用程序的区别： 1）程序与数据的位置：传统应用程序不要求程序和程序使用的数据位于相同的机器上，数据的位置对程序来说无关紧要；事件驱动程序则要求数据本地性，这有利于数据的快速计算 2）
转载
2024-08-03 16:04:41
92阅读
什么是Cep？在流式数据中（事件流），筛选出符合条件的一系列动作（事件）【复杂事件处理】什么是 Flink-Cep？Flink Cep库Api 【实时操作】官方文档什么是Pattern？Pattern就是Cep里的规则制定Pattern分为个体模式，组合模式（模式序列）和模式组模式组是将组合模式作为条件的个体模式Cep开发流程DataStream 或 Keyedstream
定义规则(Patter
转载
2024-07-03 04:24:11
43阅读
1、环境准备首先，准备 python 虚拟环境。2020年11月3日时的 pyflink 的最高版本为 1.11.2，请开发者按照实际需要或者线上环境要求来指定 pyflink 版本。wget https://ci.apache.org/projects/flink/flink-docs-release-1.11/downloads/setup-pyflink-virtual-env.sh
sh
转载
2024-04-08 14:42:05
86阅读
调试Local模式下带状态的Flink任务Flink版本: 1.8.0Scala版本: 2.11Github地址：https://github.com/shirukai/flink-examples-debug-state.git在本地开发带状态的Flink任务时，经常会遇到这样的问题，需要验证状态是否生效？以及重启应用之后，状态里的数据能否从checkpoint的恢复？首先要明确的是，Flink
转载
2024-03-23 11:03:55
379阅读
RPC分布式系统离不开RPC远程调用，本文首先理一下什么是RPC。1.java本地方法调用假设你有一个Calculator，那么单体应用时，要调用Calculator的add方法来执行一个加运算，你可以方法中直接使用，因为在同一个地址空间，或者说在同一块内存，这个称为本地函数调用。java的本地方法调用中，每个方法会作为java虚拟机栈中的一个栈帧放入到java虚拟机栈中，方法调用的时候执行入栈操
转载
2024-06-13 19:37:05
62阅读
Flink完全分布式集群安装 - 知乎过程中有很多问题需要摸索，遇到问题请参考上述文档。1.1本地模式部署1.1.1 将压缩包解压[root@master root]# tar -zxvf flink-1.9.1-bin-scala_2.11.tgz -C /usr/local/1.1.2 创建软连接（文件名太长操作不方便，就是改个名）[root@master local]# ln -s flin
转载
2024-05-27 12:34:14
187阅读
文章目录Asynchronous I/O for External Data Access | 用于外部数据访问的异步I/OThe need for Asynchronous I/O Operations | 异步IO操作的需要Prerequisites | 使用异步IO的前提条件Async I/O API Asynchronous I/O for External Data Access |
转载
2024-03-21 10:28:40
47阅读
一、前言 Flink提供不同的状态后端（State Backend）来区分状态的存储方式和存储位置。Flink状态可以存储在java堆内存内或者内存之外。通过状态后端的设置，Flink允许应用持有大容量的状态。开发者可以在不改变应用逻辑的情况下设置状态后端。 二、可用的State BackendFlink提供三种开箱即用的State Backend：Memory
转载
2024-02-26 11:37:53
55阅读
1. 执行环境Flink 程序可以在各种上下文环境中运行：我们可以在本地 JVM 中执行程序，也可以提交 到远程集群上运行。不同的环境，代码的提交运行的过程会有所不同。这就要求我们在提交作业执行计算时，首先必须获取当前 Flink 的运行环境，从而建立起与 Flink 框架之间的联系。只有获取了环境 上下文信息，才能将具体的任务调度到不同的 TaskManager 执行。1. 1 创建执行环境创建
转载
2024-04-26 18:40:37
137阅读
一、错误日志2022-08-30 03:14:45
org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer.
at org.apache.flink.streaming.runtime.tasks.StreamTask$StreamTask
转载
2024-04-28 11:53:03
125阅读
缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费时，当我们发现我们的系统这个数据请求量很大的时候，频繁的IO和频繁的逻辑处理会导致硬盘和CPU资源
分布式缓存Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有taskman
转载
2023-10-08 19:31:27
530阅读
前言最近正在准备关于Flink 1.13 / 1.14版本新特性的内部分享，顺便做点记录。又见网络缓存很久没有聊过Flink的网络栈了，但相信大家对网络缓存(Network Buffer)这个概念不会陌生。它是Flink网络层数据交换的最小单元，承载序列化后的数据，以直接内存的形式分配，并且一个Buffer的大小就等于一个MemorySegment的大小，即taskmanager.memory.s
转载
2024-03-25 19:14:06
396阅读
点击这里查看 Flink 1.13 源码解析 目录汇总点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程概览点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程 WebMonitorEndpoint启动点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程之ResourceManager启动目录一、前言：二、Dis
转载
2024-05-08 17:31:42
100阅读
一、什么是ehcache？在互联网应用中，数据存储和访问通常有两个地方：DB和缓存。1. 各自的优缺点：DB属于持久化存储，缓存属于非持久化存储（有过期时间）；缓存相对DB来说，插入和访问的速度要快很多。其中缓存又分为本地缓存（例如ehcache）和网络缓存（例如redis）。 2. 它们三者的访问速度比较：ehcache > redis > DB。ehcache的特点是缓存
转载
2023-09-29 21:34:56
175阅读
为什么要有本地缓存？ 在系统中，有些数据，数据量小，但是访问十分频繁（例如国家标准行政区域数据），针对这种场景，需要将数据搞到应用的本地缓存中，以提升系统的访问效率，减少无谓的数据库访问（数据库访问占用数据库连接，同时网络消耗比较大），但是有一点需要注意，就是缓存的占用空间以及缓存的失效策略。 为什
转载
2017-11-21 19:45:00
347阅读
2评论
本地缓存和redis缓存是常见的数据缓存方式，它们在提高系统性能和减少数据库压力方面起到了重要作用。本文将介绍本地缓存和redis缓存的基本概念、使用场景和示例代码。
## 什么是本地缓存？
本地缓存是指在应用程序所在的服务器内存中临时存储数据的一种机制。当应用程序需要读取某个数据时，首先会尝试从本地缓存中获取，如果本地缓存中存在该数据，则直接返回；如果本地缓存中不存在该数据，则从数据库中读取
原创
2024-01-21 10:15:23
155阅读
# 本地缓存与 Redis 缓存的实现指南
在现代应用程序中，使用缓存可以显著提高性能和响应速度。本文旨在教会您如何结合本地缓存和 Redis 缓存。我们将分步骤演示整个过程，并提供代码示例和详细的解释。
## 整体流程
以下是实现本地缓存与 Redis 缓存的步骤：
| 步骤 | 描述 |
|------|---
