需求假设学校的财务系统要出一个新功能，类似于年度账单。统计每个学生过去一年往一卡通中的总充值金额。其实这种需求完全不用开窗，可以直接使用批处理，groupBy()后reduce()即可。当然，也可以使用流处理通过开窗实现聚合。下面分别介绍。批处理public static void main(String[] args) throws Exception {
ExecutionEn
转载
2024-10-09 07:07:39
30阅读
Flink开发-Tasks和算子链间的关系1. disableOperatorChaining2. startNewChain3. disableChaining4.共享资源槽 对于分布式执行，Flink 将算子的 subtasks 链接在一起形成 tasks ，每个subtask 中的 Operator 连接成链也就是 Operator chain。对比每个 task 由一个线程执行，将算子链接
转载
2024-03-28 09:31:52
67阅读
1.概述痛点：假如我们在FLink的WebUI Metrics页面发现有一个SubTask每秒处理的数据明显比其他低，又或者在CheckPoint页面，发现有一个SubTask的CheckPoint时间明显比较长。有时候定位问题需要到TaskManager所在机器找到相应的Java进程使用jmap分析进程的内存使用或者jstack分析线程信息。现在问题来了，如果你知道某个SubTask已经有问题了
转载
2024-04-03 19:25:54
52阅读
目录1. 基本概念2. Flink 数据流2.1 并行数据流2.2 如何划分 TASK 的依据2.3 如何计算 TASK 和 SUBTASK 个数2.4 Demo2.4.1 Code2.4.2 提交 jar 1. 基本概念Task(任务)：Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。subTask(子任务)：subTask 是 Flink
转载
2024-01-12 06:28:04
73阅读
Flink个人学习整理-核心知识篇（二）一、Flink运行架构 二、核心概念1、TaskManager与SlotsTaskManager与Slots之间，不会涉及CPU的隔离。 slots间：核心共用，内存不共用2、Task 与 SubTask一个算子就是一个Task，算子的并行度是多少，就有多少个SubTask3、Parallelism（并行度）一个特定算子的子任务（SubTask）的个数被称之
转载
2024-03-20 22:23:48
91阅读
Task 是 Flink 的基本执行单元。算子的每个并行实例都在 task 里执行。例如，一个并行度为 5 的算子，它的每个实例都由一个单独的 task 来执行。StreamTask 是 Flink 流式计算引擎中所有不同 task 子类的基础。本文会深入讲解 StreamTask 生命周期的不同阶段，并阐述每个阶段的主要方法。算子生命周期简介因为 task 是算子并行实例的执行实体，所以它的生命
转载
2024-03-19 19:53:53
0阅读
【尚硅谷Java版】Flink1.13 转换算子之基本转换算子一、基本转换算子 数据源读入数据以后，我们就可以使用各种转换算子，将一个或多个DataStream转换为新的DataStream。一个Flink程序的核心，其实就是所有二点转换操作，他们决定了处理的业务逻辑。一、基本转换算子1、映射map
转载
2024-04-16 13:48:20
60阅读
Apache Flink是一个开源的流处理框架，应用于分布式、高性能、高可用的数据流应用程序。可以处理有限数据流和无限数据，即能够处理有边界和无边界的数据流。无边界的数据流就是真正意义上的流数据，所以Flink是支持流计算的。有边界的数据流就是批数据，所以也支持批处理，目前flink在各大互联网公司应用广泛，是最为流行的大数据实时计算引擎之一。flink可以高性能的完成对数据的实时计算，一个主要原
转载
2024-03-26 13:37:19
106阅读
1. Task的划分 在flink中，划分task的依据是发生shuffle（也叫redistrubute），或者是并行度发生变化1. wordcount为例package cn._51doit.flink.day03;
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.fl
转载
2023-12-27 20:51:28
28阅读
一、介绍Flink DataStream程序的第一部分通常设置基本时间特性。该设置定义了数据流源的行为方式（例如，它们是否将分配时间戳），以及像KeyedStream.timeWindow(Time.seconds(30))这样的窗口操作应该使用什么时间概念。Flink在流处理程序中支持不同的时间概念。ProcessingTime默认，无需指定是指执行相应操作的机器的系统时间。 当流处理程序基于处
转载
2024-03-16 01:33:16
68阅读
概念Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 O
转载
2024-05-07 14:09:50
57阅读
Flink1.12.3部署介绍FLink架构和组件介绍下面我们来介绍Flink集群的架构角色。Flink集群的初始角色是Flink的客户端client，client持有我们编写的代码，并会将代码翻译成JobGraph并提交给JobManagerJobManager分发任务给各个TaskManager，TaskManager是实际跑任务处理数据的地方，比如从source拉去数据，做MR操作，最后输出
转载
2024-06-04 09:36:50
80阅读
CentOS下全部使用device mapper的driver存储容器数据以及镜像，推荐使用direct-lvm模式。主要是效率，数据安全性等方面的考虑，效率方面可以参考https://developerblog.redhat.com/2014/09/30/overview-storage-scalability-docker/，数据安全性等内
转载
2024-05-31 21:18:51
43阅读
读完本文会花费三分钟的时间然后你会拥有一部流畅的手机 不知道你有没有碰到过这样的情况，手机用着用着就突然卡住了，有时候开个软件半天打不开，又或者是无缘无故的有软件闪退？「无论是以流畅著称的 iOS 还是被人冠以臃肿之名的安卓，实际上都存在上述的这些情况。」很多人都会来咨询机宝宝，自己的手机出现这些问题该怎么办？今天机宝宝就来和大家一起看看，安卓手机卡顿的原因以及相应的解决办法。
转载
2023-10-26 10:03:43
119阅读
在我们使用 Linux 系统时，如果网络或者磁盘等 I/O 出问题，会发现进程卡住了，即使用 kill -9 也无法杀掉进程，很多常用的调试工具，比如 strace, pstack 等也都失灵了，是怎么回事？此时，我们使用 ps 查看进程列表，可以看到卡住的进程状态显示为 D。man ps 中描述 D 状态是 Uninterruptible Sleep。Linux 进程有两种睡眠状态：Interr
转载
2024-06-10 08:19:52
36阅读
不管用什么手机，都有可能会出现死机的情况，尤其是深受游戏喜好着青睐的黑鲨手机死机的时候我们又该怎么办呢？1、手机电池电量过低导致的手机开不了机因手机电池电量过低导致的手机开不了机是最常见的，不少网友将手机电量使用到严重不足，导致手机自动关机后，很多时候刚插上充电器后，依然无法正常开机。原因是智能手机只有当电量大于比如5%的时候才可以开机，当电量过低，打不到这个要求时自然开不了几，我们能做的就是等待
转载
2023-08-18 16:34:48
302阅读
本人使用的opensuse的的gnome桌面，突然有一天发现开机卡死，一开始没觉得什么，当我重启了好几次，终于承认了是系统出问题了。系统在最后提示 开始更新有关系统运行级别更改的UTMP ...之后便卡死掉了。除了按电源键关机，其它操作余无法反应。（上面那段提示被google翻译助手给翻译了，现在我也忘了原话是啥，可能是：Started u
转载
2024-03-07 18:05:42
472阅读
在使用Linux系统时，有时候会遇到一些让人头疼的问题，比如系统突然卡死。这种情况经常发生在用户使用过程中，突然发现鼠标和键盘无法操作，屏幕上的所有程序都无法响应，这时候用户就只能强制关机，导致数据丢失和系统不稳定。
那么，为什么Linux系统会出现卡死的情况呢？造成Linux系统卡死的原因有很多，比如软件安装不当、系统资源占用过高、硬件故障等。首先，软件安装不当是常见的原因之一。当用户安装未经
原创
2024-03-21 10:28:14
383阅读
在玩游戏之前先简单的了解下，什么是XSS？1.什么是xssXSS攻击全称跨站脚本攻击，是为不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆，故将跨站脚本攻击缩写为XSS，XSS是一种在web应用中的计算机安全漏洞，它允许恶意web用户将代码植入到提供给其它用户使用的页面中。2.xss原理（1）.攻击者对某含有漏洞的服务器发起XSS攻击（注入JS代码）（2）诱使受害
## Java 卡死
### 介绍
在使用 Java 编程时，我们有时会遇到程序卡死的情况。卡死指的是程序在某个地方停止响应，不再继续执行下去。这种情况通常是由于程序陷入了无限循环、死锁或者资源耗尽等问题引起的。本文将介绍一些常见的导致 Java 程序卡死的原因，并给出相应的代码示例。
### 无限循环
无限循环是指在代码中存在一个没有结束条件的循环，导致程序永远无法跳出循环，进而卡死。下
原创
2023-08-13 14:04:36
241阅读
