最近接手了一个改造多平台日志服务的需求，经过梳理，我认为之前服务在设计上存在缺陷。经过一段时间的技术方案调研，最终我们决定选择使用 Flink 重构该服务。目前重构后的服务已成功经受了国庆节流量洪峰的考验，今日特来总结回顾，和大家分享一下经验。业务需求及背景在了解改造服务的需求前，我们首先要明确，要解决什么问题以及目前的服务是如何解决的。当前的业务逻辑还是比较清晰的：采集同一时段不同数据源的日志；
目录系统调度过程用户空间角度：内核角度1、调用fork创建一个新进程2、使用_fo_fork创建新进程3、父进程调用wake_up_new_task尝试唤醒新进程4、CPU选择一个合适的进程来运行；5、运行新进程6、实现负载均衡系统调度过程分析在命令行下使用./test程序。程序在用户态和内核台中运行的流程用户空间角度：shell 运行test程序，调用fork()系统调用函数来创建一个新进程；调
flink window可以按照time 与 count分为两类，timeWindow可按照事件事件也可按照处理时间，countWindow按照计数方式，当流入窗口的数据达到一定数据则会触发窗口函数。 countWindow 与timeWindow一样需要Assigner、Trigger 等窗口组件，那么flink 是如何实现计数窗口，主要考虑两个问题：1. timeWindow 窗
原创
2021-02-06 21:30:06
1074阅读
目录1 KeyedProcessFunction2 TimerService 和 定时器（Timers）3 侧输出流（SideOutput）4 CoProcessFunction &
转载
2024-07-24 13:12:19
27阅读
Checkpoint触发机制 Flink的checkpoint是通过定时器周期性触发的。checkpoint触发最关键的类是CheckpointCoordinator，称它为检查点协调器。 org.apache.flink.runtime.checkpoint.CheckpointCoordinator CheckpointCoordinator主要作用是协调operators和stat
转载
2024-03-14 08:30:59
104阅读
窗口在处理数据前，会对数据做分流，有两种控制流的方式，按照数据流划分：Keyed和Non-Keyed WindowsKeyed Windows：就是有按照某个字段分组的数据流使用的窗口，可以理解为按照原始数据流中的某个key进行分类，拥有同一个key值的数据流将为进入同一个window，多个窗口并行的逻辑流。stream
.keyBy(...) // 是
转载
2024-07-03 03:22:17
48阅读
Flink是什么？Flink是一个框架，是一个用于有限（bounded）或者无限（unbounded）数据流上进行有状态计算的分布式处理引擎。处理框架 Flink的软件栈如图一所示，其核心是distributed dataflow engine用于执行数据流处理程序。Flink运行时程序是一个通过有状态的算子连接的数据流的有向无环图（DAG），对上提供
转载
2024-04-30 17:40:18
10阅读
Flink DataStream Trigger触发器触发器是指当Window（window 分配器产生）窗口准备通过WindowFunction计算时触发。每一个Window分配器都会有一个默认的Trigger(触发器)。如果默认的Trigger（触发器）不满足你的需要，你可以自定义触发器。触发器的方法触发器的有4个抽象方法，2个具有实现方法。抽象方法：onElement()：每个元素进入窗口都
转载
2024-04-24 12:06:29
86阅读
文章目录Flink 窗口触发器定义：Trigger 源码：TriggerResult 源码Flink 预置的Trigger常见窗口的Trigger Flink 窗口触发器定义：Trigger确定窗口（由窗口分配器形成）何时准备好由窗口函数处理。每个WindowAssigner都带有一个默认值Trigger。如果默认触发器不符合您的需求，您可以使用trigger(…)。Trigger 源码：pub
转载
2024-03-18 16:57:05
319阅读
触发器定义了window何时会被求值以及何时发送求值结果。触发器可以到了特定的时间触发也可以碰到特定的事件触发。例如：观察到事件数量符合一定条件或者观察到了特定的事件。默认的触发器将会在两种情况下触发 处理时间：机器时间到达处理时间 事件时间：水位线超过了窗口的结束时间触发器可以访问流的时间属性以及定时器，还可以对state状态编程。所以触发器和process function一样强大。例如我们可
转载
2023-11-19 07:40:17
145阅读
Checkpoint触发机制 Flink的checkpoint是通过定时器周期性触发的。checkpoint触发最关键的类是CheckpointCoordinator，称它为检查点协调器。org.apache.flink.runtime.checkpoint.CheckpointCoordinator CheckpointCoordinator主要作用是协调operators和state的分布
转载
2024-05-07 16:05:21
291阅读
Flink自定义触发器Apache Flink是一个流处理框架，它提供了许多内置的触发器来控制流处理作业的执行。但是，有时候内置的触发器不能满足我们的需求，这时候我们就需要自定义触发器，在编写自定义触发器之前，我们先来了解一下触发器的基本知识：一、触发器概述触发器是什么？ Trigger（触发器）决定了什么时候窗口准备就绪了，一旦窗口准备就绪就可以使用WindowFunction（窗口计算操作）进
转载
2024-03-23 14:39:58
204阅读
文章目录1. 用途2. 示例3. 原理3.1 注册3.2 触发3.3 延迟队列state3.4 定时器注意事项 1. 用途Flink定时器存在于窗口的触发，TTL等诸多用途，因此搞清楚其原理对于理解这些知识点至关重要。2. 示例在flink实时处理中，涉及到延时处理可使用KeyedProcessFunction来完成，KeyedProcessFunction是flink提供面向用户的low le
转载
2023-09-04 10:19:55
179阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源Flink 的 window 有两个基本款，TimeWindow 和 CountWindow。TimeWindow 是到时间就触...
转载
2021-06-10 20:06:28
404阅读
文章目录一、前言二、窗口类型2.1 时间窗口(Time Window)2.1.1 滚动时间窗口2.1.2 滑动时间窗口2.1.3 会话窗口2.2 计数窗口(Count WIndow)2.2.1 滚动计数窗口2.2.2 滑动计数窗口三、总结 一、前言窗口就是将无限流切割成有限流的一种方式，它会将流数据分发到有限大小的桶中进行分析二、窗口类型2.1 时间窗口(Time Window)2.1.1 滚动
转载
2024-03-17 22:18:06
115阅读
一、Window概述流计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。flink中的window可以理解为水桶，数据理解为水流，水流源源不断，对于Dat
转载
2024-01-29 00:33:17
98阅读
# Flink 定时触发广播流查询 MySQL
Apache Flink 是一个可以处理大规模数据流的分布式计算框架，它提供了丰富的数据处理功能，包括流处理和批处理。本文将介绍如何使用 Flink 定时触发广播流，并查询 MySQL 数据库。在这个过程中，我们将逐步揭示 Flink 的强大和灵活性。
## 概述
在许多实时数据处理场景中，我们需要定期访问外部数据源（例如 MySQL），以更新
原创
2024-10-30 03:43:47
188阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源Flink 的 window 有两个基本款，TimeWindow 和 CountWindow。TimeWindow 是到时间就触...
转载
2021-06-10 20:06:27
636阅读
1. 说明好久不写早转战Gitbook的。这次记录文章同时，顺带刷下存在感。下面进入正题：本文主要关于Flink timeWindow 的滚动窗口边界和以及延时数据处理的调研。读这篇文章需要对Flink Eventtime + WaterMark + Windows 机制有个基础了解。其次最好先阅读Flink流计算编程–watermark（水位线）简介 这篇文章。本文是在阅读这篇文章后，有的一些启
转载
2024-05-12 18:08:04
79阅读
一：前言 很久没有记载东西了，毕业回来之后一个多月都没怎么记载了，今天其实是很巧合的，本来很早以前写的一个定时器，在测试服务器上经常无缘无故的挂掉，进而使得整个服务器都挂掉了，上次弄的客户很不满意，老大就直接把我用quartz的定时器更改了，但是了我当时没怎么仔细看，然后今天我一个同学问我定时器怎么设置90分钟的，我说不行，然后我就想到我们的定时器改了，我就看了看代码，发
转载
2024-04-18 15:17:37
29阅读
