文章目录

(一)窗口分类

(二)

一、窗口分类

  • 键控窗口 和 非键控窗口
  • 时间窗口 和 计数窗口
  • 滑动窗口 和 滚动窗口
  • 会话窗口

根据窗口不同的分类规则,大致可以分为上面几种。从上至下,更加具体。比如,键控窗口和非键控窗口都可以调定义时间窗口和计数窗口;而时间窗口和计数窗口,都可以定义滑动窗口和滚动窗口;另外,在时间窗口中,还有一个特例,就是会话窗口。

二、键控窗口 和 非键控窗口

根据在开窗之前,是否执行了 keyBy() 操作,分为 键控窗口 和 非键控窗口。

顾名思义,键控窗口,作用在键控流上,具有相同key的数据流到一个逻辑流中,后续调用 window()或timeWindow()、countWindow(),使用的都是键控窗口;非键控窗口,作用在非键控流上,原始流不会拆分成多个流。

注意,在键控流上,具有相同key的数据流到一个逻辑流中,由后续的同一个subtask处理,同时,同一个subtask上可能会处理多个key的逻辑流;非键控窗口,作用在非键控流上,原始流不会拆分成多个流,所有窗口的逻辑由单个任务执行,即并行度为1,所有数据都由同一个subtask处理。所以,在非键控窗口上设置并行度并不会很好地改善并行处理能力,因为所有的数据都由一个subtask处理,并没有提高并行处理能力。

如果在后续调用自定义窗口,键控窗口Function 继承的是 RichWindowFunction,非键控窗口Function 继承的是 RichAllWindowFunction。

三、时间窗口 和 计数窗口

时间窗口,根据时间来划分窗口,可以是时间时间eventTime,也可以是处理时间processTime;计数窗口,根据数据量划分窗口。

四、滑动窗口 和 滚动窗口

时间窗口 和 计数窗口上,都可以使用滑动窗口 和 滚动窗口。

滑动窗口:设置窗口大小 和 滑动步长,数据可能会重复(size>slide),也可能会遗漏(size>slide),也可能数据既不重复,也不遗漏(size=slide)。

滚动窗口:设置窗口大小。数据不会重复,也不会遗漏。

下面举例说明

1、滑动时间窗口

size=10s,slide=5s,每5秒计算最近10秒钟的数据,每个窗口会有5秒钟的数据和上一个窗口重复;

flink sql时间戳转日期 flink sql时间窗口_ide

size=5s,slide=10s,每10秒计算最近5秒钟的数据,每个窗口触发计算时,会有5s的数据遗漏,没有被计算到;

flink sql时间戳转日期 flink sql时间窗口_flink_02

 

size=10s,slide=10s,每10秒计算最近10秒钟的数据,每个窗口会的数据和上一个窗口都不会重复;

flink sql时间戳转日期 flink sql时间窗口_ide_03

 

2、滚动时间窗口

设置窗口长度,每个窗口关闭之后,往后滚动,开始下一个窗口;类似于窗口长度和滑动步长相同的滑动时间窗口;

flink sql时间戳转日期 flink sql时间窗口_数据_04

 3、计数滑动窗口

和时间没有关系,只跟数据量有关系。

size=5,slide=2,每2条计算最近5条数据,每个窗口会有3条数据和上一个窗口重复;

flink sql时间戳转日期 flink sql时间窗口_数据_05

 size=2,slide=5,每5条计算最近2条数据,每个窗口会有3条数据遗漏,没有计算到;

flink sql时间戳转日期 flink sql时间窗口_flink_06

 size=5,slide=5,每5条计算最近5条数据,每个窗口的数据和上个窗口数据都不会重复,同时数据也不会遗漏;

flink sql时间戳转日期 flink sql时间窗口_数据_07

4、滚动时间窗口

 设置窗口长度,每个窗口关闭之后,往后滚动,开始下一个窗口;类似于窗口长度和滑动步长相同的滑动计数窗口;

flink sql时间戳转日期 flink sql时间窗口_数据_07

五、会话窗口

会话窗口,只存在于时间窗口中,在指定的时间间隔内,没有新的数据进来,则关闭窗口,执行计算逻辑。

六、窗口类型结构图

flink sql时间戳转日期 flink sql时间窗口_flink sql时间戳转日期_09

 

以上,是对窗口学习的简单总结。如有不同见解,欢迎交流。