文章目录Flink面试题汇总1.在日常开发过程中，公司使用哪种方式提交的实时任务，有多少Job Manager、Task Manager?2.怎么做压力测试和监控？3.为什么使用 Flink 替代 Spark？4.checkpoint 的存储？5.如果下级存储不支持事务，Flink 怎么保证 exactly-once？6.说一下 Flink 状态机制？7.怎么去重？考虑一个实时场景：双
目录一 . 你在开发Flink任务时，有没有遇到过背压问题，你是如何排查的？二. 如何处理生产环境中的数据倾斜问题？一 . 你在开发Flink任务时，有没有遇到过背压问题，你是如何排查的？1. 背压产生的原因背压常常出现在大促或者一些热门活动等场景中， 在上面这类场景中, 短时间内流量陡增导致数据的堆积，系统整体的吞吐量无法提升。2. 监控背压方法可以通过 Flink Web UI 发现背压问题F
转载
2024-05-09 20:32:12
53阅读
# Flink and Spark: A Comparative Study
## Introduction
In the world of big data processing, Apache Flink and Apache Spark are two popular open-source frameworks. Both frameworks offer distributed co
原创
2023-08-23 09:02:21
32阅读
1.前言《Flink 对线面试官》主要划分为一下 6 大主题，36 个 Flink 高频面试题：⭐ 状态原理⭐ 时间窗口⭐ 编程技巧⭐ 实战经验⭐ 实时数仓⭐ 前沿探索2.状态原理2.1.状态、状态后端、Checkpoint 三者之间的区别及关系？拿五个字做比喻："铁锅炖大鹅"，铁锅是状态后端，大鹅是状态，Checkpoint 是炖的动作。状态：本质来说就是数据，在 Flink 中，其实就是 Fl
【先收藏，早晚用得到】49个Flink高频面试题系列（二）一、Flink 相比传统的 Spark Streaming 有什么区别?：Flink 是标准的实时处理引擎，基于事件驱动。而 Spark Streaming 是微批（Micro-Batch）的模型。 下面我们就分几个方面介绍两个框架的主要区别：（1）架构模型 &n
转载
2024-01-11 09:24:46
100阅读
Flink 面试进阶篇主要包含了 Flink 中的数据传输、容错机制、序列化、数据热点、反压等实际生产环境中遇到的问题等考察点。这一阶段主要考察我们对 Flink 掌握的深度，也是给面试官留下好印象的关键环节。面试题 1：请谈谈你对 Flink Table & SQL 的了解情况？以及 TableEnvironment 这个类有什么样的作用？这道题考察的是对 Flink Table &am
转载
2024-05-07 09:57:29
166阅读
问题： 为什么使用 Flink 替代 Spark？解答：主要考虑的是 flink 的低延迟、高吞吐量和对流式数据应用场景更好的支持； 另外， flink 可以很好地处理乱序数据， 而且可以保证 exactly-once 的状态一致性。详见文档第一章， 有 Flink 和 Spark 的详细对比。问题： Flink 的 checkpoint 存在哪里？解答： 可以是内存， 文件系统， 或者 Rock
转载
2024-03-10 10:57:15
128阅读
1.Flink基础1. 简单介绍一下 FlinkFlink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处
转载
2024-06-26 09:43:08
196阅读
Flink常见的面试题1. Flink-On-Yarn的两种架构问题：Flink-On-Yarn常见的提交模式有哪些，分别有什么优缺点？解答：flink在yarn模式下运行，有两种任务提交模式，资源消耗各不相同。1. yarn-sessionyarn-session这种方式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间后，资源永远保持不变。如果资源满了，下一个就任务就无法提交，只能等
转载
2024-02-29 09:09:11
131阅读
1. Flink是如何支持批流一体的？本道面试题考察的其实就是一句话：Flink的开发者认为批处理是流处理的一种特殊情况。批处理是有限的流处理。Flink 使用一个引擎支持了DataSet API 和 DataStream API。2. Flink是如何做到高效的数据交换的？在一个Flink Job中，数据需要在不同的task中进行交换，整个数据交换是有 TaskManager 负责的，TaskM
转载
2024-06-07 07:43:56
60阅读
一、概念和基础篇1. 简单介绍一下Flink Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持
转载
2024-05-21 11:20:40
67阅读
1、面试题一：应用架构问题：公司怎么提交的实时任务，有多少 Job Manager、Task Manager？解答：（1）我们使用 yarn session 模式提交任务；另一种方式是每次提交都会创建一个新的 Flink 集群，为每一个 job 提供资源，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下：bin/yarn-session.sh
转载
2024-01-02 19:51:37
45阅读
flink面试题一、flink水印，state，窗口（哪些，区别，适用场景）二、Flink架构三、Flink时间类型有那些，他们有什么区别？四、Flink窗口类型有哪些，你们目前用的什么窗口？五、Flink的状态你们有没有用过，用的什么类型的状态？六、Flink如何处理延迟数据？七、Flink中managed state和raw state区别？八、Flink的keyedstate有什么不足，优
转载
2024-05-01 09:25:10
194阅读
前言 有没有去面试的时候被问到Flink的面试题你答不上来，为什么那？，菜吗？ 不是。原因是你接触的面试题太少了，那我今天就根据不同的群体来给大家你分享。1 Flink基础（适合初入职场）简单介绍一下 FlinkFlink相比传统的Spark Streaming区别?Flink的组件栈有哪些？Flink
转载
2024-07-24 12:45:52
43阅读
Spark 和 Flink 都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。 Spark 的生态总体更完善一些，在机器学习的集成和易用性上暂时领先。 Flink 在流计算上有明显优势，核心架构和模型也更透彻和灵活一些。 Flink 和 Spark 对比 通过前面的学习，我们了解到，Spark和Fl
转载
2023-08-16 05:02:53
63阅读
本文将从头开始，从设置Flink项目到在Flink集群上运行流分析程序。 Wikipedia提供了一个IRC频道，其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道，并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Flink在几分钟内实现，但它将为您提供一个良好的基础，从而开始自己构建更复杂的分析程序。一、idea环境搭建使用idea新建maven项目，并把相关依赖包加入到po
转载
2024-05-23 21:31:23
31阅读
概述2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。时至今日，Flink 已经发展到 1.9 版本，在大数据开发领域，面试中对于 Flink 的考察已经是大数据开发求职者必须
原创
2021-03-14 14:07:18
306阅读
概述2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。时至今日，Flink 已经发展到 1.9 版本，在大数据开发领域，面试中对于 Flink 的考察已经是大数据开发求职者...
原创
2021-06-10 19:55:46
101阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！概述2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink ...
原创
2021-06-10 19:55:49
169阅读
16. Flink中有哪些窗口？ Flink 支持两种划分窗口的方式，按照time和count。如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window。flink支持窗口的两个重要属性（size和interval）如果size=int ...
转载
2021-09-08 17:29:00
262阅读
2评论
