一、什么是宽依赖，什么是窄依赖，哪些算子是宽依赖，哪些是窄依赖1、宽依赖：一个分区对应多个分区，这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器划分子rdd。例如:groupbykey reducebykey sortbykey等操作，shuffle可以理解为数据从原分区打乱重组到新分区2、窄依赖：一个分区对应一个分区，
转载
2023-08-11 17:17:03
136阅读
为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们开始spark+kafka：一般情况下面试的时候只要涉及到实时计算或者大批量计算，都会涉及到kafka和spark的面试问题，两者一般是综合起来的的，因此我把他们放在一起进行总结，这一块的问题会比较多，将分不同纬度多次总结。 1）spark的执行流程？1.构建Spark Application的
转载
2023-10-20 22:13:54
71阅读
写文章
Spark面试题(一)
runzhliu
丁香园 大数据研发工程师
42 人
赞同了该文章这部分的关于 Spark 的面试题是我
SortShuffle1 mapTask将map（聚合算子）或array（join算子）写入内存2 达到阀值发生溢写，溢写前根据key排序，分批写入磁盘，最终将所有临时文件合并成一个最终文件，并建立一份索引记录分区信息。一个mapTask最终形成一个文件。3 reduceTask拉取各个task中自己的分区数据去计算。和hadoop shuffle的区别1 MR没有所谓的DAG划分，一次MR任务就
转载
2023-07-17 22:41:34
85阅读
Spark应用转换流程1、 spark应用提交后，经历了一系列的转换，最后成为task在每个节点上执行2、 RDD的Action算子触发Job的提交，生成RDD DAG3、 由DAGScheduler将RDD DAG转化为Stage DAG，每个Stage中产生相应的Task集合4、 TaskScheduler将任务分发到Executor执行5、
转载
2024-08-16 13:27:22
225阅读
1. kafka分区数如何设置？默认情况下 1 指定分区,按你指定的分区 2 未指定分区,但是指定了key,依据key的hashCode计算分区 3 未指定分区,且没有指定key,依据轮询算法计算分区2. kafka中消息传输一致中的最多一次、最少一次、恰好一次，是如何实现的？恰好一次:acks=-1 ,幂等机制 最多一次:acks=0 最少一次:acks=-1 or acks=13. Spark
转载
2024-02-17 09:35:04
93阅读
# Spark面试题解析及示例
## 简介
Apache Spark是一个开源的分布式计算框架，用于高效处理大规模数据集的计算任务。它提供了简单易用的API，并支持多种编程语言，如Python、Java和Scala。在大数据处理和机器学习等领域，Spark已经成为非常受欢迎的工具。
本文将介绍一些常见的Spark面试题，并提供相应的代码示例。
## 1. Spark的特点及优势
- **速度
原创
2023-07-23 08:42:49
82阅读
# Spark面试题解析与示例
Apache Spark是一种开源的分布式计算框架，提供了高速、强大的数据处理和分析能力。在Spark的使用过程中，我们可能会遇到一些常见的面试题。本文将以解析面试题的形式，介绍一些常见的Spark面试题，并提供相应的代码示例。
## 1. 什么是Spark？为什么要使用Spark？
Spark是一种用于大规模数据处理的开源集群计算框架。与传统的MapRedu
原创
2023-08-01 15:40:06
84阅读
1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆） 1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类 local：只启动一个executor local[k]:启动 ...
转载
2021-10-26 23:39:00
115阅读
2评论
Spark Core面试篇01
随着Spark技术在企业中应用越来越广泛，Spark成为大数据开发必须掌握的技能。前期分享了很多关于Spark的学习视频和文章，为了进一步巩固和掌握Spark，在原有spark专刊基础上，新增《Spark面试2000题》专刊，题集包含基础概念、原理、编码开发、性能调优、运维、源代码以及Spark周边生态系统等。部分题集来源于互联网，由梅峰谷志愿者收集和整理，部分题
转载
2024-05-14 15:38:40
86阅读
引起shuffle的算子所谓shuffle就是指把数据打乱重新组合。指数据从map task输出到reduce task输入的这段过程。引起shuffle的算子有：repartition类的操作：repartition, coaleasce等ByKey类的操作：reduceByKey, groupByKey, SortByKey等。相同的Key会到同一个节点上进行处理。join类的操作
转载
2023-05-18 15:17:12
273阅读
Spark Core面试篇01一、简答题1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中获得元数据信息，恢复
由于shuffle阶段涉及磁盘的读写和网络IO，因此shuffle性能的高低直接影响整个程序的性能和吞吐量。 【注：毕竟有些东西我没有实际应用、经历，所以文中难免有错，还请各路大神多多指正！】1. spark的shuffle 是什么？过程？ 怎么调优？在MapReduce过程中需要将各个节点上的同一类数据汇集到一个节点进行计算。把这些分布在不同节点的数据按照一定规则聚集到一起的过程，就称之为sh
转载
2023-10-14 17:15:27
210阅读
Spark面试题—Spark Troubleshooting
原创
2022-11-13 00:03:47
101阅读
1、Spark中的HashShufle的有哪些不足？ 1）shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作； 2）容易导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息
原创
2022-05-16 09:15:18
579阅读
Spark Core面试篇01
一、简答题
1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信
转载
2024-03-06 14:23:51
564阅读
1、为什么要进行序列化序列化？ 可以减少数据的体积，减少存储空间，高效存储和传输数据，不好的是使用的时候要反序列化，非常消耗CPU。2、Yarn中的container是由谁负责销毁的
原创
2022-05-16 09:14:30
491阅读
1、Spark有哪两种算子？ Transformation（转化）算子和Action（执行）算子。2、Spark有哪些聚合类的算子,我们应该尽量避免什么类型的算子？ 在我们的开发过程中，
原创
2022-05-16 09:15:31
668阅读
1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆）1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地
原创
2022-05-16 09:16:06
2648阅读
spark运行流程 1.Driver创建一个sparkContext2.sparkContext向资源管理器注册并申请启动executor,资源管理器启动executor3.executor向sparkContext申请task4.sparkContext将应用程序分发给executor5.sparkContext建成DAG图，DAGScheduler将DAG图解析成stag
转载
2023-08-07 20:23:57
90阅读
