1.1、介绍一下join操作优化经验？需要尚硅谷 八斗学院 奈学教育完整大数据资料和多家机构面试题的加威： Y17744650906 资料来之不易，不能接受小额有偿的勿扰，谢谢答：join其实常见的就分为两类： map-side join 和 reduce-side join。当大表和小表join时， 用map- side join能显著提高效率。将多份数据进行关联是数据处理过程中非常普遍的用法，
转载
2024-02-23 11:48:47
30阅读
Spark【面试】1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系
原创
2022-04-06 15:31:00
150阅读
引起shuffle的算子所谓shuffle就是指把数据打乱重新组合。指数据从map task输出到reduce task输入的这段过程。引起shuffle的算子有：repartition类的操作：repartition, coaleasce等ByKey类的操作：reduceByKey, groupByKey, SortByKey等。相同的Key会到同一个节点上进行处理。join类的操作
转载
2023-05-18 15:17:12
273阅读
Spark Core面试篇01一、简答题1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中获得元数据信息，恢复
转载
2023-07-18 22:55:45
60阅读
问题导读：1. RDD有哪些特性？2. Map和MapPartitions有哪些区别？3. 为什么Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么什么问题发生?RDD的五个特性：1.A list of partitionsRDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的list；将数据加载为RDD时，一般会遵循数据的本
转载
2024-05-24 08:48:10
195阅读
根据个人面试经历总结： 1、简单说一下hadoop和spark的shuffle相同和差异?联系： Apache Spark 的 Shuffle 过程与 Apache Hadoop 的 Shuffle 过程有着诸多类似，一些概念可直接套用，例如，Shuffle 过程中，提供数据的一端，被称作 Map 端，Map 端每个生成数据的任务称为 Mapper，对应的，接收数据的一端，被称
转载
2023-07-11 17:47:45
95阅读
文章目录一.spark的部署模式1.本地模式2.standalone模式3.spark on yarn模式二.driver的功能三.hadoop和spark都是并行计算,他们有什么相同点和不同点四.RDD五.简述宽依赖和窄依赖概念,groupByKey,reduceByKey,map,filter,union都是什么依赖?1.窄依赖2.宽依赖六.spark如何防止内存溢出1.driver端的内存
转载
2023-11-24 09:33:51
149阅读
Spark Core面试篇011、Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行
转载
2023-09-08 13:17:23
34阅读
文章目录一、Spark 概念、模块1.相关概念：2.基本模块：二、Spark作业提交流程是怎么样的三、Spark on YARN两种方式的区别以及工作流程1.Yarn组件简介：2.Spark On Yarn的优势：3.Spark on yarn cluster 模式：4.Spark on yarn client 模式：5.这两种模式的区别：四、Spark内存管理1.堆内内存(On-heap Me
转载
2024-01-08 22:17:09
43阅读
作者丨斌迪、HappyMint 导语本篇文章为大家带来spark面试指南，文内会有两种题型，问答题和代码题，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案。为什么考察Spark？Spark作为大数据组件中的执行引擎，具备以下优势特性。1.高效性。内存计算下，Spark 比 MapReduce 快100倍。Spar
转载
2023-11-15 17:06:25
103阅读
1.Spark的Shuffle原理及调优？答：参考：spark的shuffle和Hadoop的shuffle（mapreduce)的区别和关系是什么？(1)shuffle原理当使用reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作的时候，会发生shuffle操作。Spark在DAG调度阶段将job划分成多个stage，上游stag
转载
2023-12-19 20:38:20
625阅读
RDD编程入口RDD编程入口对象是SparkContext对象，想要调用相关的计算api都需要通过构造出的sparkcontext对象调用RDD的创建通过并行化集合创建RDD（本地集合转为分布式），api如下rdd = sc.parrallize(param1, param2)参数1是本地集合，参数2是分区数，不写的话默认是16 可以通过以下获取分区数:rdd.getNumPartitions()
文章目录Spark核心——RDD概念特点创建方式RDD的分区依赖关系Spark的shuffle介绍Spark的 Partitioner 分区器都有哪些?Spark中的算子都有哪些RDD工作流?Spark运行模式(资源调度框架的使用，了解)?讲一下Spark 的运行架构一个spark程序的执行流程spark的stage是如何划分的Spark的 RDD容错机制。checkpoint 检查点机制？Sp
转载
2023-12-08 10:54:17
39阅读
# Spark DStream 面试实现流程
## 整体流程
下面是实现 "spark DStream" 的流程图：
```mermaid
flowchart TD
A(创建SparkContext)
B(创建StreamingContext)
C(创建DStream)
D(对DStream进行操作)
E(启动StreamingContext)
原创
2023-12-15 05:16:02
82阅读
# Flink and Spark: A Comparative Study
## Introduction
In the world of big data processing, Apache Flink and Apache Spark are two popular open-source frameworks. Both frameworks offer distributed co
原创
2023-08-23 09:02:21
32阅读
# Spark Shuffle 面试教程
在面试中，了解 Spark Shuffle 的概念和实现是相当重要的。Shuffle 是 Spark 用于处理需要重新分组的数据阶段，通常在需要进行聚合、排序或连接的情况下发生。接下来，我将带你一步步实现 Spark Shuffle 的基本流程。
## Spark Shuffle 流程
| 步骤 | 描述 |
原创
2024-09-06 06:22:49
13阅读
文章目录一、Spark作业资源的设置情况二、DataFrame/Dataset/RDD的区别及编程三、Spark中的隐式转换的作用：结合Scala来学习 一、Spark作业资源的设置情况 性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升是成正比的。写完了一个复杂的Spark作业之后，进行性能调优的时候，首先第一步，就是要调节
转载
2023-08-11 17:16:43
120阅读
spark 问题总结另可参见：spark 的MapReduce运行过程将文件读入，并split，每个split对于一个map task由input format将其转化为一个个的key/value对，然后对其调用Mapper里面的map函数分区，每个分区对应一个reduce task输入输出均为hdfs，内部为map本地磁盘spark-submit的时候如何引入外部jar包把外部包打进spark程
转载
2023-12-13 01:59:10
28阅读
Spark面试题—Spark Troubleshooting
原创
2022-11-13 00:03:47
101阅读
SortShuffle1 mapTask将map（聚合算子）或array（join算子）写入内存2 达到阀值发生溢写，溢写前根据key排序，分批写入磁盘，最终将所有临时文件合并成一个最终文件，并建立一份索引记录分区信息。一个mapTask最终形成一个文件。3 reduceTask拉取各个task中自己的分区数据去计算。和hadoop shuffle的区别1 MR没有所谓的DAG划分，一次MR任务就
转载
2023-07-17 22:41:34
85阅读
