蓦然1607的博客_大数据面试题

大数据面试题：Spark的任务执行流程

可回答：1）Spark的工作流程？2）Spark的调度流程；3）Spark的任务调度原理；4）Spark的任务提交和执行流程；5）Spark任务调度到yarn上面，流程；6）Spark job提交过程讲一下？7）Spark On YARN流程，Client与Cluster模式；8）spark执行机制参考答案：运行流程以SparkContext为程序运行的总入口，在SparkContext的初始化过

大数据

spark

面试

资源管理器

调度模块

原创 2023-10-31 10:26:59 90 阅读

大数据面试题：Spark和MapReduce之间的区别？各自优缺点？

Spark的DAGScheduler相当于一个改进版的MapReduce，如果计算不涉及与其他节点进行数据交换，Spark可以在内存中一次性完成这些操作，也就是中间结果无须落盘，减少了磁盘IO的操作。有一个误区，Spark是基于内存的计算，所以快，这不是主要原因，要对数据做计算，必然得加载到内存，Hadoop也是如此，只不过Spark支持将需要反复用到的

大数据

面试

数据

数据集

迭代

原创 2023-10-18 11:19:32 127 阅读

大数据面试题：Spark和Flink的区别

Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给JobManager 进行处理， JobManager 会谓的有界流和无界流。

大数据

spark

flink

批处理

数据

原创 2023-10-18 11:19:25 122 阅读

大数据面试题：说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action？

可回答：Spark常见的算子介绍一下参考答案：我们先来看下Spark算子的作用：下图描述了Spark在运行转换中通过算子对RDD进行转换。算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，

大数据

spark

面试

数据集

数据

原创 2023-10-14 07:44:56 110 阅读

大数据面试题：MapReduce压缩方式

对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。当Mapreduce作业的Map输出的数据比较大的时候，作为Map到Reduce的中间数据的压缩格式。一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越越明显。输出之

大数据

mapreduce

面试

压缩率

数据

原创 2023-10-06 11:24:03 233 阅读

大数据面试题：Hadoop中的几个进程和作用

Hadoop中的几个进程和作用

大数据

hadoop

面试

数据块

Hadoop

原创 2023-08-12 10:14:33 152 阅读

大数据面试题：HBase的读写缓存

HBase上RegionServer的cache主要分为两个部分：MemStore & BlockCache。

大数据

hbase

面试

缓存

数据

原创 2023-08-12 10:14:28 145 阅读

大数据面试题：HBase的RegionServer宕机以后怎么恢复的？

通常情况下要求集群中至少启动两个Master进程，进程启动之后会lGc引起长时间停顿。

大数据

hbase

面试

数据

故障恢复

原创 2023-08-09 14:15:46 120 阅读

大数据面试题：Kafka的单播和多播

大数据

面试

kafka

单播

原创 2023-08-08 08:48:08 87 阅读

大数据面试题：Kafka怎么保证数据不丢失，不重复？

大数据

kafka

面试

数据

数据丢失

原创 2023-07-30 22:56:22 475 阅读

大数据面试题：超详细版MapReduce工作原理

大数据

mapreduce

面试

数据

环形缓冲

原创 2023-07-30 22:56:17 72 阅读

大数据面试题：HBase读写数据流程

大数据

hbase

面试

Server

数据

原创 2023-07-30 22:56:09 80 阅读

大数据面试题：Kafka的消费者和消费者组有什么区别？为什么需要消费者组？

大数据

kafka

面试

数据

原创 2023-07-23 00:02:31 100 阅读

大数据面试题：Kafka的Message包括哪些信息

大数据

面试

时间戳

取值

原创 2023-07-10 06:44:54 119 阅读

大数据面试题：Zookeeper架构

大数据

zookeeper

架构

客户端

返回结果

原创 2023-07-02 00:50:03 102 阅读

大数据面试题：Hive的cluster by 、sort by、distribute by 、order by 区别？

Hive的cluster by 、sort by、distribute by 、order by 区别

hive

面试

大数据

升序

Hive

原创 2023-06-24 10:52:16 258 阅读

HBase为什么查询快

hbase

大数据

面试

数据

存储方式

原创 2023-06-24 10:52:11 573 阅读

Hadoop的mapper和reducer的个数如何确定？reducer的个数依据是什么？

；分片是按照splitszie的大小进行分割的，一个split的大小在没有设置的情况下，默认等于hdfs block的大小。x为reduce的数量。

hadoop

大数据

面试

HDFS

文件分割

原创 2023-06-18 17:44:37 258 阅读

Hive的用户自定义函数实现步骤与流程

参考答案：1、如何构建UDF？用户创建的UDF使用过程如下：第一步：继承UDF或者UDAF或者UDTF，实现特定的方法；第二步：将写好的类打包为jar，如hivefirst.jar；第三步：进入到Hive外壳环境中，利用add jar /home/hadoop/hivefirst.jar注册该jar文件；第四步：为该类起一个别名，create temporary function mylength

hive

大数据

面试

jar

自定义

原创 2023-05-29 10:11:03 162 阅读

字节电商大数据开发一面，已过，面试题已配答案

数据仓库

大数据

面试

数据

数据质量

原创精选 2022-12-26 16:31:40 377 阅读

Spark的内存管理机制

spark

序列化

内存管理

原创 2022-11-21 11:03:38 202 阅读

计算机网络面试题

网络

服务器

tcp/ip

客户端

服务器端

原创精选 2022-11-19 06:42:21 223 阅读

悲观锁与乐观锁

java

面试

数据库

数据

乐观锁

原创 2022-11-13 00:34:05 67 阅读

Flink面试进阶篇

flink

大数据

面试

数据

并行度

原创 2022-11-13 00:04:02 179 阅读

Spark面试题—Spark Troubleshooting

大数据

spark

数据

故障排除

原创 2022-11-13 00:03:47 77 阅读 1收藏

Spark常见数据倾斜情况及调优方案

大数据

spark

hive

数据倾斜

数据

原创 2022-11-13 00:03:41 257 阅读

Spark面试题——说下对RDD的理解？RDD特点、算子？

大数据

spark

面试

数据

缓存

原创 2022-11-06 00:07:56 138 阅读

Spark面试题——Spark小文件问题及解决方案

Spark小文件问题及解决方案

hive

大数据

spark

并行度

原创 2022-11-06 00:07:49 223 阅读

阿里云大数据开发三面面经，已过，面试题已配答案

1024程序员节

大数据

spark

数据

flink

原创 2022-10-30 18:09:35 147 阅读

数据仓库面试题——数据仓库分层

数据仓库分层

数据仓库

数据挖掘

数据库

数据

原始数据

原创 2022-10-30 18:09:23 229 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

蓦然