【大数据开发技术】期末押题A卷选择10道1. 配置Hadoop时，JAVA_HOME包含在哪一个配置文件中。2. HDFS是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是哪些？3. 下列哪个程序通常与NameNode 在同一个节点启动？4. 更改NameNode访问地址的配置文件是哪个?5. 格式化HDFS的命令是哪个？6. 一
转载
2024-06-21 08:57:33
84阅读
1.MR程序运行的时候会有什么比较常见的问题？ 比如说作业中大部分都完成了，但是总有几个reduce一直在运行。 这是因为这几个reduce中的处理的数据要远远大于其他的reduce，可能是对键值对任务划分的不均匀 造成的数据倾斜。 解决的方法可以在分区的时候重新定义分区规则对于value数据很多的key可以进行拆分、均匀打散等处 理，或者是在map端的combiner中进行数据预处理的操作。需要
转载
2024-04-17 06:58:25
14阅读
MapReduce核心思想？MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。偏移量？每个字符移动到当前文档的最前面需要移动的字符个数。Shuffle包含哪些
转载
2024-05-31 19:36:13
52阅读
问题大纲一、 简介1、介绍下MapReduce （*3）追问1：MapReduce中间有个combiner是干嘛，有什么好处，有什么使用限制吗？追问2：拿MapReduce join两个表说一下流程。二、Shuffle1、Shuffle 过程追问1：整个过程有几次排序？追问2：combiner 与 reduce 区别是什么？追问3：MapReduce 和 Spark 的 Shuffle区别有什么
转载
2024-04-21 15:32:38
109阅读
1请写出Mapper类中的run()方法中的三个方法的执行顺序以及执行次数
1 setup(context) 加载环境初始化 1 2 map() 执行map方法 等于行数 3 clearnup() map的全局输出 1 2 统计mapper端的种类，是在mappre端还是在reduce端统计？记录map或者reduce的信息条数，可以持续化输出到操作以及所在机器的数据库，
转载
2024-02-27 11:24:42
59阅读
目录1 介绍MapReduce2 会写Wordcount3 Combiner4 partitioner5 MapReduce的执行流程6 MapReduce的shuffle阶段7 MapReduce优化7.1 资源相关参数7.2 容错相关参数7.3 效率跟稳定性参数8 mapreduce程序在yarn上的执行流程9 执行MapReduce常见的问题1 介绍MapReduceMapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务
原创
2021-10-16 21:17:43
145阅读
目录36.HDFS文件能否直接删除或则修改？37.谈谈hdfs中的block、package、chunk？38.HDFS能否多线程写？39.读写过程，数据完整性如何保持？40.文件授权期限分为几个等级？41.谈谈hdfs中的Checksum？42.谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?43、什么样的计算不能用mr来提速？44.hadoop主要的端口有哪些？45.请简述Ha
转载
2023-07-12 11:21:25
70阅读
Hadoop，MapReduce,HDFS面试题 1.什么是hadoop 答：是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。 hadoop的核心主要包含：HDFS和MapReduce HDFS是分布式文件系统，用于分布式存储海量数据。 MapReduce是分布式数据处理模型，本质是并行处理。 2.用hadoop来做什么? 1、最简单的，做个数据备份
转载
精选
2015-11-05 15:46:13
842阅读
面试大数据相关岗位前总是要搜集一些面试题目。各位老板是否在搜集面试题目和答案上花费太多时间？本文初衷是尽可能全的整理常见的面试题目和答案，方便大家查询，减少准备面试题目东查西查、浪费时间，just 一篇就够了。话不多说开始正文。MapReduce过程？ 图1.MapReduce过程 HDFS上的文件—>InputFormat—>Map阶段—>shuffle阶段—>
介绍下MapReduce 问过的一些公司：字节x2，字节(2021.09)，美团，美团(2021.08)，网易有道(2021.10) 回答技巧：结合MapReduce的优缺点回答（下一题） 参考答案： MapReduce 是一个分布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。MapReduce的核心
1、谈谈 Hadoop 序列化和反序列化及自定义 bean 对象实现序列化?1）序列化和反序列化（1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。（2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。（3）Java 的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。...
原创
2021-06-10 21:08:43
598阅读
1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化? 1）序列化和反序列化 （1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 （2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。 （3） ...
转载
2021-10-16 13:41:00
90阅读
2评论
1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?1）序列化和反序列化 （1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议
原创
2022-05-16 09:09:48
292阅读
1、谈谈 Hadoop 序列化和反序列化及自定义 bean 对象实现序列化?1）序列化和反序列化（1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。（2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。（3）Java 的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。...
原创
2021-06-10 21:08:44
148阅读
1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?1）序列化和反序列化（1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。（2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。（3）Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息
原创
精选
2021-10-16 13:25:00
10000+阅读
点赞
2评论
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一关的知识和资料。
原创
2024-06-03 11:28:44
89阅读
切片与MapTask并行度决定机制》1：并行度是什么?在计算机体系结构中，并行度是指指
原创
2022-09-15 19:47:15
75阅读
1、谈谈Hadoop
原创
2021-10-20 09:51:38
10000+阅读
1、概述MongoDB中的MapReduce相当于关系数据库中的group by。使用MapReduce要实现两个函数Map和Reduce函数。Map函数调用emit（key,value），遍历Collection中所有
转载
2022-08-23 10:47:28
54阅读
大规模的面试开始了。。。
第三次和第四次的面试，让我不得不转变方向。
上周去的北大方正，不知道是他们危言耸听，还是确实情况不容乐观。方正的待遇是：实习每天40(不是我计较薪水，也忒黑了点)。估计是想找马上
推荐
原创
2006-11-11 10:43:55
10000+阅读
点赞
15评论
