1.yarn的进程哪两个?
NodeManager,ResourceManager
2.rm进程包含哪两个?
Applications Master, Resource Scheduler
3.容器什么单词? 是在NM节点上还是RM节点?
container, 在NM节点
4.内存参数和CPU参数 能记得几个?假如让你们去官网搜,你们会知道以什么关键词搜搜吗
yarn.nodemanager.resource.memory-mb yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb yarn.scheduler.minimum-allocation-vcores yarn.scheduler.maximum-allocation-vcores
5.作业程序的am是运行在nm节点的容器里吗?
是的
6.谈谈你们现阶段对shuffle的理解
shuffle是洗牌的意思 含义是按key进行分组
7.那么我们提交一个wordcount到yarn,那么那些log日志,仔细看看,其中有一步是spilt,那么一般和什么有关
和块大小有关
8.yarn杀死job的命令是什么
yarn application -kill jobid
9.hdfs一个文件130M,副本为3,请问多少块? 实际存储空间多少
6个块 390M
10.hdfs读写流程和yarn的作业工作流程自己想想,是否会?脑子是否有图?
理解还不够全面
11.一般企业里,DN和NM节点部署在同一台机器上,是为什么?(思考题)
数据本地化