- YARN并不是下一代 MapReduce (MRv2),下一代 MapReduce 与第一代 MapReduce (MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为 MRv2 重用了 MRv1 的这些模块,不同的是资源管理和作业管理系统, MRv1 中资源管理和作业管理均是由 JobTracker 实现的,集两个功能于一身,而在 MRv2 中,将这两部分分开了, 其中,作业管理由 ApplicationMaster 实现,而资源管理由新增系统 YARN 完成。
- 由于YARN具有通用性,因此 YARN 也可以作为其他计算框架的资源管理系统,不仅限于 MapReduce ,也是其他计算框架,比如 Spark 、 Storm 等, 通常而言,我们一般将运行在 YARN 上的计算框架称为“X on YARN”,比如“MapReduce On YARN”, “Spark On YARN”,“Storm On YARN”等。
Yarn、MapReduce、spark、storm的关系
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
下一篇:C# 异步编程
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
OSPF的邻居关系和邻接关系
ospf邻居与邻接
OSPF 多址 邻接关系