传统的hadoop机群的处理能力采用slot来定义,基于YARN的hadoop2则建立了支持多应用框架的模式,其配置方式发生了变化。以下以一个机群配置为例说明。

机群中处理节点的配置为:

  • CPU:2路6核 Xeon E5
  • 内存:64GB
  • 硬盘:8块4TB SAS

YARN中处理能力的基本资源分配单元为container,其封装了内存、CPU、硬盘等资源,按照官方推荐,每CPU核、每块硬盘配置为1-2个容器,按此测算,每处理节点可配置16个容器。yarn-site.xml中相关参数配置如下:

hadoop 内存结构图 hadoop内存配置_hadoop2


对应的MapReduce部分,需考虑每个Map、Reduce任务的物理内存上限、JVM堆大小。mapred-site.xml中参数配置如下:

hadoop 内存结构图 hadoop内存配置_参数配置_02