cdh的yarn参数配置 cdh各个组件作用

转载

代码魔术师之手 2024-01-30 11:12:14

文章标签 cdh的yarn参数配置 CDH Hadoop Apache 集群管理 文章分类 Yarn 大数据

1 集群管理工具选型

1.1 什么是CDH，ambari？

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的（基于Kerberos）Hadoop集群，以此实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能，并为用户管理集成了LDAP和Active Directory。
CDH（Cloudera’s Distribution, including Apache Hadoop）是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，他提供了Hadoop的核心：可扩展存储，分布式计算；基于Web的用户界面
CDH的优点：版本划分清晰；版本更新速度快；支持Kerberos安全认证；文档清晰；支持多种安装方式（Cloudera Manager方式

1.2 为什么需要他们

• 1000台服务器的集群，最少要花费多长时间来搭建好Hadoop集群，包括Hive、Hbase、Flume、Kafka、Spark等等
• 只给你一天时间，完成以上工作？
• 对于以上集群进行hadoop版本升级，你会选择什么升级方案，最少要花费多长时间？
• 新版本的Hadoop，与Hive、Hbase、Flume、Kafka、Spark等等兼容？

大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。
手工部署，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切当设计多个组件时，用户须自己解决组件间版本兼容问题。
工具部署，比如Ambari或Cloudera Manger。（当前两大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具来，可以说是一键操作，难点都在工具Ambari或Cloudera Manger本身部署上。
手工和工具的比较

考察项	手工方式	工具方式
难易度	难，几乎不可能成功	简单，易行
兼容性	自己解决组件兼容性问题	自动安装兼容组件
组件支持数	支持全部组件	支持常用组件
优点	对组件和集群管理深刻	简单、容易、可行
缺点	太复杂，不可能成功	屏蔽太多细节，妨碍对组件理解

结论：我们需要像CDH和ambari这样的工具

两者技术比较

工具名	所属机构	开源性	社区支持性	易用性、稳定性	市场占有率
Cloudera Manger	Cloudera	商用	不支持	易用、稳定	高
Ambari	Hortonwork	开源	支持	较易用、较稳定	较高