CDH是什么,核心组件( 功能|组件类型|工作原理 )。

1、 CDH 是什么

 CDH是Cloudera的100%开放源代码平台发行版,包括Apache Hadoop,是专门为满足企业需求而构建的。CDH可立即提供企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成在一起,Cloudera创建了功能先进的系统,可以帮助您执行端到端的大数据工作流程。

2、 CDH 的组件

CDH架构图 cdh各个组件作用_服务器

 Hadoop(Core)、Accumulo、Flume、Hbase、Hive、HUE、Impala、Kafka、Pig、Sentry、Spark、Sqoop、CDS

CDH架构图 cdh各个组件作用_Web_02

3、 CDH 的功能

 针对于 Apache Hadoop 的不足之处:版本管理混乱、部署过程繁琐、升级过程复杂、兼容性差、安全性低的问题, 通过基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化大数据平台的安装和使用难度。

 其具有版本划分清晰、更新速度快、文档清晰、支持多种安装方式、支持Kerberos安全认证的优点。

4、 核心组件CDM(CDH控制台)

CDH架构图 cdh各个组件作用_Hadoop_03

CDM(Cloudera Manager),管理CDH端到端的应用。其具有以下功能:

 1、 管理:对集群进行管理,例如添加、删除节点等操作

 2、 监控:监控集群的健康情况,对设置的各种指标和系统的具体运行情况进行全面的监控

 3、 诊断:对集群出现的各种问题进行诊断,并且给出建议和解决方案

 4、 集成:多组件可以进行版本兼容间的整合

 其核心是管理服务器,该服务器承载管理控制台Web服务器和应用程序逻辑,并负责安装软件,配置,启动和停止服务,以及管理上的服务运行群集。

CDH架构图 cdh各个组件作用_Web_04

 其组成部分与功能如下:

 1、 Agent:安装在每台主机上。该代理负责启动和停止的过程,拆包配置,触发装置和监控主机。
 2、 Management Service:由一组执行各种监控警报报告功能角色的服务
 3、 Database:__存储__配置和监视信息。通常情况下,多个逻辑数据库在一个或多个数据库服务器上运行。
 4、 Cloudera Repository:Cloudera管理的分布存储库
 5、 Clients:是用于与服务器进行交互接口
 6、 Admin Console :基于Web的用户界面与管理员管理集群和Cloudera管理。
 7、 API :与开发人员创建自定义的Cloudera Manager应用程序的编程接口