一、列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。

组件1:HDFS,作用:分布式文件系统,存储是hadoop体系的基础。

组件2:MapReduce,作用:作为一种计算模型,用来大数据的计算。

组件3:Yarn,作用:改善MapReduce的缺陷,是另一种资源协调者,是Hadoop的资源管理器。

组件4:Sqoop,作用:传统数据库和Hadoop之间传输数据。

组件5:Mahout,作用:帮助开发人员更加方便快捷地创建智能应用程序。

组件6:Hive,作用:基于Hadoop的数据仓库,定义简单的SQL查询语言,可以用SQL进行数据查询。

组件7:Hbase,作用:针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。

组件8:Spark,作用:为大规模数据处理而设计的计算引擎。

组件9:Zookeeper,作用:主要解决分布式环境下的数据管理问题。

组件10:Storm,作用:是一个数据流处理系统。

hadoop ranger是什么组件 hadoop的主要组件及其作用_hadoop ranger是什么组件


二、对比Hadoop与Spark的优缺点。

Hadoop的优点

1、能够按位存储和并且有着处理数据能力的高可靠性。

2、利用计算机集群分配数据,存储,计算,具有高扩展性。

3、可以在节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性。

4、可以自动保存数据的多个副本,并且能够自动将失败的任务重新分配,具有高容错性。

Hadoop的缺点

1、不适用于低延迟数据访问。

2、不能高效存储大量小文件。

3、不支持多用户写入并任意修改文件。

Spark的优点

1、速度快,适合实时分析场景。

2、支持多种语言。

3、支持多种格式的数据来源。

4、可以在任何环境下搭建。

Spark的缺点

1、JVM的内存太大。

2、长时间运行会经常出错。

三、如何实现Hadoop与Spark的统一部署?

Hadoop生态系统中的一些组件所实现的功能,目前还是无法由Spark取代的,Storm可以实现毫秒级响应的流计算,但是,Spark则无法做到毫秒级响应,因此可以在Yarn上进行统一部署。