一、流行的Hadoop版本

(1)Apache Hadoop

(2)Cloudera(Cloudera’s Distribution Including Apache Hadoop,简称CDH),普遍选择此产品。

 

hadoop 是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对 hadoop 做了相应的改变。Cloudera 公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)

 

(3)Hortonworks(Hortonworks Data Platform,简称“HDP”),HDP的公司(hortonworks)已经被CDH公司(Cloudera)收购了。

 

 自 2021 年 2 月 1 日起,CDH 和 Cloudera Manager 的所有下载都需要用户名和密码并使用修改后的 URL。在下载下述存储库内容时,您必须使用修改后的 URL,包括用户名和密码。您可能需要将 Cloudera Manager 升级到使用修改后的 URL 的较新版本。

这可能会影响新安装、升级、向集群添加新主机、添加集群以及向集群添加新服务。

 

二、CDH和Apache版本主要区别如下:

(1) CDH对Hadoop版本的划分非常清晰,在兼容性,安全性,稳定性上有增强,分别有cdh3对应hadoop1.0和cdh4对应hadoop2.0。

(2)CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。

(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证。

(4)CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装。

(5)CDH使用推荐的Yum/Apt包安装,联网安装、升级,非常方便,自动下载依赖软件包,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件。

同时,会自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs, mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限。