Hadoop是开源的,但是企业版本其实是由几家大的公司把持,这个就类似linux的redhat和suse一样,提供hadoop发型版本的公司主要的有Hortonworks,Cloudera,mapR。
今天简单介绍Hortonworks:
先了解下Hortonworks的起源,Hortonworks公司,由Yahoo和Benchmark Capital于2011年7月联合创建,出身于名门Yahoo,Hortonworks拥有着许多Hadoop架 构师和源代码贡献者,这些源代码贡献者以前均效力于Yahoo,而且已经为Apache Hadoop项目贡献了超过80%的源代码。
Hortonworks的发版本框架如下:
简单介绍几个业界用得比较多的组件:
Apache Hive:Hive 基于 MapReduce 而构建,是一种数据仓库,通过用于存储在 HDFS 中的大型数据集的类 SQL 接口实现便利的数据汇总和临时查询。
Apache Mahout:Mahout 为 Hadoop 提供可扩展机器学习算法,帮助数据科技实现基于群集、分类和批处理的协作性筛选。
Apache HBase:一种面向列的 NoSQL 数据存储系统,为用户应用程序提供对于大数据的随机实时读/写访问权限。
Apache Storm:Storm 是一种分布式实时计算系统,用于处理快速、大型的数据流,为 Apache Hadoop® 2.x 带来可靠的实时数据处理功能
Apache Ambari:用于 Apache Hadoop 群集的一种开源安装生命周期管理、营运和监控系统。
Apache Oozie:Oozie Java Web 应用程序用于计划 Apache Hadoop 作业。Oozie 按顺序将多个作业组合至一个逻辑工作单位。
其他更详细的资料可以访问官网:http://zh.hortonworks.com/hadoop/。
关于hadoop开源软件,大家要有以下认识:
1、开源并不等于免费,这些发行版公司通过收取服务费的方式赚钱。
2、开源软件,如果是企业级应用,自身没有足够的研发能力的话,还是要尽量选用发型版本,以获得技术支持。
3、开源软件往往不能满足需求,二次集成,二次开发的能力很重要,但凡有一定技术能力的公司应该立足在用的基础上,应该发展和锻炼自己的技术团队。
4、业界还有很多公司也给hadoop贡献源码,但是并不发行企业版本。国内如阿里巴巴,华为等等,这些公司贡献源码,主要是要使自己的代码能合入开源主干,这样修改的代码可以得到开源社区的力量继续发展。如果开发的东西不能合入开源主干的话,一两年之后就落后于开源社区。