一、大数据概论
概念
大数据(big data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
主要解决:海量数据的存储和海量数据的分析计算问题。
特征
5V特征:大量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(value)、真实性(Veracity)。
- 容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;
- 种类(Variety):数据类型的多样性;
- 速度(Velocity):指获得数据的速度;
- 可变性(Variability):妨碍了处理和有效地管理数据的过程;
- 真实性(Veracity):数据的质量;
- 复杂性(Complexity):数据量巨大,来源多渠道;
- 价值(value):合理运用大数据,以低成本创造高价值;
二、Hadoop概论
什么是Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。
Hadoop优势
- 高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。
- 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
- 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
- 高容错性:自动保存多份副本数据,并且能够自动将失败的任务重新分配。
Hadoop组成
Hadoop组成如下图:
1)Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统。
2)Hadoop MapReduce:一个分布式的离线并行计算框架。
3)Hadoop YARN:作业调度与集群资源管理的框架。
4)Hadoop Common:支持其他模块的工具模块。
Hadoop如何工作?
建立重配置,处理大规模处理服务器这是相当昂贵的,但是作为替代,可以联系许多普通电脑采用单CPU在一起,作为一个单一功能的分布式系统,实际上,集群机可以平行读取数据集,并提供一个高得多的吞吐量。此外,这样便宜不到一个高端服务器价格。因此使用Hadoop跨越集群和低成本的机器上运行是一个不错不选择。
Hadoop运行整个计算机集群代码。这个过程包括以下核心任务由 Hadoop 执行:
- 数据最初分为目录和文件。文件分为128M和64M(128M最好)统一大小块。
- 然后这些文件被分布在不同的群集节点,以便进一步处理。
- HDFS,本地文件系统的顶端﹑监管处理。
- 块复制处理硬件故障。
- 检查代码已成功执行。
- 执行发生映射之间,减少阶段的排序。
- 发送排序的数据到某一计算机。
- 为每个作业编写的调试日志。
版本选择
Hadoop版本主要有四个:Apache基金会版本、Cloudera版本(CDH)、Hortonworks版本(HDP)、MapR版本。
1) Apache Hadoop
优点:①完全开源免费;②社区活跃;③文档、资料详实
缺点:①复杂的版本管理;②复杂的集群部署;③复杂的集群运维;④复杂的生态环境。
2)第三方发行版本
优点:①基于Apache协议,100%开源;②版本管理清晰;③兼容性、安全性、稳定性上有增强;④基于稳定版本Apache Hadoop,版本更新快;⑥提供了部署、安装、配置工具,大大提高了集群部署的效率;⑦运维简单。
缺点:涉及到厂商锁定的问题。(可以通过技术解决)
综上所述,考虑到大数据平台高效的部署和安装,中心化的配置管理,使用过程中的稳定性、兼容性、扩展性,以及未来较为简单、高效的运维,遇到问题低廉的解决成本。建议使用第三方发行版本。其中国内应用较多的是Cloudera的CDH。