hadoop 的优点 Hadoop的优点有_hadoop 的优点

我们很荣幸能够见证Hadoop十几年间经历了从无到有,再到称王。感动于技术的日新月异时,希望通过本篇有问有答,带大家解决Hadoop的常见问题。

1

Q:Hadoop 的发展历史

A:



hadoop 的优点 Hadoop的优点有_Hadoop_02

2

Q:Hadoop有哪些优点呢?

A:Hadoop 是一个能够让用户轻松架构和使用的分布式计算的平台。用户可以轻松地在 Hadoop 发和运行处理海量数据的应用程序。其优点主要有以下几个:

(1) 高可靠性:Hadoop 按位存储和处理数据的能力值得人们信赖。

(2) 高扩展性:Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以干计的节点中。

(3) 高效性:Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

(4) 高容错性:Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分。

(5) 低成本:与一体机、商用数据仓库以及 QlikView、 Yonghong Z- Suites 等数据集市相比,Hadoop 是开源的,项目的软件成本因此会大大降低。

Hadoop 带有用 Java 语言编写的框架,因此运行在 linux 生产平台上是非常理想的, Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。

3

Q:25%的Spark正在脱离Hadoop生态单独运行

A:Gartner报告其实是该系列调查的导火索。在早前的报告中,Gartner曾指出,尽管企业对大数据解决方案的需求不断增长,但对Hadoop的需求没有像预期那样加速。同时,25%的Spark已经开始脱离Hadoop生态单独运行。

4

Q:Hadoop能干什么?

A:大数据存储:分布式存储

日志处理:擅长日志分析

ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库

机器学习: 比如Apache Mahout项目

搜索引擎:Hadoop + lucene实现

数据挖掘:目前比较流行的广告推荐,个性化广告推荐

Hadoop是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。

5

Q:Hadoop的特点

A:扩容能力(Scalable)

能可靠地(reliably)存储和处理千兆字节(PB)数据

成本低(Economical)

可以通过普通机器组成的服务器集群来分发以及处理数据。这些服务器几圈总计可以达到千个节点。

高效率(Efficient)

通过分发数据,hadoop 可以在数据所在的节点上并行的(parallel)处理它们,这使得处理非常快。

可靠性(Reliable)

hadoop 能自动地维护数据的多份副本,并且在任务失败后能自动重新部署(redeploy)计算任务

关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~