我们很荣幸能够见证Hadoop十几年间经历了从无到有,再到称王。感动于技术的日新月异时,希望通过本篇有问有答,带大家解决Hadoop的常见问题。
1
Q:Hadoop 的发展历史
A:
2
Q:Hadoop有哪些优点呢?
A:Hadoop 是一个能够让用户轻松架构和使用的分布式计算的平台。用户可以轻松地在 Hadoop 发和运行处理海量数据的应用程序。其优点主要有以下几个:
(1) 高可靠性:Hadoop 按位存储和处理数据的能力值得人们信赖。
(2) 高扩展性:Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以干计的节点中。
(3) 高效性:Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
(4) 高容错性:Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分。
(5) 低成本:与一体机、商用数据仓库以及 QlikView、 Yonghong Z- Suites 等数据集市相比,Hadoop 是开源的,项目的软件成本因此会大大降低。
Hadoop 带有用 Java 语言编写的框架,因此运行在 linux 生产平台上是非常理想的, Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。
3
Q:25%的Spark正在脱离Hadoop生态单独运行
A:Gartner报告其实是该系列调查的导火索。在早前的报告中,Gartner曾指出,尽管企业对大数据解决方案的需求不断增长,但对Hadoop的需求没有像预期那样加速。同时,25%的Spark已经开始脱离Hadoop生态单独运行。
4
Q:Hadoop能干什么?
A:大数据存储:分布式存储
日志处理:擅长日志分析
ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库
机器学习: 比如Apache Mahout项目
搜索引擎:Hadoop + lucene实现
数据挖掘:目前比较流行的广告推荐,个性化广告推荐
Hadoop是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。
5
Q:Hadoop的特点
A:扩容能力(Scalable)
能可靠地(reliably)存储和处理千兆字节(PB)数据
成本低(Economical)
可以通过普通机器组成的服务器集群来分发以及处理数据。这些服务器几圈总计可以达到千个节点。
高效率(Efficient)
通过分发数据,hadoop 可以在数据所在的节点上并行的(parallel)处理它们,这使得处理非常快。
可靠性(Reliable)
hadoop 能自动地维护数据的多份副本,并且在任务失败后能自动重新部署(redeploy)计算任务
关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?
同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~