Hadoop因其在大数据处理领域具有广泛的实用性以及良好的易用性,自2007年推出后,很快在工业界得到普及应用,同时得到了学术界的广泛关注和研究。在短短的几年中,Hadoop很快成为到目前为止最为成功、最广泛接受使用的大数据处理主流技术和系统平台,并且成为一种大数据处理事实上的工业标准,那么,关于大数据Hadoop相关的知识你都了解吗?下面我们一起来看下吧。
1、Hadoop生态概况
Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠、高效、可伸缩的特点.
2、HDFS
源自谷歌的GFS论文,发表于2013年10月,HDFS是GFS的克隆版,HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障。HDFS简化了文件一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序,它提供了一次写入多次读取的机制,数据以块的形式,同时分布在集群不同物理机器。
3、Mapreduce
源自于谷歌的MapReduce论文,用以进行大数据量的计算,它屏蔽了分布式计算框架细节,将计算抽象成map和reduce两部分。
4、HBASE(分布式列存数据库)
源自谷歌的Bigtable论文,是一个建立在HDFS之上,面向列的针对结构化的数据可伸缩,高可靠,高性能分布式和面向列的动态模式数据库。
5、zookeeper
解决分布式环境下数据管理问题,统一命名,状态同步,集群管理,配置同步等。
6、HIVE
由Facebook开源,定义了一种类似sql查询语言,将SQL转化为mapreduce任务在Hadoop上面执行。
7、flume
日志收集工具
8、yarn分布式资源管理器
是下一代mapreduce,主要解决原始的Hadoop扩展性较差,不支持多种计算框架而提出的。
9、spark
spark提供了一个更快更通用的数据处理平台,和Hadoop相比,spark可以让你的程序在内存中运行。
10、kafka
分布式消息队列,主要用于处理活跃的流式数据。
hadoop数据采集的工具 hadoop资料
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
Hadoop动态调整日志级别
hadoop 动态调整日志
apache java hadoop -
hadoop数据挖掘原理 hadoop 数据采集
大概画了一下数据采集的流程(基础套路) HDFS客户端编程应用场景:数据采集业务系统采集数据:获取基本信息:将数据发到日志系统的服务器上。日志系统的web服务器通过采集程序将数据发到HDFS上(简单明了就是:把文件传到HDFS)接下来新建一个项目用代码来展示一下HDFS上传文件:首先需要把会用到的包导入hadoop-common-2.7.3.jarhadoop-2.7.3\share\h
hadoop数据挖掘原理 HDFS客户端对文件 HDFS数据采集 HDFS文件 hdfs的java客户端编程