Hadoop：

  1. Hadoop是一个开源的大数据框架
  2. Hadoop是一个分布式计算的解决方案
  3. Hadoop = HDFS(分布式文件系统)+MapReduce(分布式计算)

 

Hadoop核心

HDFS 分布式文件系统：存储是大数据技术的基础

MapReduce编程模型：分布式计算是大数据应用的解决方案

 

 

HDFS总结

  • 普通的成百上千的机器
  • 按TB甚至PB为单位的大量的数据
  • 简单便捷的文件获取

 

Hadoop基础架构

 

HDFS概念

  • 数据块
  • NameNode
  • DataNode

 

数据块

  • 数据块是抽象块而非整个文件作为存储单元
  • 默认大小为64MB，一般设置为128M，备份x3

 

 

Hadoop核心HDFS——HDFS概念及优缺点_hadoop

 

 

NameNode

  • 管理文件系统的命名空间，存放文件元数据
  • 维护着文件系统的所有文件和目录，文件与数据块的映射
  • 记录每个文件中各个块所在数据节点的信息

 

DataNode

  • 存储并检索数据块
  • 向NameNode更新所存储块的列表

 

HDFS优点

  • 适合大文件存储，支持TB、PB级的数据存储，并有副本策略
  • 可以构建在廉价的机器上，并有一定的容错和恢复机制
  • 支持流式数据访问，一次写入，多次读取最高效

 

HDFS缺点

  • 不适合大量小文件存储
  • 不适合并发写入，不支持文件随机修改
  • 不支持随机读等低延时的访问方式