大数据之-Hadoop之HDFS_HDFS组成架构---大数据之hadoop工作笔记0050_Hadoop

然后我们再来看一下HDFS的详细组成,可以看到,这个HDFS 包含一个NameNode,一个DataNode

1.先看NameNode,他的作用是管理hdfs的名称空间

2.配置副本策略,每个文件存几个副本

3.管理数据块映射信息,就是管理哪些文件,存在了哪个datanode节点上

4.当有客户端发送,去读文件,写入文件请求的时候,namenode去处理,把文件的路径,以及存在哪个节点了,这些信息,返回给客户端

然后我们再看Datanode的作用:

1.datanode负责存数据

2.当客户端发送获取某个文件的所在哪个datanode请求的时候,namenode返回给客户端client,该文件在哪个datanode上面,

   同时也会给该datanode发送一个命令,让它执行读取操作,写入的时候也是这样.

大数据之-Hadoop之HDFS_HDFS组成架构---大数据之hadoop工作笔记0050_HDFS_02

然后再来看client

1.负责文件的切片,当上传文件的时候,会把文件切成一个一个block,一个block是12mb,然后上传</