HDFS 分布式文件系统

1,Hadoop 是什么?------分布式文件系统架构 (核心是HDFS 和 MapReduce)

2,HDFS 是什么?--------分布式文件系统

 

1, 计算机集群 与 分布式文件系统?

物理结构】~【计算机集群】: 分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。

【逻辑结构】~ 【分布式文件系统】:分布式文件系统在物理结构上是由计算机集群中的多个节点构成的。

 

2,节点:

HDFS 分布式文件系统_客户端

● 主节点(NameNode):名称节点作为中心服务器,负责管理文件系统的命名空间及客户端对文件的访问。

【与从节点关系】: 记录了每个文件中各个块所在的数据节点的位置信息;

 

● 从节点(DataNode):负责处理文件系统客户端的读/写请求

【与 主节点关系】负责数据的存储和读取在名称节点的统一调度下进行数据块的创建、删除和复制等操作。

 ps:一般,一个数据节点运行一个数据节点的进程。而且定期向名称节点发送自己所存储的块的列表。

 

每个数据节点的数据实际上是保存在本地Linux文件系统中的。

 

 

HDFS 分布式文件系统_客户端_02

3,HDFS 采用块的概念:

  • 简化了存储管理: 因为文件块大小是固定的,这样就可以很容易计算出一个节点可以存储多少文件块
  • 方便了元数据的管理元数据不需要和文件块一起存储,可以由其他系统负责管理元数据.


 4,通信协议:

  • HDFS是一个部署在集群上的分布式文件系统,因此,很多数据需要通过网络进行传输
  • 所有的HDFS通信协议都是构建在TCP/IP协议基础之上
  • 【客户端与名称节点】:
  • 客户端通过一个可配置的端口向名称节点主动发起TCP连接,并使用客户端协议与名称节点进行交互
  • 【客户端与数据节点】客户端与数据节点的交互是通过RPC(Remote Procedure Call)来实现的。在设计上,

        名称节点不会主动发起RPC,而是响应来自客户端和数据节点的RPC请求

 

~~~~~~~~~~~~~~~~~模型~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

   客户端 “发送数据包”

-》 服务器(名称节点)~监听到当前活跃的客户端~传入客户端处理器

-》 客户端处理器(数据节点)

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

ps:客户端:可以支持打开、读取、写入等常见的操作,

并且提供了类似Shell的命令行方式来访问HDFS中的数据。

此外,HDFS也提供了Java API,作为应用程序访问文件系统的客户端编程接口。

 

5,HDFS编程实践:

背景:
Hadoop提供了关于HDFS在Linux操作系统上进行文件操作的常用Shell命令以及Java API。同时还可以利用Web界面查看和管理Hadoop文件系统。
备注:Hadoop安装成功后,已经包含HDFS和MapReduce,不需要额外安装。而HBase等其他组件,则需要另外下载安装。

在学习HDFS编程实践前,我们需要启动Hadoop。执行如下命令:(之前格式化了,第二条格式的命令就不要执行了,否则如果出现了bug:

WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题)

HDFS 分布式文件系统_HDFS 分布式文件系统_03

 

ps:WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题 的解决:

■ 前提:切换到hadoop安装目录;

① 停止集群:./sbin/stop-all.sh

② 删除在core-site.xml中配置的hadoop.tmp.dir 对应的目录,例如配置时是:

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>

 那么删除命令:rm -rf /usr/local/hadoop/tmp/dfs/name

③ 重新格式化namenode,然后执行命令:./bin/hadoop namenode -format

④ 重新启动hadoop集群:   ./sbin/start-all.sh

 

 

参考文章:《Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题》

作者:一乐乐​