之前说到Hadoop的安装部署和一些大数据的特点
今天总结一下DataNode的作用
HDFS的文件读取流程和写入流程还有一点对机器感知的理解
步入主题:
DataNode功能:
文件的各个block的具体存储管理由datanode节点承担。每一个block都可以在多个datanode上。Datanode 需要定时Namenode汇报自己持有的block信息,存储多个副本(副本数量也可以通过参数设置dfs.replication,默认是3)
按照我自己的理解:DATe Node就是客户机需要写入或者读取数据的时候,会先向NameNode 去发出请求,然后Name Node会响应给客户机具体的DATa Node的一个IP然后直接去找那个Datanode 最后Datanode返回相应的数据给客户机
DataNode的具体功能:
1.向NameNode节点报告状态,每个DataNode节点会周期性的向Name Node发送心跳信号和文件块状态报告
心跳是每三秒一次,心跳返回结果带有Name Node给该DATa Node的命令如复制/删除某个数据或者数据块。如果超过10分钟没有收到某个DATa Name的心跳,则认为该节点不可用
2.(简单的说就是管理它所在节点上存储的数据的读写,以及储存数据)
3.执行数据的流水线复制,当文件系统客户端从Name Node服务器进程获取到要进行的复制的数据块列表后,完成文件及其块副本的流水线复制
(从客户端副本或者第一个副本开始是一点数据一点数据的复制,副本1==》副本2==副本3,这一点数据三个都复制完以后再进行剩下的数据)
机架感知
人为编写的一个脚本,脚本中记录集群中节点与交换机的映射关系,机架感知依赖此脚本,数据副本机制也依赖于此脚本
编写python脚本“xxx.py”内容为服务器IP与交换机的对应关系
#!/usr/bin/python
#--coding:UTF-8 --
import sys
rack = {
“12.12.3.1”:“SW6300-1”,
“12.12.3.2”:“SW6300-1”,
“12.12.3.3”:“SW6300-1”,
“12.12.3.25”:“SW6300-2”,
“12.12.3.26”:“SW6300-2”,
“12.12.3.27”:“SW6300-2”,
“12.12.3.49”:“SW6300-3”,
“12.12.3.50”:“SW6300-3”,
“12.12.3.51”:“SW6300-3”,
“12.12.3.73”:“SW6300-4”,
“12.12.3.74”:“SW6300-4”,
“12.12.3.75”:“SW6300-4”,
}
if name==“main”:
print “/” + rack.get(sys.argv[1],“SW6300-1-2”)
还需要编辑core-site.xml配置文件,将脚本配置为topolopy.script.file.name的值
topology.script.file.name
/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py
HDFS-文件写入流程
1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传;
2、 client请求第一个block该传输到哪些DataNode服务器上;
3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode的地址如:
A,B,C;
4、 client请求3台DataNode中的一台A上传数据(本质上是一个RPC调用,建立pipeline),A收到请求会继续调用B,然后B调用C,将整个pipeline建立完成,后逐级返回client;
5、 client开始往A上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位(默认64K),A 收到一个packet就会传给B,B传给C;A每传一个packet会放入一个应答队列等待应答。
6、 数据被分割成一个个packet数据包在pipeline上依次传输,在pipeline反方向上,逐个发送ack(命令正确应答),最终由pipeline中第一个DataNode节点A将pipelineack发送给client;
7、 关闭写入流。
8、 当一个block传输完成之后,client再次请求NameNode上传第二个block到服务器。
HDFS文件读取流程
1、 客户端通过调用FileSystem对象的open()来读取希望打开的文件。
2、 Client向NameNode发起RPC请求,来确定请求文件block所在的位置;
3、 NameNode会视情况返回文件的部分或者全部block列表,对于每个block,NameNode 都会返回含有该 block 副本的 DataNode 地址; 这些返回的 DN 地址,会按照集群拓扑结构得出 DataNode 与客户端的距离,然后进行排序,排序两个规则:网络拓扑结构中距离 Client 近的排靠前;心跳机制中超时汇报的 DN 状态为 STALE,这样的排靠后;
4、 Client 选取排序靠前的 DataNode 来读取 block,如果客户端本身就是DataNode,那么将从本地直接获取数据(短路读取特性);
5、 底层上本质是建立 Socket Stream(FSDataInputStream),重复的调用父类 DataInputStream 的 read 方法,直到这个块上的数据读取完毕;
6、 并行读取,若失败重新读取
7、 当读完列表的 block 后,若文件读取还没有结束,客户端会继续向NameNode 获取下一批的 block 列表;
8、 返回后续block列表
最终关闭读流,并将读取来所有的 block
HDFS数据完整性计算
数据写入之后进行数据首次校验,文件系统周期性进行校验,防止数据丢失。
读取数据之前进行数据校验,若两个校验相同,那么表示数据没有丢失,开始读取数据。
若两个校验不相同,那么表示数据有部分丢失,换到其他节点(相同副本的节点)读取数据。
HDFS 适用场景 一次写入,多次读出的场景,支持文件追加,但不支持在文件中间修改。