MapReduce(十六): 写数据到HDFS的源代码分析_数据恢复

1)   LineRecordWriter负责把Key,Value的形式把数据写入到DFSOutputStream

MapReduce(十六): 写数据到HDFS的源代码分析_封装_02

2)   DFSOutputStream负责把LineRecordWriter写入的数据发送到Datanode中。对LineRecordWriter写入的数据首先依照一个个chunk切割,然后打包成Packet发送给datanode,datanode负责对接收的数据备份到其他datanode上。发送数据时,发送线程和结果接收线程分开,对发送队列的数据完毕发送后。转移的结果接收队列中,等待datanode对数据保存,备份是否正确的应答,假设datanode保存失败,则对datanode。包含备份datanode的数据恢复到失败的前一刻。然后继续向datanode发送数据保存。

把LineRecordWriter中写入的数据先放到缓存中: 

MapReduce(十六): 写数据到HDFS的源代码分析_数据保存_03

MapReduce(十六): 写数据到HDFS的源代码分析_数据备份_04

Buffer满了后,就把数据依照chunk封装到packet中,packet写满后就把packet放到发送队列中。等待发送线程发送给datanode

MapReduce(十六): 写数据到HDFS的源代码分析_数据备份_05

MapReduce(十六): 写数据到HDFS的源代码分析_封装_06

3)   DataStreamer负责把队列中放入packet的数据发送到datanode上

 MapReduce(十六): 写数据到HDFS的源代码分析_封装_07

MapReduce(十六): 写数据到HDFS的源代码分析_封装_08

MapReduce(十六): 写数据到HDFS的源代码分析_数据_09

4)   ReponseProcessor负责对发送的packet数据接收datanode处理应答

MapReduce(十六): 写数据到HDFS的源代码分析_数据恢复_10

5)   Block传输写协议

MapReduce(十六): 写数据到HDFS的源代码分析_数据_11