一,首先我把写入流程图放在这，这些都是看hadoop中的源码得到的，可以说是很详细的流程图了，本文由版本hadoop2.7为主
二，我们把里面的一下细节详细讲一下:
首先我们要了解block,paket,chuck:
1,block是最大的单位，它值最终存储于DataNode上的数据块，由dfs.block.size参数决定，默认是128M
2,packet是一个在block之下的存储单位，他是数据有DFSClient流向DataNode的一个包,以dfs.write.packet.size参数为参考值。默认为64k
3，chunk是最小的一个单位，他是最小的一个单位，他是DFSClient到DataNode数据传输中进行数据校验的一个小块，由io.bytes.per.checksum参数决定，默认是512字节，事实上一个chunk还包含一个4byte的校验和，因此写入packet中为512数据与校验值得比值为128:1，所以对于一个128M的block会有一个1m的校验文件与之对应
扩展:
三:写入过程
1，在写入的过程中DFSOutputStream中有一个缓冲区，他默认是4608也就是4.5k相当于9个chunk（之前的好像是一个chunk）如果超出这个缓冲区，他会计算校验和值，然后然后填进packet里
2，当一个chunk填塞进入packet后，仍然不会立即发送，而是积累到一个packet填满后，将这个packet放入dataqueue队列
3，进入dataqueue队列的packet会被另一个线程按序取出发送到datanode；
详细步骤:
首先客户端通过DistributedFileSystem对象调用create()函数来新建文件（步骤一）。DistributedFIleSystem对namenode创建一个RPC调用，在文件系统的命名空间创建一个文件，此时该文件中还没有相应的数据块(步骤二)。namenode执行各种不同的检查一确保这个文件不存在以及客户端有新建该文件的权限。如果这些检查均通过，namenode就会为创建新文件记录一条记录；否则，文件创建失败并向客户端抛出一个IOException异常。DistributedFileSystem向客户端返回一个FSDataOutputStream对象，，由此客户端可以开始写入数据。就像读取事件一样，FSDataOutputStream封装一个DFSoutputstream对象，该对象负责处理datanode和namenode之间的通信。
在客户端写入数据时(步骤三)，DFSOutputStream将他分成一个个的数据包，并写入内部队列，成为"数据队列”（data queue）。DataStreamer处理数据队列，他的负责是根据datanode列表来要求namenode分配适合的新块来存储数据的副本。这一组datanode构成存储数据包并将他发送给管线中的第二个datanode。同样，第二个datanode存储该数据包并且发送给管线中的第三个(也就是最后一个)datanode(步骤四)
DFSOutputStream也维护着一个内部数据包队列来等待datanode的收到确认回执，成为“确认队列”(acl queue).收到管道中所有datanode确认信息后，该数据包才会确认队列删除(步骤五)
如果在数据写入期间datanode发生故障，则执行以下操作(对写入的数据的客户端是透明的)。首先关闭管道，确认包队列中的数据包都添加回数据队列的最前端，以确保故障节点下游的datanode不会漏掉任何一个数据包。为存储在另一个正常的datanode的数据块指定一个新的标识，并将该标识传递给namenode，以便故障datanode在恢复后可以删除存储的部分数据块。从管线中删除故障数据节点并把余下的数据块写入管线中另外两个正常的datanode。namenode注意到块副本量不足时，会在另一个节点上创建一个新的复本，后续的数据块继续正常接受处理。
在一个块被写入期间可能会有多个datanode同时发生故障，但非常少见。只要写入了dfs.replication.min的副本书(默认为一)，写入操作就会成功，并且这个块可以在集群中异步复制，直到达到其目标复本数(默认三个复本)
客户端完成数据的写入后，对数据流调用close()方法(步骤六)，该操作将剩余的所有数据包写入datanode管线，并在联系到namenode已经知道文件后那些块组成(通过datastreamer请求分配数据块)，所以他在返回成功前只需要等待数据块进行最小量的复制(步骤7)
怎样我们就大概描述玩写入的大概工程了。
