hdfs 自定义函数和 explode hdfs inode

转载

bingfeng 2024-06-07 12:21:33

文章标签 大数据运维 HDFS 维护者 UNIX 文章分类 架构后端开发

一. INode类图

hdfs 自定义函数和 explode hdfs inode_运维

二. INode

We keep an in-memory representation of the file/block hierarchy.This is a base INode class containing common fields for file and directory inodes.INode是文件层次结构的反应。
INode两个子类：INodeDirectory代表文件目录；INodeFile对应文件。INodeDirectoryWithQuota代表带容量限制的目录，限制了INodeDirectory的使用空间，包含namespace和磁盘空间；INodeFileUnderConstruction代表正在构建的文件，因为有些文件创建时间比较长，目录系统用INodeFileUnderConstruction维护这一信息。
INode

abstract class INode implements Comparable<byte[]> {
  protected byte[] name;	//文件/目录名
  protected INodeDirectory parent;	//父目录
  protected long modificationTime;	//最后修改时间
  protected long accessTime;	//最后访问时间
  private long permission;	//permission是访问权限。HDFS采用了和UNIX/Linux类似的访问控制机制。
  							//系统维护了一个类似于UNIX系统的组表（group）和用户表（user），并给每一个组和用户一个ID
  							//permission在INode中是long型，它同时包含了组和用户信息。
}

三. INodeDirectory

INodeDirectory是HDFS管理的目录的抽象。
INodeDirectory维护着多个INode。其方法不外乎增删改查这些INode。

private List<INode> children;

四.DatanodeID

DatanodeID代表一个DataNode，包含了DataNode的配置信息。

public String name;       // hostname:port (data transfer port)
  public String storageID;  // unique per cluster storageID
  protected int infoPort;   // info server port
  public int ipcPort;       // ipc server port

五.DatanodeInfo

DatanodeInfo继承DatanodeID。
DatanodeInfo增加了一些动态信息。

protected long capacity;
  protected long dfsUsed;
  protected long remaining;
  protected long lastUpdate;
  protected int xceiverCount;

六.DatanodeDescriptor

DatanodeDescriptor继承DatanodeInfo。
DatanodeDescriptor增加了DataNode上block的动态信息。
DatanodeDescriptor.BlockTargetPair：代表一个block和此block所处DataNodes的信息的对应关系。

public final Block block;
    public final DatanodeDescriptor[] targets;

DatanodeDescriptor.BlockQueue：维护者一系列BlockTargetPair。

private final Queue<BlockTargetPair> blockq = new LinkedList<BlockTargetPair>();

DatanodeDescriptor维护者一个BlockInfo和两个BlockQueue和一个Set<Block>。

private volatile BlockInfo blockList = null;

  /** A queue of blocks to be replicated by this datanode */
  //该DataNode上正在复制（replicateBlocks）的Block
  private BlockQueue replicateBlocks = new BlockQueue();
  /** A queue of blocks to be recovered by this datanode */
  //该DataNode上正在Lease恢复（recoverBlocks）的Block
  private BlockQueue recoverBlocks = new BlockQueue();
  /** A set of blocks to be invalidated by this datanode */
  //该DataNode上已经失效的Block
  private Set<Block> invalidateBlocks = new TreeSet<Block>();

七.BlockInfo

BlockInfo继承Block。
BlockInfo保存了该Block归属的INodeFile和DatanodeDescriptor，同时还包括了它的前继和后继Block。

private INodeFile  inode;
private Object[] triplets;

一个BlockInfo结构如下，tripltes[0]指向此BlockInfo所在的DatanodeDescriptor，tripltes[1]指前继BlockInfo，tripltes[2]指向后继BlockInfo。

八.BlocksMap

private GSet<Block, BlockInfo> blocks;

结合上图可知，有了BlocksMap，就可以通过Block找对应的文件和这个Block所存放的DataNode的相关信息。

九.INodeFile

INodeFile是HDFS管理文件的抽象。
一个INodeFile对应着多Block。如上图示。

protected BlockInfo blocks[]

十.分析一条线

http://zy19982004.iteye.com/blog/1890775文中三.8我们提到：定期调用namenode.blockReport()发送block report 告诉NameNode此DataNode上的block信息。接着分析：
看看远程RPC代理类NameNode的blockReport()方法，调用namesystem.processReport(DatanodeRegistration, blockList)。

public DatanodeCommand blockReport(DatanodeRegistration nodeReg,
                                     long[] blocks) throws IOException {
    namesystem.processReport(nodeReg, blist);
     }

FSNamesystem的processReport方法：找到是哪个DataNode发送过来的信息；执行此DataNode的reportDiff方法，找出和现在FSNamesystem维护着的block的差别；FSNamesystem修改差别。

public synchronized void processReport(DatanodeID nodeID, 
                                         BlockListAsLongs newReport
                                        ) throws IOException {
    DatanodeDescriptor node = getDatanode(nodeID);
    //
    // Modify the (block-->datanode) map, according to the difference
    // between the old and new block report.
    //
    node.reportDiff(blocksMap, newReport, toAdd, toRemove, toInvalidate);
    ...
}