DatanodeDescriptor类记录了Datanode的使用情况,如capacity,used等统计信息,DatanodeDescriptor是Namenode内部的数据结构,并不是通过RPC通信从Datanode向Namenode通信时候使用。Namenode从DatanodeDescriptor中读取Datanode统计信息,并显示在jsp页面上,这就是在网页上面显示的统计信息的来源。
转载 精选 2012-01-05 11:12:18
10000+阅读
接着讲另外几个数据结构。1.CorruptReplicationMap成员变量:Map<Block, Collection<DatanodeDescriptor>> corruptReplicasMap用来记录datanode上出错的block,getNodes方法返回一个block在哪些datanode上的副本是corrupt的。在FSNamesystem中使用corru
HDFS选择数据节点的方式越来越复杂,也越来越考虑到吞吐量,但是同样存在着一些问题。分配数据节点的所需的参数主要有文件副本数numOfReplicas、writer(客户端所在节点)、excludedNodes(客户端排除的节点)、chosenNodes(已经选择的节点)方法是BlockPlacementPolicyDefault类的DatanodeDescriptor[] chooseTarge