一. VersionedProtocol
//使用Hadoop RPC机制的所有协议的超类
//所有子类所以自己的协议号static final long versionID
public interface VersionedProtocol {
/**
* 返回与指定协议protocol相关的协议版本
* @param protocol 协议接口的类名
* @param clientVersion 客户端欲与服务器进行交互,它所使用的协议版本
* @return 返回服务器将要与客户端进行交互,所需要使用的协议版本
*/
public long getProtocolVersion(String protocol, long clientVersion) throws IOException;
}
二.ClientDatanodeProtocol
//ClientDatanodeProtocol用于Client和DataNode通信
public interface ClientDatanodeProtocol extends VersionedProtocol {
//ClientDatanodeProtocol版本号4L
public static final long versionID = 4L;
//恢复block
LocatedBlock recoverBlock(Block block, boolean keepLength,
DatanodeInfo[] targets) throws IOException;
//获得当前DataNode上的block
Block getBlockInfo(Block block) throws IOException;
//获得指定block的位置信息BlockLocalPathInfo
BlockLocalPathInfo getBlockLocalPathInfo(Block block,
Token<BlockTokenIdentifier> token) throws IOException;
}
三. InterDatanodeProtocol
//InterDatanodeProtocol用于DataNode与DataNode通信
public interface InterDatanodeProtocol extends VersionedProtocol {
//InterDatanodeProtocol 版本号3L
public static final long versionID = 3L;
//获得指定block的元数据信息
BlockMetaDataInfo getBlockMetaDataInfo(Block block) throws IOException;
//恢复数据块
BlockRecoveryInfo startBlockRecovery(Block block) throws IOException;
//更新数据块
void updateBlock(Block oldblock, Block newblock, boolean finalize) throws IOException;
}
四. ClientProtocol
/**
* ClientProtocol用于用户通过DistributedFileSystem访问NameNode
* Client可以操作namespace目录,打开/关闭文件流等等
* 以下所有方法发起方都是Client,接收方都是NameNode
*/
public interface ClientProtocol extends VersionedProtocol {
//ClientProtocol 协议号61L
public static final long versionID = 61L;
///
// File contents
///
//获得一个文件对应的list<块,块的位置<list<位置>>信息
public LocatedBlocks getBlockLocations(String src,
long offset,
long length) throws IOException;
//在命名空间中创建一个文件入口。该方法将创建一个由src路径指定的空文件
//该路径src应该反映了从root目录开始的一个完整路径名称
//从客户端的角度,Namenode并没有“当前”目录的概念。一旦文件创建成功,该文件就是可见的,并可以被其它客户端来执行读操作。
//但是,其它客户端不能够对该文件进行删除、重命名、重写,而这些操作只有在该文件被完全或明确指定为租约到期,才可以执行。
//每个块都具有最大长度限制,如果客户端想要创建多个块,可以调用addBlock(String, String)方法来实现。
public void create(String src,
FsPermission masked,
String clientName,
boolean overwrite,
boolean createParent,
short replication,
long blockSize
) throws IOException;
public void create(String src,
FsPermission masked,
String clientName,
boolean overwrite,
short replication,
long blockSize
) throws IOException;
//向文件src中追加写入内容,返回一个org.apache.hadoop.hdfs.protocol.LocatedBlock对象
//该对象封装了 块,块的位置<list<位置>的对应关系,通过追加写操作后的返回信息,可以定位到追加写入最后部分块的信息。
public LocatedBlock append(String src, String clientName) throws IOException;
//开始恢复租约
public boolean recoverLease(String src, String clientName) throws IOException;
//设置已经存在的文件的复制因子
//Namenode会为指定文件设置副本因子,但是,不期望在调用该方法的过程修改实际块的副本因子,而是由后台块维护进程来执行:
//如果当前副本因子小于设置的新副本因子,需要增加一些块副本,如果当前副本因子大于设置的新副本因子,就会删除一些块副本。
public boolean setReplication(String src,
short replication
) throws IOException;
//为已经存在的目录或者文件,设置给定的操作权限
public void setPermission(String src, FsPermission permission
) throws IOException;
//设置文件或目录属主
public void setOwner(String src, String username, String groupname
) throws IOException;
//客户端放弃对指定块的操作
public void abandonBlock(Block b, String src, String holder
) throws IOException;
public LocatedBlock addBlock(String src, String clientName) throws IOException;
//客户端向一个当前为写操作打开的文件写入数据块
public LocatedBlock addBlock(String src, String clientName,
DatanodeInfo[] excludedNodes) throws IOException;
//客户端完成对指定文件的写操作,并期望能够写完
//在写完以后关闭文件,返回是否成功关闭;如果返回false,调用者应该再次发送请求
//该方法只有在所有文件的文件块全部达到最小复制因子时才返回true
public boolean complete(String src, String clientName) throws IOException;
//客户端报告corrupted块的信息
public void reportBadBlocks(LocatedBlock[] blocks) throws IOException;
///
// Namespace management
///
//重命名文件系统里的一个文件或目录
public boolean rename(String src, String dst) throws IOException;
public boolean delete(String src) throws IOException;
//删除文件系统里的一个文件或目录 ,recursive 是否递归删除子目录
public boolean delete(String src, boolean recursive) throws IOException;
//创建指定权限的目录
public boolean mkdirs(String src, FsPermission masked) throws IOException;
//获取指定目录的目录/文件列表
public DirectoryListing getListing(String src, byte[] startAfter)
throws IOException;
///
// System issues and management
///
//一个client操作某个文件时,为了防止其它clinet同时操作此文件,该client获取了一些列锁
//如果此时该client突然意外死亡,Namenode会销毁这个锁并认为此client已经死亡
//如果此client发送renewLease请求,告诉Namenode我没死;如果一段时间不发送,NameNode认为此client彻底死亡
public void renewLease(String clientName) throws IOException;
//获取文件系统现有的状态信息
/**
* 返回一组标识文件系统不同信息的索引数组:
* <ul>
* <li> [0] 包含文件系统总存储容量(按字节计算)</li>
* <li> [1] 包含文件系统已使用空间(按字节计算)</li>
* <li> [2] 包含文件系统可使用空间(按字节计算)</li>
* <li> [3] 包含文件系统中不满足副本因子数量的块的数量</li>
* <li> [4] 包含corrupt副本的块的数量 </li>
* <li> [5] 包含没有任何可以用的块副本的块的数量</li>
* </ul>
*/
public long[] getStats() throws IOException;
//获得当前DataNodes的状态信息
public DatanodeInfo[] getDatanodeReport(FSConstants.DatanodeReportType type)
throws IOException;
//获得指定文件的block size
public long getPreferredBlockSize(String filename) throws IOException;
//进入 离开 获取安全模式
public boolean setSafeMode(FSConstants.SafeModeAction action) throws IOException;
//保存命名空间映像
//保存当前namespace到storage directories,然后进行checkpoint操作
public void saveNamespace() throws IOException;
//告诉NameNode重读hosts文件
public void refreshNodes() throws IOException;
//完成升级
public void finalizeUpgrade() throws IOException;
//获得升级过程中的当前状态
public UpgradeStatusReport distributedUpgradeProgress(UpgradeAction action)
throws IOException;
//将Namenode结点上的数据结构写入到指定的文件中,如果指定文件已经存在,则追加到该文件中,就是checkpoint过程
public void metaSave(String filename) throws IOException;
//重新为所有DataNode设置带宽
public void setBalancerBandwidth(long bandwidth) throws IOException;
//获得指定文件或目录的状态信息
public HdfsFileStatus getFileInfo(String src) throws IOException;
//获得指定目录的容量
public ContentSummary getContentSummary(String path) throws IOException;
//设置指定目录的配额
public void setQuota(String path, long namespaceQuota, long diskspaceQuota)
throws IOException;
//设置给定文件的修改时间
public void setTimes(String src, long mtime, long atime) throws IOException;
//获得令牌
public Token<DelegationTokenIdentifier> getDelegationToken(Text renewer) throws IOException;
//重新创建令牌
public long renewDelegationToken(Token<DelegationTokenIdentifier> token)
throws IOException;
//取消已经存在的令牌
public void cancelDelegationToken(Token<DelegationTokenIdentifier> token)
throws IOException;
五. DatanodeProtocol
//DatanodeProtocol用于Datanode与NameNode的通信
//上报心跳 等
//NameNode与DataNode通信的唯一方式是 DataNode----->NameNode时带回返回值
public interface DatanodeProtocol extends VersionedProtocol {
//DatanodeProtocol版本号26L
public static final long versionID = 26L;
/**
* 当接收到Datanode的命令的时候,根据下述状态码确定Datanode应该执行何种操作,
*/
final static int DNA_UNKNOWN = 0; // 未知
final static int DNA_TRANSFER = 1; // 将数据块从一个Datanode转移到另一个Datanode
final static int DNA_INVALIDATE = 2; // 未验证数据块
final static int DNA_SHUTDOWN = 3; // 关闭Datanode
final static int DNA_REGISTER = 4; // 重新注册
final static int DNA_FINALIZE = 5; // 完成先前执行的升级操作
final static int DNA_RECOVERBLOCK = 6; // 数据块恢复操作请求
final static int DNA_ACCESSKEYUPDATE = 7; // 更新 access key
final static int DNA_BALANCERBANDWIDTHUPDATE = 8; // 更改带宽
//注册一个Datanode
public DatanodeRegistration register(DatanodeRegistration registration
) throws IOException;
//发送心跳,带回返回值
//心跳告诉NameNode此DataNode的存活状态和其它状态信息
//返回值告诉DataNode移除或拷贝某些block
public DatanodeCommand[] sendHeartbeat(DatanodeRegistration registration,
long capacity,
long dfsUsed, long remaining,
int xmitsInProgress,
int xceiverCount) throws IOException;
//发送block report 告诉NameNode此DataNode上的block信息
//NameNode返回DatanodeCommand 告诉DataNode孤立block和应该删除的block
public DatanodeCommand blockReport(DatanodeRegistration registration,
long[] blocks) throws IOException;
//告诉NameNode blocks-being-written信息
public void blocksBeingWrittenReport(DatanodeRegistration registration,
long[] blocks) throws IOException;
//Datanode向Namenode报告最近接收到的数据块、删除的多余块副本
public void blockReceived(DatanodeRegistration registration,
Block blocks[],
String[] delHints) throws IOException;
//向Namenode报告错误信息
public void errorReport(DatanodeRegistration registration,
int errorCode,
String msg) throws IOException;
public NamespaceInfo versionRequest() throws IOException;
//向Namenode发送一个升级命令
UpgradeCommand processUpgradeCommand(UpgradeCommand comm) throws IOException;
//向Namenode报告Bad Blocks
public void reportBadBlocks(LocatedBlock[] blocks) throws IOException;
//为数据块生成新的时间戳
public long nextGenerationStamp(Block block, boolean fromNN) throws IOException;
//在恢复数据块期间,提交事务:数据块同步
public void commitBlockSynchronization(Block block,
long newgenerationstamp, long newlength,
boolean closeFile, boolean deleteblock, DatanodeID[] newtargets
) throws IOException;
}
六. NamenodeProtocol
//NamenodeProtocol用于Secondary NameNode与NameNode的通信
public interface NamenodeProtocol extends VersionedProtocol {
//NamenodeProtocol版本号3L
public static final long versionID = 3L;
//获得指定DataNode上的所有blocks
public BlocksWithLocations getBlocks(DatanodeInfo datanode, long size)
throws IOException;
//获得当前block keys
public ExportedBlockKeys getBlockKeys() throws IOException;
//获得editlog文件大小
public long getEditLogSize() throws IOException;
//参考第2步 http://zy19982004.iteye.com/blog/1870624
public CheckpointSignature rollEditLog() throws IOException;
//参考第456步 http://zy19982004.iteye.com/blog/1870624
public void rollFsImage() throws IOException;
}
七. RefreshAuthorizationPolicyProtocol
/**
* Protocol which is used to refresh the authorization policy in use currently.
*/
public interface RefreshAuthorizationPolicyProtocol extends VersionedProtocol {
public static final long versionID = 1L;
/**
* Refresh the service-level authorization policy in-effect.
* @throws IOException
*/
void refreshServiceAcl() throws IOException;
}
八. RefreshUserMappingsProtocol
public interface RefreshUserMappingsProtocol extends VersionedProtocol {
public static final long versionID = 1L;
public void refreshUserToGroupsMappings() throws IOException;
public void refreshSuperUserGroupsConfiguration()
throws IOException;
}