安全模式异常:

在hadoop的实践过程中,系统启动的时候去修改和删除文件有时候会报以下错误:

org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从字面上来理解:“Name nodeis in safe mode.”hadoop的namenode处于安全模式。

出现上述现象由于NameNode在启动的时候首先进入安全模式。

安全模式启动过程:

当 Hadoop的NameNode节点启动时,会进入安全模式阶段。在此阶段,DataNode会向NameNode上传它们数据块的列表,让 NameNode得到块的位置信息,并对每个文件对应的数据块副本进行统计。当最小副本条件满足时,即一定比例的数据块都达到最小副本数,系统就会退出安全模式,而这需要一定的延迟时间。当最小副本条件未达到要求时,就会对副本数不足的数据块安排DataNode进行复制,直至达到最小副本数。而在安全模式下,系统会处于只读状态,NameNode不会处理任何块的复制和删除命令。

安全模式相关属性的设置:

安全模式的相关属性都在文件conf/hdfs-site.xml中指定,有如下几个:

dfs.replication.min  指定数据块要达到的最小副本数,默认为1;

dfs.safemode.extension   指定系统退出安全模式时需要的延迟时间,默认为30(秒);

dfs.safemode.threshold.pct 指定退出条件,需要达到最小副本数的数据块比例,1.0.3中默认是0.95

安全模式常用命令:

hadoop dfsadmin-safemode 命令

格式:Usage: java DFSAdmin [-safemode enter | leave | get |wait]

用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:

enter - 进入安全模式

leave - 强制NameNode离开安全模式

get  - 返回安全模式是否开启的信息

wait  - 等待,一直到安全模式结束。

hadoop dfsadmin -safemode 命令的源码解析:

dfsadmin的命令实现类org.apache.hadoop.hdfs.tools. DFSAdmin

安全模式命令用法:

Usage: java DFSAdmin [-safemode enter | leave | get | wait]

实现类DFSAdmin中主要处理的安全模式的命令的方法是setSafeMode核心处理逻辑为:

DistributedFileSystem dfs = (DistributedFileSystem) fs;

boolean inSafeMode = dfs.setSafeMode(action);

DFSAdmin à DistributedFileSystemà DFSClientà ClientProtocol的实现类NameNodeàFSNamesystem.

核心代码:

boolean setSafeMode(SafeModeAction action) throwsIOException {
    if (action != SafeModeAction.SAFEMODE_GET) {
      checkSuperuserPrivilege();
      switch(action) {
      case SAFEMODE_LEAVE: // leave safe mode
        leaveSafeMode(false);
        break;
      case SAFEMODE_ENTER: // enter safe mode
        enterSafeMode();
        break;
      }
    }
    return isInSafeMode();
  }

安全模式的实现由FSNamesystem的内部类:SafeModeInfo实现的。监控安全模式的是SafeModeMonitor内部类。

该类包含了安全模式的相关信息。当namenode进入安全模式时,将创建SafeModeInfo实例。在namenode启动的时候,SafeModeInfo计算safe blocks,即这blocks至少有冗余的数量,并计算safe blocks在所有blocks的比例也就是FSNamesystem#blocksMap的大小。当比例达到阈值threshold,将启动 SafeModeMonitor后台进程监控安全模式是否已经过去。当过去时,hadoop集群将离开安全模式,并销毁自己。

FSNamesystem的初始化时initialize进入安全模式

this.safeMode = new SafeModeInfo(conf);

在启动时创建SafeModeInfo实例时,其参数如下:

this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);
    this.extension =conf.getInt("dfs.safemode.extension", 0);
this.safeReplication =conf.getInt("dfs.replication.min", 1);
//namenode启动时创建SafeModeInfo实例
    SafeModeInfo(Configuration conf) {
      this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);
      this.extension =conf.getInt("dfs.safemode.extension", 0);
      this.safeReplication =conf.getInt("dfs.replication.min", 1);
      this.blockTotal = 0; 
      this.blockSafe = 0;
    }
//手动进入安全模式的实例构造方法
    private SafeModeInfo() {
      this.threshold = 1.5f;  //this threshold can never be reached
      this.extension = Integer.MAX_VALUE;
      this.safeReplication = Short.MAX_VALUE +1; // more than maxReplication
      this.blockTotal = -1;
      this.blockSafe = -1;
      this.reached = -1;
      enter();
      reportStatus("STATE* Safe mode isON.", true);
    }
//手动触发的方法入口如下:
  synchronized void enterSafeMode() throws IOException {
    if (!isInSafeMode()) {
      safeMode = new SafeModeInfo();
      return;
    }
    safeMode.setManual();
    getEditLog().logSync();
    NameNode.stateChangeLog.info("STATE* Safe modeis ON. " 
                              + safeMode.getTurnOffTip());
  }

SafeModeMonitor安全模式监控类,1000毫秒监控状态。

核心代码:

public void run() {
      while (fsRunning && (safeMode !=null && !safeMode.canLeave())) {
        try {
         Thread.sleep(recheckInterval);
        } catch(InterruptedException ie) {
        }
      }
      // leave safe mode and stop the monitor
      try {
        leaveSafeMode(true);
      } catch(SafeModeException es) { //should never happen
        String msg ="SafeModeMonitor may not run during distributed upgrade.";
        assert false : msg;
        throw newRuntimeException(msg, es);
      }
      smmthread = null;
    }

冗余模块的复制处理过程:核心处理方法processMisReplicatedBlocks