hdfs挂载回收站 hdfs回收站机制

转载

mob64ca1416b5a8 2024-02-14 13:30:56

文章标签 hdfs挂载回收站 hdfs HDFS hadoop 文章分类 架构后端开发

文件的删除和恢复

和Linux系统的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在NameNode中开启了一个后台线程Emptier，这个线程专门管理和监控系统回收站下面的所有文件/目录，对于已经超过生命周期的文件/目录，这个线程就会自动的删除它们，不过这个管理的粒度很大。另外，用户也可以手动清空回收站，清空回收站的操作和删除普通的文件目录是一样的，只不过HDFS会自动检测这个文件目录是不是回收站，如果是，HDFS当然不会再把它放入用户的回收站中了。

--此处注意：hdfs会为每个用户都建一个回收站，用户删除文件时，文件并不是彻底地消失了，而是mv到了/user/用户名/.Trash/这个文件下，在一段时间内，用户可以恢复这些已经删除的文件。如果用户没有主动删除，那么系统会根据用户设置的时间把文件删除掉（某些默认设置是360分钟，用户也可以自己设置这个删除的时间设置），用户也可以手动清空回收站，这样删除的文件就再也找不回来了。

根据上面的介绍，用户通过命令行即HDFS的shell命令删除某个文件，这个文件并没有立刻从HDFS中删除。相反，HDFS将这个文件重命名，并转移到操作用户的回收站目录中（如/user/hdfs/.Trash/Current, 其中hdfs是操作的用户名）。如果用户的回收站中已经存在了用户当前删除的文件/目录，则HDFS会将这个当前被删除的文件/目录重命名，命名规则很简单就是在这个被删除的文件/目录名后面紧跟一个编号(从1开始知道没有重名为止)。

当文件还在/user/hdfs/.Trash/Current目录时，该文件可以被迅速地恢复。文件在/user/hdfs/.Trash/Current中保存的时间是可配置的，当超过这个时间，Namenode就会将该文件从namespace中删除。文件的删除，也将释放关联该文件的数据块。注意到，在文件被用户删除和HDFS空闲的增加之间会有一个等待时间延迟。
当被删除的文件还保留在/user/hdfs/.Trash/Current目录中的时候，如果用户想恢复这个文件，可以检索浏览/user/hdfs/.Trash/Current目录并检索该文件。/user/hdfs/.Trash/Current目录仅仅保存被删除文件的最近一次拷贝。/user/dfs/.Trash/Current目录与其他文件目录没有什么不同，除了一点：HDFS在该目录上应用了一个特殊的策略来自动删除文件，目前的默认策略是删除保留超过6小时的文件，这个策略以后会定义成可配置的接口。

还有，NameNode是通过后台线程(默认是org.apache.hadoop.fs.TrashPolicyDefault.Emptier，也可以通过fs.trash.classname指定TrashPolicy类)来定时清空所有用户回收站中的文件/目录的,它每隔interval分钟就清空一次用户回收站。具体的操作步骤是，先检查用户回收站目录/user/用户名/.Trash下的所有yyMMddHHmm形式的目录，然后删除寿命超过interval的目录，最后将当前存放删除的文件/目录的回收站目录/user/用户名/.Trash/current重命名为一个/user/用户名/.Trash/yyMMddHHmm.

从这个回收线程(Emptier)的实现可以看出，被用户用命令删除的文件最多可在其回收站中保存2*interval分钟，最少可保存interval分钟，过了这个有效期，用户删除的文件就永远也不可能恢复了。

配置

在每个节点(不仅仅是主节点)上添加配置 /etc/hadoop/conf/core-site.xml,增加如下内容

`<property> <name>fs.trash.interval</name> <value>1440</value> </property>`

注意：当用户写程序调用HDFS的API时，NameNode并不会把删除的文件或目录放入回收站Trash中，而是需要自己实现相关的回收站逻辑，见如下的代码

import java.io.IOException; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.Trash; public class RMFile { private final static Log log = LogFactory.getLog(RMFile.class); private final static Configuration conf = new Configuration(); /** * Delete a file/directory on hdfs * * @param path * @param recursive * @return * @throws IOException / public static boolean rm(FileSystem fs, Path path, boolean recursive) throws IOException { log.info("rm: " + path + " recursive: " + recursive); boolean ret = fs.delete(path, recursive); if (ret) log.info("rm: " + path); return ret; } /* * Delete a file/directory on hdfs,and move a file/directory to Trash * @param fs * @param path * @param recursive * @param skipTrash * @return * @throws IOException */ public static boolean rm(FileSystem fs, Path path, boolean recursive, boolean skipTrash) throws IOException { log.info("rm: " + path + " recursive: " + recursive+" skipTrash:"+skipTrash); if (!skipTrash) { Trash trashTmp = new Trash(fs, conf); if (trashTmp.moveToTrash(path)) { log.info("Moved to trash: " + path); return true; } } boolean ret = fs.delete(path, recursive); if (ret) log.info("rm: " + path); return ret; } public static void main(String[] args) throws IOException { conf.set("fs.default.name", "hdfs://data2.kt:8020/"); FileSystem fs = FileSystem.get(conf); RMFile.rm(fs,new Path("hdfs://data2.kt:8020/test/testrm"),true,false); } }

import java.io.IOException;
 
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.Trash;
 
public class RMFile {
    private  final static Log log = LogFactory.getLog(RMFile.class);
    private  final static Configuration conf = new Configuration();
 
    /**
     *  Delete a file/directory on hdfs
     *  
     *  @param path
     *  @param recursive
     *  @return
     *  @throws IOException
     */
    public static  boolean rm(FileSystem fs, Path path, boolean recursive)
            throws  IOException {
        log.info("rm:  " + path + " recursive: " + recursive);
        boolean  ret = fs.delete(path, recursive);
        if  (ret)
            log.info("rm:  " + path);
        return  ret;
 
    }
 
    /**
     *  Delete a file/directory on hdfs,and move a file/directory to Trash
     *  @param fs
     *  @param path
     *  @param recursive
     *  @param skipTrash
     *  @return
     *  @throws IOException
     */
    public static  boolean rm(FileSystem fs, Path path, boolean recursive,
            boolean  skipTrash) throws IOException {
        log.info("rm:  " + path + " recursive: " + recursive+"  skipTrash:"+skipTrash);
        if  (!skipTrash) {
            Trash  trashTmp = new Trash(fs, conf);
            if  (trashTmp.moveToTrash(path)) {
                log.info("Moved  to trash: " + path);
                return  true;
            }
        }
        boolean  ret = fs.delete(path, recursive);
        if  (ret)
            log.info("rm:  " + path);
        return  ret;
 
    }
 
    public static  void main(String[] args) throws IOException {
        conf.set("fs.default.name",  "hdfs://data2.kt:8020/");
        FileSystem  fs = FileSystem.get(conf);
        RMFile.rm(fs,new  Path("hdfs://data2.kt:8020/test/testrm"),true,false);
    }
 
}

注：内容来自互联网并辅以自己的理解，如有侵权，请联系我删除。

示例：执行 Hadoop fs -rm -f /文件路径，将文件删除时，文件并不是直接消失在系统中，而是被从当前目录move到了所属用户的回收站中。保留时间（1440分钟=24小时），24小时内，用户可以去回收站找到这个文件，并且恢复它。24小时过后，系统会自动删除这个文件，于是这个文件彻底被删除了。

hdfs挂载回收站 hdfs回收站机制_hdfs