hdfs 本地远程连接hadoop hdfs从本地上传文件

HDFS

文章目录

• HDFS
• 1、Shell 操作

• 上传
• 下载
• 直接操作(和Linux命令功能一样)

• 2、API 操作

• 准备工作
• 文件上传
• 文件下载
• 修改文件名称
• 删除文件和目录
• 文件详情查看
• 文件和文件夹判断
• 修改参数方法
• 参数优先级

1、Shell 操作

上传

• -moveFromLocal：从本地剪切粘贴到 HDFS

• hadoop fs -moveFromLocal 本地文件 HDFS目录

• -copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

• hadoop fs -copyFromLocal 本地文件 HDFS目录

• -put：等同于 copyFromLocal，生产环境更习惯用 put

• hadoop fs -put 本地文件 HDFS目录

• -appendToFile：追加一个文件到已经存在的文件末尾

• hadoop fs -appendToFile 本地文件 HDFS目录

下载

• -copyToLocal：从 HDFS 拷贝到本地

• hadoop fs -copyToLocal HDFS目录文件 本地目录

• -get：等同于 copyToLocal，生产环境更习惯用 get

• hadoop fs -get HDFS目录文件 本地目录

直接操作(和Linux命令功能一样)

• -ls: 显示目录信息
• -cat：显示文件内容
• -chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限
• -mkdir：创建路径
• -cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径
• -mv：在 HDFS 目录中移动文件
• -tail：显示一个文件的末尾 1kb 的数据
• -rm：删除文件或文件夹
• -rm -r：递归删除目录及目录里面内容
• -du： 统计文件夹的大小信息

• hadoop fs -du -s -h HDFS目录（列出该目录的大小信息）
• hadoop fs -du -h HDFS目录（列出该目录里面文件的大小信息）

• -setrep：设置 HDFS 中文件的副本数量（将该文件的副本数设置为 10 个）

• hadoop fs -setrep 10 HDFS目录文件

2、API 操作

准备工作

• 添加依赖：创建Maven工程，添加依赖（pom.xml）

<dependency>
    <!-- 版本号跟自己的Hadoop版本对应 -->
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.4</version>
</dependency>
<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.12</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-log4j12</artifactId>
    <version>1.7.30</version>
</dependency>

• 添加日志：log4j.properties

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

文件上传

• FileSystem.copyFromLocalFile(...)

@Test
public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {
    // 1 获取文件系统
    Configuration configuration = new Configuration();
    //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
    FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");

    // 2 上传文件
    fs.copyFromLocalFile(new Path("D:\\fzk.txt"), new Path("/fzk"));

    // 3 关闭资源
    fs.close();
}

文件下载

• FileSystem.copyToLocalFile(...)

@Test
public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException {
    // 1 获取文件系统
    Configuration configuration = new Configuration();
    //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
    FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");

    // 2 执行下载操作	
    // boolean delSrc 指是否将原文件删除
    // Path src       指要下载的文件路径
    // Path dst       指将文件下载到的路径
    // boolean useRawLocalFileSystem 是否开启文件校验
    fs.copyToLocalFile(false, new Path("/xiyou/huaguoshan/sunwukong.txt"), new Path("d:/sunwukong2.txt"), true);

    // 3 关闭资源
    fs.close();
}

修改文件名称

• FileSystem.rename(...)

@Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{
    // 1 获取文件系统
    Configuration configuration = new Configuration();
    //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
    FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
    
    // 2 修改文件名称
    fs.rename(new Path("/xiyou/sunwukong.txt"), new Path("/xiyou/meihouwang.txt"));
    
    // 3 关闭资源
    fs.close();
}

删除文件和目录

• FileSystem.delete(...)

@Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{
    // 1 获取文件系统
    Configuration configuration = new Configuration();
    //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
    FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
    
    // 2 执行删除
    fs.delete(new Path("/xiyou"), true);
    
    // 3 关闭资源
    fs.close();
}

文件详情查看

• 查看文件名称、权限、长度、块信息

@Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException {
    // 1 获取文件系统
    Configuration configuration = new Configuration();
    //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
    FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");

    // 2 获取文件详情
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
    while (listFiles.hasNext()) {
        LocatedFileStatus fileStatus = listFiles.next();
        System.out.println("========" + fileStatus.getPath() + "=========");
        System.out.println(fileStatus.getPermission());  //权限
        System.out.println(fileStatus.getOwner());  //拥有者
        System.out.println(fileStatus.getGroup());  //组
        System.out.println(fileStatus.getLen());  //长度
        System.out.println(fileStatus.getModificationTime());  //修改时间
        System.out.println(fileStatus.getReplication());  //文件存存储的副本数
        System.out.println(fileStatus.getBlockSize());  //块的大小 
        System.out.println(fileStatus.getPath().getName());  //名称
        // 获取块信息
        BlockLocation[] blockLocations = fileStatus.getBlockLocations();
        System.out.println(Arrays.toString(blockLocations));  //文件所在的块
    }

    // 3 关闭资源
    fs.close();
}

文件和文件夹判断

• FileSystem.isFile()

@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException {
    // 1 获取文件配置信息
    Configuration configuration = new Configuration();
    //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
    FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");

    // 2 判断是文件还是文件夹
    FileStatus[] listStatus = fs.listStatus(new Path("/"));
    for (FileStatus fileStatus : listStatus) {
        // 如果是文件
        if (fileStatus.isFile()) {
            System.out.println("文件:" + fileStatus.getPath().getName());
        } else {
            System.out.println("目录:" + fileStatus.getPath().getName());
        }
    }

    // 3 关闭资源
    fs.close();
}

修改参数方法

• 1、客户端代码中设置的值：Configuration.set(key, value)

// 1 获取文件系统
Configuration configuration = new Configuration();
//设置 dfs.replication 的数量为 2
configuration.set("dfs.replication", "2");  
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");

• 2、ClassPath 下的用户自定义配置文件

• 将 hdfs-site.xml 拷贝到项目的 resources 资源目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 设置 dfs.replication 的数量为 1 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

• 3、然后是服务器的自定义配置（xxx-site.xml）
• 4、服务器的默认配置（xxx-default.xml）

参数优先级

• 优先级从高到低

• 客户端代码中设置的值
• ClassPath 下的用户自定义配置文件
• 然后是服务器的自定义配置（xxx-site.xml）
• 服务器的默认配置（xxx-default.xml）