api hdfs中java 的使用 使用java api操作hdfs

文章目录

• 零、学习目标
• 一、导入新课
• 二、新课讲解

• （一）了解HDFS Java API

• 1、HDFS常见类与接口
• 2、FileSystem的常用方法

• （二）编写Java程序访问HDFS

• 1、创建Maven项目
• 2、添加相关依赖
• 3、创建日志属性文件
• 4、启动集群HDFS服务
• 5、在HDFS上创建文件
• 6、写入HDFS文件

• （1）将数据直接写入HDFS文件
• （2）将本地文件写入HDFS文件

• 7、读取HDFS文件

• （1）读取HDFS文件直接在控制台显示
• （2）读取HDFS文件，保存为本地文件

• 8、重命名目录或文件

• （1）重命名目录
• （2）重命名文件

• 9、显示文件列表

• （1）显示指定目录下文件全部信息
• （2）显示指定目录下文件路径信息

• 10、获取文件块信息
• 11、创建目录
• 12、判断目录是否存在
• 13、判断Path指向目录还是文件
• 14、删除目录或文件

• （1）删除文件
• （2）删除目录
• （3）删除目录或文件

• 三、归纳总结
• 四、上机操作

零、学习目标

1. 了解HDFS Java API
2. 掌握使用Java API操作HDFS

一、导入新课

• 上一节对HDFS的Shell操作进行了详细的讲解，而HDFS Shell本质上就是对Java API的应用。本节课将针对HDFS Java API操作进行详细讲解。

二、新课讲解

• 由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。HDFS Shell本质上就是对Java API的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

（一）了解HDFS Java API

1、HDFS常见类与接口

• Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例。

类或接口	功能描述
org.apache.hadoop.fs.FileSystem	一个通用文件系统的抽象基类，可被分布式文件系统继承。
org.apache.hadoop.fs.FileStatus	文件状态接口，用于向客户端展示系统中文件和目录的元数据。具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实例对象。
org.apache.hadoop.fs.FileDataInputStream	文件输入流，用于读取Hadoop文件。
org.apache.hadoop.fs.FileDataOutputStream	文件输出流，用于写Hadoop文件。
org.apache.hadoop.fs.Configuration	访问配置项，所有配置项的值，如果在core-site.xml中有对应的配置，则以core-site.xml为准。
org.apache.hadoop.fs.Path	路径，用于表示Hadoop文件系统中的一个文件或一个目录的路径。
org.apache.hadoop.fs.PathFilter	路径过滤器接口，通过实现方法PathFilter.accept(Path path)来判断是否接收路径path表示的文件或目录。

2、FileSystem的常用方法

• FileSystem对象的一些方法可以对文件进行操作

方法名	功能描述
copyFromLocalFile(Path src, Path dst)	从本地磁盘复制文件到HDFS
copyToLocalFile(Path src, Path dst)	从HDFS复制文件到本地磁盘
mkdirs(Path f)	建立子目录
rename(Path src, Path dst)	重命名文件或文件夹
delete(Path f)	删除指定文件

（二）编写Java程序访问HDFS

1、创建Maven项目

• 创建Maven项目 - HDFSDemo
• 单击【Finish】按钮

2、添加相关依赖

• 在pom.xml文件里添加hadoop和junit依赖

<dependencies>                                    
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>                                 
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>

• Maven Repository（Maven仓库）- https://mvnrepository.com/



• 
  
• 搜索hadoop



• 
  
• 单击hadoop-client超链接
• 单击3.3.4超链接

3、创建日志属性文件

• 在resources目录里创建log4j.properties文件

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4、启动集群HDFS服务

• 在主节点上执行命令：start-all.sh



• 
  
• 在Hadoop WebUI界面查看

5、在HDFS上创建文件

• 创建net.hw.hdfs包，在包里创建CreateFileOnHDFS类



• 
  
• 在HDFS上有/ied01目录，在该目录里创建hadoop.txt文件

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：在HDFS上创建文件
 * 作者：华卫
 * 日期：2022年11月18日
 */
public class CreateFileOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 创建文件
        boolean result = fs.createNewFile(path);
        // 判断文件是否创建成功
        if (result) {
            System.out.println("文件[" + path + "]创建成功！");
        } else {
            System.out.println("文件[" + path + "]创建失败！");
        }
    }
}

• 运行程序，查看结果






• 利用HDFS集群WebUI查看






• 再次运行程序，由于hadoop.txt已经存在，此时会提示用户创建失败

6、写入HDFS文件

• 在net.hw.hdfs包里创建WriteFileOnHDFS类



• 
  

（1）将数据直接写入HDFS文件

• 创建write1()方法



• 
  

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：写入HDFS文件
 * 作者：华卫
 * 日期：2022年10月08日
 */
public class WriteFileOnHDFS {
    @Test
    public void write1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（文件或目录）
        Path path = new Path(uri + "/ied01/hello.txt");
        // 创建文件输出流
        FSDataOutputStream out = fs.create(path);
        // 写数据
        out.write("hello hadoop world".getBytes());
        // 提示用户写文件成功
        System.out.println("文件[" + path + "]写入成功！");
        // 刷新输出流
        out.flush();
        // 关闭输出流
        out.flush();
        // 关闭文件
        fs.close();
    }
}

• 运行write1()测试方法，查看结果



• 
  
• 利用HDFS集群WebUI查看hello.txt文件



• 
  

（2）将本地文件写入HDFS文件

• 在项目根目录创建一个文本文件test.txt









• 创建write2()方法

@Test                                                                    
public void write2() throws Exception {                                  
    Configuration conf = new Configuration();                            
    String uri = "hdfs://master:9000";                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf);                  
    Path path = new Path(uri + "/ied01/test.txt");                       
    FSDataOutputStream out = fs.create(path);                            
    FileInputStream in = new FileInputStream("test.txt");                
    BufferedReader br = new BufferedReader(new InputStreamReader(in));   
    String nextLine = "";                                                
    while ((nextLine = br.readLine()) != null) {                         
        System.out.println(nextLine);                                    
        out.write(nextLine.getBytes());                                  
    }                                                                    
    System.out.println("文件[test.txt]写入文件[" + path + "]！");               
    in.close();                                                          
    out.close();                                                         
    fs.close();                                                          
}

• 运行write2()测试方法，查看结果



• 
  
• 其实这个方法的功能就是将本地文件复制（上传）到HDFS，有没有更简单的处理方法呢？有的，通过使用一个工具类IOUtils来完成文件的相关操作。



• 
  
• 再运行write2()测试方法，查看结果



• 
  
• 查看/ied01/test1.txt内容



• 
  

7、读取HDFS文件

• 在net.hw.hdfs包里创建ReadFileOnHDFS类



• 
  

（1）读取HDFS文件直接在控制台显示

• 准备读取hdfs://master:9000/ied01/test.txt文件
• 编写read1()方法



• 
  

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;

/**
 * 功能：读取HDFS文件
 * 作者：华卫
 * 日期：2022年10月08日
 */
public class ReadFileOnHDFS {
    @Test
    public void read1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（文件或目录）
        Path path = new Path(uri + "/ied01/test.txt");
        // 创建文件输入流
        FSDataInputStream in = fs.open(path);
        // 读取文件在控制台显示
        BufferedReader br = new BufferedReader(new InputStreamReader(in));
        String nextLine = "";
        while ((nextLine = br.readLine()) != null) {
            System.out.println(nextLine);
        }
        // 关闭文件系统
        fs.close();
    }
}

• 运行read1()测试方法，查看结果



• 
  
• 其实，我们可以使用IOUtils类来简化代码



• 
  
• 再运行read1()测试方法，查看结果

 

（2）读取HDFS文件，保存为本地文件

• 任务：将/ied01/test.txt下载到项目下download目录里
• 创建download目录



• 
  
• 创建read2()方法



• 
  

@Test                                                                               
public void read2() throws Exception {                                              
    Configuration conf = new Configuration();                                       
    String uri = "hdfs://master:9000";                                               
    FileSystem fs = FileSystem.get(new URI(uri), conf);                             
    Path path = new Path(uri + "/ied01/test.txt");                                
    FSDataInputStream in = fs.open(path);                                           
    FileOutputStream out = new FileOutputStream("download/test.txt");              
    IOUtils.copyBytes(in, out, conf);                                               
    System.out.println("文件[" + path + "]下载到本地文件[download/test.txt]！" );            
    fs.close();                                                                     
}

• 运行read2()测试方法，查看结果



• 
  

8、重命名目录或文件

• 在net.hw.hdfs包里创建RenameDirOrFile类



• 
  

（1）重命名目录

• 编写renameDir()方法



• 
  

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：重命名目录或文件
 * 作者：华卫
 * 日期：2022年10月08日
 */
public class RenameDirOrFile {
    @Test
    public void renameDir() throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://master:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path1 = new Path("/ied01");
        Path path2 = new Path("/lzy01");
        fs.rename(path1, path2);
        System.out.println("目录[" + path1.getName() + "]重命名为目录[" + path2.getName() + "]！");
    }
}

• 运行renameDir()方法，查看结果



• 
  
• 利用HDFS集群WebUI界面查看



• 
  

（2）重命名文件

• 任务：将lzy01目录下的hello.txt重命名为hi.txt。
• 编写renameFile()方法

@Test                                                                     
public void renameFile() throws Exception {                               
    Configuration conf = new Configuration();                             
    String uri = "hdfs://master:9000";                                    
    FileSystem fs = FileSystem.get(new URI(uri), conf);                   
    Path path1 = new Path("/lzy01/hello.txt");                             
    Path path2 = new Path("/lzy01/hi.txt");                            
    fs.rename(path1, path2);                                              
    System.out.println("文件[" + path1 + "]重命名为文件[" + path2 + "]！");        
}

• 运行renameFile()测试方法，查看结果



• 
  
• 利用HDFS集群WebUI界面查看



• 
  

9、显示文件列表

• 在net.hw.hdfs包里创建ListHDFSFiles类



• 
  

（1）显示指定目录下文件全部信息

• 任务：显示/lzy01目录下的文件列表






• 编写list1()方法

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：显示文件列表
 * 作者：华卫
 * 日期：2022年10月08日
 */
public class ListHDFSFiles {
    @Test
    public void list1() throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://master:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
        while (ri.hasNext()) {
            System.out.println(ri.next());
        }
    }
}

• 运行list1()测试方法，查看结果



• 
  
• 上述文件状态对象封装的有关信息，可以通过相应的方法来获取，比如getPath()方法就可以获取路径信息。

（2）显示指定目录下文件路径信息

• 编写list2()方法

@Test                                                                                           
public void list2() throws Exception {                                                          
    Configuration conf = new Configuration();                                                   
    String uri = "hdfs://master:9000";                                                           
    FileSystem fs = FileSystem.get(new URI(uri), conf);                                         
    RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);                   
    while (ri.hasNext()) {                                                                      
        System.out.println(ri.next().getPath());
        LocatedFileStatus lfs = ri.next();
        System.out.println(lfs.getPath()+" "+lfs.getLen()+"字节");                                                
    }                                                                                           
}

• 运行list2()测试方法，查看结果



• 
  

10、获取文件块信息

• 上传一个大于128MB的文件，比如hadoop-3.3.4.tar.gz，到/lzy01目录

• 在net.hw.hdfs包里创建GetBlockLocations类



• 用到getFileBlockLocations()方法来获取物理切块信息

参数1：文件路径
参数2：起点
参数3：长度

• 编写代码，获取文件块信息

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class GetBlockLocations {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://master:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path = new Path("/lzy01/hadoop-3.3.4.tar.gz");
        BlockLocation[] blks = fs.getFileBlockLocations(path, 0, Integer.MAX_VALUE);
        for (BlockLocation blk : blks) {
            System.out.println(blk);
        }
    }
}

• 运行程序，查看结果



• 
  

由此可见，hadoop-3.3.4.tar.gz被hadoop物理切分成6块，前5块长度均为134217728字节（128MB），第6块长度为24369142字节（23.24MB）。

• 利用HDFS集群WebUI界面也可以查看文件分块信息



• 
  

11、创建目录

• 在net.hw.hdfs包里创建MakeDirOnHDFS类



• 
  
• 任务：在HDFS上创建/ied01目录

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：在HDFS上创建目录
 * 作者：华卫
 * 日期：2022年10月08日
 */
public class MakeDirOnHDFS {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://master:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path = new Path("/ied01");
        boolean result = fs.mkdirs(path);
        if (result) {
            System.out.println("目录[" + path +"]创建成功！");
        } else {
            System.out.println("目录[" + path +"]创建失败！");
        }
    }
}

• 运行程序，查看结果



• 
  
• 利用HDFS集群WebUI界面查看



• 
  

12、判断目录是否存在

• 在net.hw.hdfs包里创建DirExistsOrNot类



• 
  
• 任务：判断HDFS上/ied01目录是否存在

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：判断目录是否存在
 * 作者：华卫
 * 日期：2022年10月08日
 */
public class DirExistsOrNot {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://master:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path = new Path("/ied01");
        boolean result = fs.exists(path);
        if (result) {
            System.out.println("目录[" + path + "]存在！");
        } else {
            System.out.println("目录[" + path + "]不存在！");
        }
    }
}

• 运行程序，查看结果



• 
  

13、判断Path指向目录还是文件

• 在net.hw.hdfs包里创建PathToFileOrDir类



• 
  

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：判断Path指向目录还是文件
 * 作者：华卫
 * 日期：2022年10月08日
 */
public class PathToFileOrDir {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://master:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path1 = new Path("/ied01");
        if (fs.isDirectory(path1)) {
            System.out.println(path1 + "指向的是目录！");
        } else {
            System.out.println(path1 + "指向的是文件！");
        }

        Path path2 = new Path("/lzy01/test1.txt");
        if (fs.isFile(path2)) {
            System.out.println(path2 + "指向的是文件！");
        } else {
            System.out.println(path2 + "指向的是目录！");
        }
    }
}

• 运行程序，查看结果



• 
  

14、删除目录或文件

• 在net.hw.hdfs包里创建DeleteFileOrDir类

（1）删除文件

• 任务：删除/lzy01/hi.txt文件
• 编写deleteFile()方法

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：删除文件或目录
 * 作者：黄勇维
 * 日期：2022年10月08日
 */
public class DeleteFileOrDir {
    @Test
    public void deleteFile() throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://master:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path = new Path("/lzy01/hi.txt");
        boolean result = fs.delete(path, true);
        if (result) {
            System.out.println("文件[" + path + "]删除成功！");
        } else {
            System.out.println("文件[" + path + "]删除失败！");
        }
    }
}

• 运行deleteFile()测试方法，查看结果



• 
  
• 利用HDFS集群WebUI界面查看



• 
  
• 再运行deleteFile()测试方法，查看结果



• 
  
• 可以在删除文件之前，判断文件是否存在，需要修改代码



• 
  

 

 

 

 

@Test                                                               
public void deleteFile() throws Exception {                         
    Configuration conf = new Configuration();                       
    String uri = "hdfs://master:9000";                              
    FileSystem fs = FileSystem.get(new URI(uri), conf);             
    Path path = new Path("/lzy01/test2.txt");                       
    if (fs.exists(path)) {                                          
        boolean result = fs.delete(path, true);                     
        if (result) {                                               
            System.out.println("文件[" + path + "]删除成功！");            
        } else {                                                    
            System.out.println("文件[" + path + "]删除失败！");            
        }                                                           
    } else {                                                        
        System.out.println("文件[" + path + "]不存在！");                 
    }                                                               
}

• 此时运行deleteFile()测试方法，查看结果



• 
  

 

（2）删除目录

• 任务：删除/ied01目录
• 编写deleteDir()方法
  

@Test                                                               
public void deleteDir() throws Exception {                          
    Configuration conf = new Configuration();                       
    String uri = "hdfs://master:9000";                               
    FileSystem fs = FileSystem.get(new URI(uri), conf);             
    Path path = new Path("/ied01");                                
    if (fs.exists(path)) {                                          
        boolean result = fs.delete(path, true);                     
        if (result) {                                               
            System.out.println("目录[" + path + "]删除成功！");            
        } else {                                                    
            System.out.println("目录[" + path + "]删除失败！");            
        }                                                           
    } else {                                                        
        System.out.println("目录[" + path + "]不存在！");                 
    }                                                               
}

删除目录或文件

• 进行三个层面的判断：判断类型（目录或文件）、判断是否存在、判断删除是否成功。
• 编写delete()方法

@Test                                                                               
public void delete() throws Exception {                                             
    Configuration conf = new Configuration();                                       
    String uri = "hdfs://master:9000";                                               
    FileSystem fs = FileSystem.get(new URI(uri), conf);                             
    Path path1 = new Path("/lzy01/test1.txt");                                       
    String type = "";                                                               
    if (fs.isFile(path1)) {                                                         
        type = "文件";                                                                
    } else {                                                                        
        type = "目录";                                                                
    }                                                                               
    if (fs.exists(path1)) {                                                         
        boolean result = fs.delete(path1, true);                                    
        if (result) {                                                               
            System.out.println(type + "[" + path1 + "]删除成功！");                      
        } else {                                                                    
            System.out.println(type + "[" + path1 + "]删除失败！");                      
        }                                                                           
    } else {                                                                        
        System.out.println(type + "[" + path1 + "]不存在！");                           
    }                                                                               
                                                                                    
    Path path2 = new Path("/lzy01");                                               
    if (fs.isFile(path1)) {                                                         
        type = "文件";                                                                
    } else {                                                                        
        type = "目录";                                                                
    }                                                                               
    if (fs.exists(path2)) {                                                         
        boolean result = fs.delete(path1, true);                                    
        if (result) {                                                               
            System.out.println(type + "[" + path2 + "]删除成功！");                      
        } else {                                                                    
            System.out.println(type + "[" + path2 + "]删除失败！");                      
        }                                                                           
    } else {                                                                        
        System.out.println(type + "[" + path2 + "]不存在！");                           
    }                                                                               
}

• 运行delete()测试方法，查看结果



•