说明:本文对Java API实现HDFS操作的第一步–获取FileSystem对象进行简要解释
获取文件系统对象 FileSystem
用FileSystem
对文件进行操作
四种获取FileSystem的方式
public class HdfsApiDemo{
// 第一种方式
public void getFileSystem1(){
// 创建Configuraion对象
Configuration conf = new Configuration();
// 设置文件系统类型,分布式文件系统uri
conf.set("fs.defaultFS", "hdfs://localhost:9000");
// 获取指定文件系统--从conf中的一个参数fs.defaultFS来判断具体是什么类型的文件系统
FileSystem hdfs = FileSystem.get(conf);
// 输出
System.out.println(hdfs);
}
// 第二种方式
public void getFileSystem2(){
Configuration conf = new Configuration();
String hdfsPath = "hdfs://localhost:9000";
FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);
// FileSystem hdfs = FileSystem.get(new URI("hdfs://localhost:9000"), new Configuration());
System.out.println(hdfs);
}
// 第三种方式
public void getFileSystem3{
Configuration conf = new Configuration();
// 制定文件类型
conf.set("fs.defaultFS", "hdfs://localhost:9000");
// 获取指定的文件系统
FileSystem fs = FileSystem.newInstance(conf);
System.out.println(fs.toString());
}
// 第四种方式
public void getFileSystem4{
// 获取指定的文件系统
FileSystem fs = FileSystem.newInstance(new URI("hdfs://localhost:9000"), new Configuration());
System.out.println(fs.toString());
}
URI理解
URI称为统一资源标示符,在Hadoop中使用URI路径作为参数,其格式是:scheme://authority/path
。1
HDFS文件系统 | 本地文件系统 | 解释 | |
scheme |
|
| 可选,协议名 |
authority |
| 可选 | |
path | 文件的路径构成的字符串 | ||
实例 |
|
|
Configuration
我们在使用Hadoop、Spark或者是Hbase,最常遇到的问题就是进行相关系统的配置,比如集群的URL地址,MapReduce临时目录、最终输出路径等。这些属性需要有一个系统(类)进行管理。然而,Hadoop没有使用 Java.util.Properties
管理配置文件,也没有使用Apache Jakarta Commons Configuration
管理配置文件,而是单独开发了一个配置文件管理类,这个类就是org.apache.hadoop.conf.Configuration
。它可以解析如下格式的xml文件:
<!--core-site.xml-->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
<!--hdfs-site.xml-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/data</value>
</property>
</configuration>
创建一个Configuration
对象时,其构造方法会默认加载hadoop中的两个配置文件,分别是core-default.xml
和core-site.xml
,这两个文件中会有访问hdfs
所需的参数值,默认是fs.default.name
,若开启了 NN 的HA (namenode 的 highavaliable)2,则为fs.defaultFS
。指定了hdfs
的地址,客户端就可以通过此地址访问hdfs文件系统。即可理解为configuration就是hadoop中的配置信息。3
获取FileSystem对象后,即可使用Java API实现常用得HDFS操作,如:文件下载、上传、查看文件信息等。
详见:JAVA API实现HDFS操作(二)操作函数
用Java API实现HDFS操作过程中的常见问题,详见:用Java API实现HDFS操作(三)问题汇总