/**
* 判断是否为文件
* @author julong
* @date 2016-11-24 下午04:44:31
*/
public static void isFile(){
try {
//创建文件配置对象
Configuration configuration = new Configuration();
//定义URL
URI uri = URI.create("hdfs://192.168.205.110:9000/");
//获取文件系统
FileSystem fileSystem = FileSystem.get(uri,configuration);
Path path = new Path("/user/input/test");
boolean result = fileSystem.isFile(path);
logger.info("是否为文件:"+result);
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
/**
* 判断是否存在此文件或者目录
* @author julong
* @date 2016-11-24 下午04:47:12
*/
public static void exists(){
try {
//创建文件配置对象
Configuration configuration = new Configuration();
//定义URL
URI uri = URI.create("hdfs://192.168.205.110:9000/");
//获取文件系统
FileSystem fileSystem = FileSystem.get(uri,configuration);
Path path = new Path("/user/input/test");
boolean result = fileSystem.exists(path);
logger.info("判断是否存在此文件或者目录:"+result);
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
/**
* 复制本地文件到HDFS
* @author julong
* @date 2016-11-24 下午05:06:27
*/
public static void copyFromLocalFile(){
try {
//创建文件配置对象
Configuration configuration = new Configuration();
//定义URL
URI uri = URI.create("hdfs://192.168.205.110:9000/");
//获取文件系统
FileSystem fileSystem = FileSystem.get(uri,configuration);
fileSystem.copyFromLocalFile( new Path("C://maven.txt"),new Path("/user/input/maven.txt"));
logger.info("本地复制文件到HDFS成功!");
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
/**
* 复制文件到本地
* @author julong
* @date 2016-11-24 下午05:26:56
*/
public static void copyToLocalFile(){
try {
//创建文件配置对象
Configuration configuration = new Configuration();
//定义URL
URI uri = URI.create("hdfs://192.168.205.110:9000/");
//获取文件系统
FileSystem fileSystem = FileSystem.get(uri,configuration);
FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/user/input/LICENSE.txt"));
OutputStream outputStream = new FileOutputStream(new File("C:\\LICENSE.txt"));
IOUtils.copyBytes(fsDataInputStream, outputStream, 4096);
logger.info("完成文件复制");
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
JAVA 调用HDFS
原创
©著作权归作者所有:来自51CTO博客作者口袋里的小龙的原创作品,请联系作者获取转载授权,否则将追究法律责任
上一篇:ActiveMQ 主题模式(二)
下一篇:DES加密算法工具类
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
HDFS的shell操作
HDFS的Shell操作
HDFS hadoop 绝对路径 -
java调用启动ffmpeg命令
java调用启动ffmpeg命令
Java ide shell脚本 -
Hadoop编程调用HDFS
前言HDFS 全称Hadoop分步文件系统(Hadoop Distributed File System),是Hadoop的核心部分之一。要实现MapReduce
Hadoop家族 hdfs Hadoop hadoop -
JAVA调用HDFS 创建文件夹
java 调用hdfs 创建文件夹
java hadoop hdfs 创建文件夹 文件系统 -
JAVA调用HDFS 判断是否存在文件夹
JAVA调用HDFS 判断是否存在文件夹
JAVA掉用HDFS HDFS 创建文件 文件系统 hdfs -
vsanzhuang java
搭建开发环境 1:安装jdk 2: 设置环境变量 (环境变量可以不设置的 为了简化开发流程 提高开发效率) 给谁使用
vsanzhuang java java 环境变量 数据类型