下一周学习Yarn
HDFS简介
HDFS（Hadoop Distribute File System, Hadoop分布式文件系统），是Hadoop核心组成，是分布式存储服务。
分布式文件存储系统横跨多台计算机，在大数据时代有着广泛的应用前景。它们为存储和处理超大规模数据提供所需的扩展能力。HDFS是分布式文件系统中的一种。
HDFS重要概念
HDFS通过统一的命名空间目录树来定位文件。并且HDFS是分布式的，由很多的服务器联合起来实现相应功能，在集群中服务器都有着各自的角色，各司其职。
- 典型的master/slave架构
HDFS的架构是典型的master/slave结构。
HDSF往往需要是一个NameNode（HA架构会有两个NameNode，联邦机制）+ 多个DataNode组成。
NameNode是集群的主节点，DataNode是集群的从节点。
- 分块存储（block机制）
HDFS中的文件在物理上分块存储的（block），快的大小可以通过配置参数来指定。
在Hadoop2.x版本中默认的block大小是128M。
- 命名空间（Namespace）
HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统命名空间的层次结构和大多数现有的文件系统类似。用户可以创建、删除、移动、或者重命名文件。
NameNode服务维护文件系统的命名空间，任何对系统的命名空间或属性的修改都将被NameNode记录下来。
HDFS提供给客户一个抽象目录树，访问形式：hdfs://namenode的hostname:port/test/input
- NameNode元数据管理
我们把目录结构和文件分块位置信息叫做元数据。
NameNode的元数据记录每一个文件所对应的block信息（block的ID以及所在DataNode节点的信息）
- DataNode数据存储
文件的各个block具体存储管理由DataNode节点承担。一个block会有多个DataNode存储，DataNode会定时的向NameNode汇报自己持有的block信息。
- 副本机制
为了容错，文件的所有block的都会存在副本。每个文件的block的大小和副本系数都是可以配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建时指定，也可以在之后改变。副本系数默认是3。
- 一次写入，多次读出
HDFS是设计成适应一次写入、多次读出的场景。且不支持文件的随机修改。（支持文件追加，不支持随机修改）
正因为如此，HDFS适合做大数据分析的底层存储服务，并不适用做网盘等应用（修改不方便、延迟高、网络开销大、成本太高）
HDFS架构
- ameNode HDFS集群的管理者，Master
- 维护管理HDFS的命名空间（Namespace）
- 维护副本策略
- 记录文件块（block）的映射信息
- 负责处理客户端的读写请求
- DataNode NameNode下达命令，DataNode执行实际的操作，Slave节点
- 保存实际的块数据
- 负责数据库块的读写
- Client客户端
- 上传文件到HDFS的时候，client负责将文件切分成block，然后进行上传
- 请求NameNode交互，获取文件的位置信息
- 读取或写入文件，与DataNode进行交互
- Client可以使用一些命令来管理HDFS或访问HDFS
HDFS客户端操作
shell命令行操作HDFS
基本语法
bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令命令大全
[root@linux121 hadoop-2.9.2]# bin/hdfs dfs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...]
[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] [-x] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
[-help [cmd ...]]
[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec>
<path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-truncate [-w] <length> <path> ...]
[-usage [cmd ...]]
Generic options supported are:
-conf <configuration file> specify an application configuration file
-D <property=value> define a value for a given property
-fs <file:///|hdfs://namenode:port> specify default filesystem URL to use,
overrides 'fs.defaultFS' property from configurations.
-jt <local|resourcemanager:port> specify a ResourceManager
-files <file1,...>
copied to the map reduce cluster
-libjars <jar1,...>
be included in the classpath
-archives <archive1,...>
be unarchived on the compute machinesHDFS命令演示
- 启动Hadoop集群
[root@linux121 ~]# start-dfs.sh
Starting namenodes on [linux121]
linux121: starting namenode, logging to /opt/lagou/servers/hadoop-2.9.2/logs/hadoop-root-namenode-linux121.out
linux122: starting datanode, logging to /opt/lagou/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux122.out
linux123: starting datanode, logging to /opt/lagou/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux123.out
linux121: starting datanode, logging to /opt/lagou/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux121.out
Starting secondary namenodes [linux123]
linux123: starting secondarynamenode, logging to /opt/lagou/servers/hadoop-2.9.2/logs/hadoop-root-secondarynamenode-linux123.out
[root@linux123 ~]# start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /opt/lagou/servers/hadoop-2.9.2/logs/yarn-root-resourcemanager-linux123.out
linux122: starting nodemanager, logging to /opt/lagou/servers/hadoop-2.9.2/logs/yarn-root-nodemanager-linux122.out
linux121: starting nodemanager, logging to /opt/lagou/servers/hadoop-2.9.2/logs/yarn-root-nodemanager-linux121.out
linux123: starting nodemanager, logging to /opt/lagou/servers/hadoop-2.9.2/logs/yarn-root-nodemanager-linux123.out- -help 输出这个命令的参数
[root@linux121 hadoop-2.9.2]$ hadoop fs -help rm- -ls 显示目录信息
[root@linux121 hadoop-2.9.2]$ hadoop fs -ls /- -mkdir 在HDFS上创建目录
[root@linux121 hadoop-2.9.2]$ hadoop fs -mkdir -p /lagou/bigdata- -moveFromLocal 从本地剪切到HDFS
[root@linux121 hadoop-2.9.2]$ touch hadoop.txt
[root@linux121 hadoop-2.9.2]$ hadoop fs -moveFromLocal ./hadoop.txt
/lagou/bigdata- -appendToFile 追加一个文件到已经存在的文件末尾
[root@linux121 hadoop-2.9.2]$ touch hdfs.txt
[root@linux121 hadoop-2.9.2]$ vi hdfs.txt
namenode datanode block replication
[root@linux121 hadoop-2.9.2]$ hadoop fs -appendToFile ./hdfs.txt /lagou/bigdata/hadoop.txt- -cat 显示文件内容
[root@linux121 hadoop-2.9.2]$ hadoop fs -cat /lagou/bigdata/hadoop.txt- -chgrp -chmod -chown 修改文件所属权限
[root@linux121 hadoop-2.9.2]$ hadoop fs -chmod 666 /lagou/bigdata/hadoop.txt
[root@linux121 hadoop-2.9.2]$ hadoop fs -chown root:root /lagou/bigdata/hadoop.txt- -copyFromLocal 从本地文件系统中拷贝文件到HDFS
[root@linux121 hadoop-2.9.2]$ hadoop fs -copyFromLocal README.txt /- -copyToLocal 从HDFS拷贝到本地
[root@linux121 hadoop-2.9.2]$ hadoop fs -copyToLocal /lagou/bigdata/hadoop.txt ./- -cp 从HDFS路径拷贝到HDFS另一个路径
[root@linux121 hadoop-2.9.2]$ hadoop fs -cp /lagou/bigdata/hadoop.txt /hdfs.txt- -mv 在HDFS中移动文件
[root@linux121 hadoop-2.9.2]$ hadoop fs -mv /hdfs.txt /lagou/bigdata/- -get 等同于copyToLocal，从HDFS上下载文件
[root@linux121 hadoop-2.9.2]$ hadoop fs -get /lagou/bigdata/hadoop.txt ./- -put 等同于copyFromLocal
[root@linux121 hadoop-2.9.2]$ hadoop fs -mkdir -p /user/root/test/
#本地文件系统创建yarn.txt
[root@linux121 hadoop-2.9.2]$ vim yarn.txt
resourcemanager nodemanager
[root@linux121 hadoop-2.9.2]$ hadoop fs -put ./yarn.txt /user/root/test/- -tail 显示一个文件的末尾
[root@linux121 hadoop-2.9.2]$ hadoop fs -tail /user/root/test/yarn.txt- -rm 删除文件或者文件夹
[root@linux121 hadoop-2.9.2]$ hadoop fs -rm /user/root/test/yarn.txt- -rmdir 删除空目录
[root@linux121 hadoop-2.9.2]$ hadoop fs -mkdir /test
[root@linux121 hadoop-2.9.2]$ hadoop fs -rmdir /test- -du 统计文件夹的大小
[root@linux121 hadoop-2.9.2]$ hadoop fs -du -s -h /user/root/test
[root@linux121 hadoop-2.9.2]$ hadoop fs -du -h /user/root/test- -setrep 设置HDFS中文件的副本数量
[root@linux121 hadoop-2.9.2]$ hadoop fs -setrep 10 /lagou/bigdata/hadoop.txt副本数量如图
这里需要注意的是，假如你只有3台机器但是你指定的副本数量为9那么，在这里显示的副本数量为9.但是实际的副本数量还是只为3。当你有9台机器时指定副本为9HDFS才会生成9个副本。
JAVA客户端操作
- windows需要配置Hadoop环境变量
- 将Hadoop安装文件解压到非中文路径下
- 配置Hadoop系统的环境变量 HADOOP_HOME
- 配置PATH变量
- mac系统不需要配置Hadoop运行环境即可
- 创建MAVEN工程并导入Hadoop坐标
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>RELEASE</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.9.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.9.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.9.2</version>
</dependency>
</dependencies>- 创建HDFSclient 实体类
package com.lcy;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
/**
* hdfs客户端
*
* @author lichunyu
* @since 2021/11/18
*/
public class HdfsClient {
/**
* 测试HDFS创建文件夹
*/
@Test
public void mkdirs() throws IOException, URISyntaxException, InterruptedException {
// 创建Hadoop配置对象
final Configuration configuration = new Configuration();
// 配置在集群上运行HDFS
// configuration.set("fs.defaultFS", "hdfs://linux121:9000");
// FileSystem fs = FileSystem.get(configuration);
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root");
// 2 创建目录
fs.mkdirs(new Path("/lcytest"));
// 3 关闭资源
fs.close();
}
}- 为了方便运行时日志打印，需要配置log4j.properties
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n上传文件
@Test
public void testCopyFromLocalFile() throws IOException,
InterruptedException, URISyntaxException {
// 1 获取文件系统
Configuration configuration = new Configuration();
// 指定副本个数
configuration.set("dfs.replication", "2");
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root");
// 2 上传文件
fs.copyFromLocalFile(new Path("/Volumes/LCYSSD/个人资料/BigData/3-hadoop/3-1/lcy.txt"), new
Path("/lcy.txt"));
// 3 关闭资源 fs.close();
System.out.println("end");
}下载文件
@Test
public void testCopyToLocalFile() throws IOException, InterruptedException,
URISyntaxException {
// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root");
// 2 执行下载操作
// boolean delSrc 指是否将原文件删除
// Path src 指要下载的文件路径
// Path dst 指将文件下载到的路径
// boolean useRawLocalFileSystem 是否开启文件校验
fs.copyToLocalFile(false, new Path("/lcy.txt"),
new Path("/Volumes/LCYSSD/个人资料/BigData/3-hadoop/3-1/lcy_copy.txt"), true);
}删除文件夹/文件
@Test
public void testDelete() throws IOException, InterruptedException,
URISyntaxException {
// 1 获取文件系统@Test
//public void testDelete() throws IOException, InterruptedException,
//URISyntaxException{
//// 1 获取文件系统
//Configuration configuration = new Configuration();
//FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
//configuration, "root"); // 2 执行删除
// fs.delete(new Path("/api_test/"), true);
//// 3 关闭资源
// fs.close();
//}
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root"); // 2 执行删除
fs.delete(new Path("/lcytest/"), true);
// 3 关闭资源
fs.close();
}查看文件名称、权限、长度、快信息
@Test
public void testListFiles() throws IOException, InterruptedException,
URISyntaxException{
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root");
// 2 获取文件详情
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"),
true);
while(listFiles.hasNext()){
LocatedFileStatus status = listFiles.next();
// 输出详情
// 文件名称 System.out.println(status.getPath().getName()); // 长度
System.out.println(status.getLen());
// 权限 System.out.println(status.getPermission());
// 分组
System.out.println(status.getGroup());
// 获取存储的块信息
BlockLocation[] blockLocations = status.getBlockLocations();
for (BlockLocation blockLocation : blockLocations) { // 获取块存储的主机节点
String[] hosts = blockLocation.getHosts();
for (String host : hosts) {
System.out.println(host);
} }
System.out.println("-----------华丽的分割线----------"); }
// 3 关闭资源 fs.close();
}文件夹判断
@Test
public void testListStatus() throws IOException, InterruptedException,
URISyntaxException {
// 1 获取文件配置信息
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root");
// 2 判断是文件还是文件夹
FileStatus[] listStatus = fs.listStatus(new Path("/"));
for (FileStatus fileStatus : listStatus) {
// 如果是文件
if (fileStatus.isFile()) {
System.out.println("f:" + fileStatus.getPath().getName());
} else {
System.out.println("d:" + fileStatus.getPath().getName());
}
}
// 3 关闭资源
fs.close();
}IO流操作
以上我们使用的都是HDFS提供的API擦操作，当然我们也可以自己实现文件的上传和下载。
文件上传
@Test
public void putFileToHDFS() throws IOException, InterruptedException,
URISyntaxException {
// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root"); // 2 创建输入流
FileInputStream fis = new FileInputStream(new File("/Volumes/LCYSSD/个人资料/BigData/3-hadoop/3-1/lcy.txt")); // 3 获取输出流
FSDataOutputStream fos = fs.create(new Path("/lagou_io.txt")); // 4 流对拷
IOUtils.copyBytes(fis, fos, configuration);
// 5 关闭资源
IOUtils.closeStream(fos);
IOUtils.closeStream(fis);
fs.close();
}文件下载
@Test
public void getFileFromHDFS() throws IOException, InterruptedException, URISyntaxException{
// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root"); // 2 获取输入流
FSDataInputStream fis = fs.open(new Path("/lagou_io.txt"));
// 3 获取输出流
FileOutputStream fos = new FileOutputStream(new
File("/Volumes/LCYSSD/个人资料/BigData/3-hadoop/3-1/lcy_io.txt"));
// 4 流的对拷
IOUtils.copyBytes(fis, fos, configuration);
// 5 关闭资源
IOUtils.closeStream(fos);
IOUtils.closeStream(fis);
fs.close();
}seek分段读取
@Test
public void readFileSeek2() throws IOException, InterruptedException,
URISyntaxException {
// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://linux121:9000"),
configuration, "root");
// 2 打开输入流,读取数据输出到控制台
FSDataInputStream in = null;
try {
in = fs.open(new Path("/lagou_io.txt"));
IOUtils.copyBytes(in, System.out, 4096, false);
in.seek(0); //从头再次读取
IOUtils.copyBytes(in, System.out, 4096, false);
} finally {
IOUtils.closeStream(in);
}
}
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
