一、HDFS概述
HDFS(Hdoop D File System),是一个文件系统,用于存储文件,通过目录树来定位文件,并且是分布式的,由很多服务器联合起来实现其功能,集群中的服务器各有各自的角色。
1.1 HDFS使用场景
适合一次写入,多次读出,且不支持文件的修改。
适合做数据分析,不适合做网盘应用。
1.2 HDFS优缺点
1.2.1 优点
(1)高容错性
数据自动保存多个副本,通过增加副本的方式,提高容错性。
某一个副本丢失以后,它可以自动恢复。
(2)适合处理大数据
数据规模:能够达到GB、TB甚至以上。
文件规模:能够处理百万规模以上的文件数量。
(3)可构建在廉价机器上,通过多副本机制,提高可靠性。
1.2.2 缺点
(1)不适合低延时数据访问,比如毫秒级的存储数据。
(2)无法高效的对大量小文件进行存储。
(1)存储大量小文件的话,会占用NameNode大量的内存来存储文件目录和块信息。然而,NameNode的内存是有限的。
(2)小文件存储的寻址时间会超过读取时间。
(3)不支持并发写入、文件随机修改。
(1)一个文件只能有一个写,不允许多个线程同时写。
(2)仅支持数据append(追加),不支持文件的随机修改。
1.3 HDFS的辅助功能
HDFS作为一个文件系统。有两个最主要的功能:上传和下载。而为了保障这两个功能的完美和高效实现,HDFS提供了很多的辅助功能
1.3.1 心跳机制
- 1、 Hadoop 是 Master/Slave 结构,Master 中有 NameNode 和 ResourceManager,Slave 中有 Datanode 和 NodeManager
- 2、 Master 启动的时候会启动一个 IPC(Inter-Process Comunication,进程间通信)server 服务,等待 slave 的链接
- 3、 Slave 启动时,会主动链接 master 的 ipc server 服务,并且每隔 3 秒链接一次 master,这个间隔时间是可以调整的,参数为 dfs.heartbeat.interval,这个每隔一段时间去连接一次的机制,我们形象的称为心跳。Slave 通过心跳汇报自己的信息给 master,master 也通 过心跳给 slave 下达命令,
- 4、 NameNode 通过心跳得知 Datanode 的状态 ,ResourceManager 通过心跳得知 NodeManager的状态
- 5、 如果 master 长时间都没有收到 slave 的心跳,就认为该 slave 挂掉了。
最终NameNode判断一个DataNode死亡的时间计算公式:
timeout = 10 * 心跳间隔时间 + 2 * 检查一次消耗的时间
心跳间隔时间:dfs.heartbeat.interval 心跳时间:3s,检查一次消耗的时间:heartbeat.recheck.interval checktime : 5min,最终宕机之后630s后显示死亡状态。
1.3.2 安全模式
- 1、HDFS的启动和关闭都是先启动NameNode,在启动DataNode,最后在启动secondarynamenode。
- 2、决定HDFS集群的启动时长会有两个因素:1)磁盘元数据的大小 2)datanode的节点个数
2.1 HDFS文件块大小
三、HDFS的Shell操作3.1 基本语法
bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令
dfs是fs的实现类。
[root@hadoop]$ bin/hadoop fs [-appendToFile...] [-cat [-ignoreCrc]...] [-checksum...] [-chgrp [-R] GROUP PATH...] [-chmod [-R]PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p]...] [-copyToLocal [-p] [-ignoreCrc] [-crc]...] [-count [-q]...] [-cp [-f] [-p]...] [-createSnapshot[]] [-deleteSnapshot] [-df [-h] [...]] [-du [-s] [-h]...] [-expunge] [-get [-p] [-ignoreCrc] [-crc]...] [-getfacl [-R]] [-getmerge [-nl]] [-help [cmd ...]] [-ls [-d] [-h] [-R] [...]] [-mkdir [-p]...] [-moveFromLocal...] [-moveToLocal] [-mv...] [-put [-f] [-p]...] [-renameSnapshot] [-rm [-f] [-r|-R] [-skipTrash]...] [-rmdir [--ignore-fail-on-non-empty]...] [-setfacl [-R] [{-b|-k} {-m|-x}]|[--set]] [-setrep [-R] [-w]...] [-stat [format]...] [-tail [-f]] [-test -[defsz]] [-text [-ignoreCrc]...] [-touchz...] [-usage [cmd ...]]
3.2常用命令
启动Hadoop集群
sbin/start-dfs.sh sbin/start-yarn.sh
-ls: 显示目录信息
hadoop fs -ls /
-mkdir:在HDFS上创建目录
hadoop fs -mkdir -p /sanguo/shuguo
-moveFromLocal:从本地剪切粘贴到HDFS
touch xxxxx.txt hadoop fs -moveFromLocal ./xxxxx.txt /sanguo/shuguo
-appendToFile:追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
-cat:显示文件内容
hadoop fs -cat /sanguo/shuguo/kongming.txt
-chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限
hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt hadoop fs -chown atguigu:atguigu /sanguo/shuguo/kongming.txt
-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去
hadoop fs -copyFromLocal README.txt /
-copyToLocal:从HDFS拷贝到本地
hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
-cp :从HDFS的一个路径拷贝到HDFS的另一个路径
hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
-mv:在HDFS目录中移动文件
hadoop fs -mv /zhuge.txt /sanguo/shuguo/
-get:等同于copyToLocal,就是从HDFS下载文件到本地
hadoop fs -get /sanguo/shuguo/kongming.txt ./
-getmerge:合并下载多个文件,比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,…
hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt
-put:等同于copyFromLocal
hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/
-tail:显示一个文件的末尾
hadoop fs -tail /sanguo/shuguo/kongming.txt
-du统计文件夹的大小信息
hadoop fs -du -h /user/atguigu/test
-setrep:设置HDFS中文件的副本数量
hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt四、HDFS的数据流
4.1 写数据
1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。
2)NameNode返回是否可以上传。
3)客户端请求第一个 Block上传到哪几个DataNode服务器上。
4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。
5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。
6)dn1、dn2、dn3逐级应答客户端。
7)客户端开始往dn1上传第一个Block(先从磁盘读取数据放到一个本地内存缓存),以Packet为单位,dn1收到一个Packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答。
8)当一个Block传输完成之后,客户端再次请求NameNode上传第二个Block的服务器。(重复执行3-7步)。
4.2 读数据
1)客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。
2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。
3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。
4)客户端以Packet为单位接收,先在本地缓存,然后写入目标文件。
5.1 NN和2NN工作机制
1. 第一阶段:NameNode启动
(1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)NameNode记录操作日志,更新滚动日志。
(4)NameNode在内存中对数据进行增删改。
2. 第二阶段:Secondary NameNode工作
(1)Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
(2)Secondary NameNode请求执行CheckPoint。
(3)NameNode滚动正在写的Edits日志。
(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
(5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。
(6)生成新的镜像文件fsimage.chkpoint。
(7)拷贝fsimage.chkpoint到NameNode。
(8)NameNode将fsimage.chkpoint重新命名成fsimage。
5.2 CheckPoint时间设置
(1)通常情况下,SecondaryNameNode每隔一小时执行一次。
[hdfs-default.xml]
dfs.namenode.checkpoint.period3600
(2)一分钟检查一次操作次数,3当操作次数达到1百万时,SecondaryNameNode执行一次。
dfs.namenode.checkpoint.txns1000000操作动作次数dfs.namenode.checkpoint.check.period601分钟检查一次操作次数
5.3 NameNode故障处理
NameNode故障后,可以采用如下两种方法恢复数据。
方法一:将SecondaryNameNode中数据拷贝到NameNode存储数据的目录;
kill -9 NameNode进程
删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)
[root@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
- 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
[root@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
- 重新启动NameNode
[root@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
方法二:使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameNode目录中。
1.修改hdfs-site.xml中的
dfs.namenode.checkpoint.period120dfs.namenode.name.dir/opt/module/hadoop-2.7.2/data/tmp/dfs/name
kill -9 NameNode进程
删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)
[root@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
- 如果SecondaryNameNode不和NameNode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录,并删除in_use.lock文件
[root@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./ [root@hadoop102 namesecondary]$ rm -rf in_use.lock [root@hadoop102 dfs]$ pwd /opt/module/hadoop-2.7.2/data/tmp/dfs [root@hadoop102 dfs]$ ls data name namesecondary
- 导入检查点数据(等待一会ctrl+c结束掉)
[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint
- 启动NameNode
[root@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
5.4 NameNode多目录配置
- NameNode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性
- 具体配置如下
(1)在hdfs-site.xml文件中增加如下内容
dfs.namenode.name.dirfile:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2
(2)停止集群,删除data和logs中所有数据。
[root@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/ [root@hadoop103 hadoop-2.7.2]$ rm -rf data/ logs/ [root@hadoop104 hadoop-2.7.2]$ rm -rf data/ logs/
(3)格式化集群并启动。
[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode –format [root@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
(4)查看结果
[root@hadoop102 dfs]$ ll 总用量 12 drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1 drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2六、DataNode
6.1DataNode工作机制
1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。
2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。
3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。
4)集群运行中可以安全加入和退出一些机器。
6.2 数据完整性
DataNode节点保证数据完整性的方法。
1)当DataNode读取Block的时候,它会计算CheckSum。
2)如果计算后的CheckSum,与Block创建时值不一样,说明Block已经损坏。
3)Client读取其他DataNode上的Block。
4)DataNode在其文件创建后周期验证CheckSum,
6.3 掉线时限参数设置
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒。
dfs.namenode.heartbeat.recheck-interval300000dfs.heartbeat.interval3
6.4 DataNode多目录配置
- DataNode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本
2.具体配置如下
hdfs-site.xml
dfs.datanode.data.dirfile:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2