镜像文件和编辑日志文件
目录
- 镜像文件和编辑日志文件
- 1.存储位置
- 2.文件简介
- 3.查看文件内容
- 3.1 oiv
- 3.2 oev
- 4.文件内容说明
1.存储位置
Namenode在格式化之后,会在/usr/local/hadoop/data/dfs/name/current路径下产生镜像文件和日志文件。该路径在core-site.xml中配置。
产生的文件:edits开头是编辑日志,fsimage开头的是镜像文件以及seen_txid。
2.文件简介
edits文件:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到edits文件中。
fsimage文件:它是在NameNode启动时对整个文件系统的快照,其中包含HDFS文件系统的所有目录和文件idnode的序列化信息,并存储了HDFS文件系统元数据的一个永久性的检查点(合并截止到了那个事务节点)。
fsimage.md5文件:校验文件,判断镜像文件是否被修改。
seen_txid文件:文件保存的是一个数字,就是edits文件最后的数字。
3.查看文件内容
镜像文件和编辑日志文件不能直接使用linux命令查看内容。需要使用oiv和oev命令,oiv和oev在输出时,Hadoop官方定义可以通过4种方式输出文件内容:
- Web Processor(默认)
- XML Processor(XML方式)
- FileDistribution Processor (分布式文件系统)
- Delimited Processor(txt方式)
下面以XML方式为例讲解镜像文件和编辑日志的转存和查看。
3.1 oiv
含义:将镜像文件以一定的格式转换到本地输出路径。
基本语法:
hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径
示例:
(1)将镜像文件以xml格式转存输出到本地路径
hadoop@hadoop2:/usr/local/hadoop/data/dfs/name/current$ hdfs oiv -p XML -i fsimage_0000000000000005322 -o /home/hadoop/temp/fsimage.xml
(2)使用cat命令查看文件内容
3.2 oev
含义:将编辑日志文件以一定的格式转换到本地输出路径。
基本语法:
hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径
示例:
(1)将编辑日志文件以xml格式转存输出到本地路径
hdfs oev -p XML -i edits_0000000000000005285-0000000000000005315 -o /home/hadoop/temp/edits.xml
(2)使用cat命令查看文件内容
4.文件内容说明
(1)镜像文件
(2)编辑日志文件