管理文件系统的命名空间,他维护着文件系统树及整棵树上所有的文件和目录,这些信息以两个文件形式永久的保存在本地磁盘上,命名空间镜像文件(fsimage)和(Editlogs) fsimage:namenode启动时,对整个文件系统的快照 editlogs:namenode启动以后,对文件系统的改动序列
文章目录1.hdfs是什么2.hdfs架构3.hdfs读写过程3.1 相关概念3.2 写文件过程3.2 读文件过程4.datenode什么情况下不会备份5.HDFS中大量小文件带来的问题以及解决的方案5.HDFS的核心组件及其作用6.fsimage和editlogs的作用7. fsimage和editlogs为什么要合并?如何合并?8. SecondaryNameNode的作用9. hdfs能否
转载 2023-09-20 10:26:55
55阅读
目录1.hdfs是什么2.hdfs架构3.hdfs读写过程3.1 相关概念3.2 写文件过程3.2 读文件过程4.datenode什么情况下不会备份5.HDFS中大量小文件带来的问题以及解决的方案5.HDFS的核心组件及其作用6.fsimage和editlogs的作用7. fsimage和editlogs为什么要合并?如何合并?8. SecondaryNameNode的作用9. hdfs能否并发写
NameNode启动过程: (1)加载镜像文件:主要用于加载还原checkpoint时间节点前的元数据fsimage文件中的(包含目录结构,文件大小,块的大小,块的id等等信息),不包含块的存储位置(2)加载editlogs文件:主要用于加载还原客户端对名字空间的操作编辑记录,editlog是一个日志文件,其会记录hdfs客户端执行的所有写操作记录。(至此namenode还原的元数据唯一缺失的就是