文章目录四、HDFS的读写流程（面试重点）4.1 HDFS写数据流程4.1.1 剖析文件写入4.1.2 网络拓扑-节点距离计算4.1.3 机架感知（副本存储节点选择）4.2 HDFS读数据流程五、 NameNode和SecondaryNameNode5.1 NN和2NN工作机制5.2 Fsimage和Edits解析5.3 CheckPoint时间设置六、DataNode6.1 DataNode工
1、
hdfs的副本的配置修改
hdfs-site.xml文件
<!-- 注释配置数据块的冗余度，默认是3 -->
<property>
<name>dfs.replication</name>
<value>1</value>
转载
2024-05-11 13:43:32
61阅读
前言在Hadoop内部，详细实现了很多类的文件系统，当然最最被我们用到的就是他的分布式文件系统HDFS了。可是本篇文章不会讲HDFS的主从架构等东西，由于这些东西网上和资料书中都讲得非常多了。所以，我决定以我个人的学习所得。来讲讲HDFS内部的一些有意思的东西，也作为一个起始点。为兴许继续深入当中模块的学习做基础。HDFS两大主流关系模块与NameNode相关，文件系统元数据操作相关。包含文件文件
转载
2024-03-25 16:13:41
36阅读
HDFS（Hadoop Distributed File System）hadoop 分布式 文件系统HDFS组成：NameNode（nn）:1、用来存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间，副本数，文件权限)，以及每个文件的块列表和块所在的DataNode等。 2、维护文件系统的统一目录树 3、接受客户端的请求 4、监控和管理 DataNodeDataNode（dn）:1、在
转载
2024-03-16 04:03:01
37阅读
ls格式：hdfs dfs -ls URI 作用：查看指定路径下的文件（和 linux 的 ls一样）[hadoop@master ~]$ hdfs dfs -ls /
Found 3 items
drwxr-xr-x - hadoop supergroup 0 2021-07-25 16:34 /hbase
drwx-wx-wx - hadoop supergroup
转载
2024-04-24 11:39:57
56阅读
1.HDFS的概念和特性 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；重要特性如下：HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64MHDF
转载
2024-02-13 21:06:06
57阅读
一、HDFS 写数据流程剖析文件写入 HDFS 写数据流程。 1）客户端通过Distributed FileSystem模块向NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 2）NameNode 返回是否可以上传。 3）客户端请求第一个 Block 上传到哪几个DataNode 服务器上。 4）NameNode 返回3 个DataNode 节点，分别为d
转载
2024-04-03 19:41:21
54阅读
概述Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件而言，当读取这个文件时需要有r权限，当写入或者追加到文件时需要有w权限。对目录而言，当列出目录内容时需要具有r权限，当新建或删除子文件或子目录时需要有w权限，当访问目录的子节
转载
2024-03-02 08:05:01
173阅读
1.hdfs的牛逼特性 Hadoop, including HDFS, is well suited for distributed storage and distributed processing using commodity hardware. It is fault tolerant, scalable, and extremely simple to expand. MapRedu
转载
2024-05-22 21:03:15
64阅读
大数据-HDFS（二）目录HDFS 之 java API 开发 HDFS 之 IO流操作文件本章节主要介绍使用jav
转载
2024-08-26 12:29:39
32阅读
HDFS集群的Namenode对文件系统目录树的管理 HDFS集群的Namenode对文件系统目录树的管理基本信息管理特性相关信息管理持久化 HDFS的目录和文件在内存中是以一颗树的形式存储的，目录树由Namenode维护，Namenode会修改这个树形结构以对外提供添加和删除文件等操作。文件系统目录树上的节点还保存了HDFS文件与数据块的对应关系，这一对应关系也是由Namenode维护的。
转载
2024-06-03 13:19:07
225阅读
一、概述HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，它是一个高度容错性的分布式文件系统，设计用于在廉价硬件上存储大规模数据集。HDFS的架构采用主从（Master/Slave）结构模型，包含一个NameNode和多个DataNode。NameNode负责管理文件系统的命名空间和客户端对文件的访问操作，而DataNode则管理存储的
转载
2024-06-07 12:20:19
826阅读
上节中我们已经学习了HDFS的体系结构及其优缺点，本节我们将着重学习HDFS的几个主要流程。
[color=blue][b]客户端在NameNode上的文件与目录操作[/b][/color]
[b]创建文件目录[/b]
客户端命令：
hadoop fs -mkdir test 示意图如下： [img]http://dl2.iteye.com
转载
2024-03-25 16:03:18
116阅读
目录创建文件夹HDFS文件上传上传文件参数优先级HDFS文件下载文件更名或移动HDFS删除文件或目录HDFS查看文件详情HDFS文件和文件夹判断 创建文件夹需要注意的是必须添加上@Test做测试才能让它运行起来。 其次是重名的类名很多，需要找到org.apache.hadoop底下的类才能成功跑起来。public class HdfsClient {
@Test
public v
转载
2023-08-18 22:16:32
120阅读
分布式文件系统 HDFSHDFS的使用HDFS shell操作HDFS shell操作练习HDFS设计思路HDFS架构HDFS环境搭建 课程目标：知道什么是hdfs说出hdfs的架构能够掌握hdfs的环境搭建能够掌握hdfs shell的基本使用知道hdfs shell的优缺点HDFS的使用启动HDFS来到$HADOOP_HOME/sbin目录下执行start-dfs.sh[hadoop@had
转载
2024-06-20 20:57:02
579阅读
序言ViewFs 是在Federation的基础上提出的,用于通过一个HDFS路径来访问多个NameSpace,同时与ViewFs搭配的技术是client-side mount table(这个就是具体的规则配置信息可以放置在core.xml中,也可以放置在mountTable.xml中). 总的来说ViewFs的其实就是一个中间层,用于去连接不同的Namenode,然后返还给我们的客户
搭建完CentOS7系统后，应该安装以下环境，同时配置免密登录，域名映射等，在这里不讲解免密登录和域名映射了，自行学习哈~1. yum install -y curl.x86_64
2. yum install -y wget.x86_64
3. yum -y install net-tools.x86_64
4. yum -y install bzip2.x86_64
5. yum -y ins
转载
2024-08-14 12:13:31
18阅读
Hadoop常见问题与解决办法问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述：问题剖析：解决方案:问题2：Too many fetch-failures问题描述：问题剖析：解决方案:问题3：处理MR速度特别的慢问题描述：问题剖析：解决方案:问题4：能够启动datanode，但无法访问，也无法结束问题描述：问题剖析：解决方案:问题5：节点断联问题描述
转载
2024-08-19 13:24:02
697阅读
今天同事遇到了一个问题。 就是hdfsreader->mysqlwriter这种的时候。有的分区没有数据会报错。.DataXException: Code:[HdfsReader-08], Description:[您尝试读取的文件目录为空.]. - 未能找到待读取的文件,请确认您的配置项path: /user/hive/warehouse/dwdmdata.db/dm_tax_f_inc
转载
2024-04-27 18:55:22
214阅读
#### 3.1.3、列出 HDFS 上的所有目录
如果要列出 HDFS 上的所有目录，可以使用如下命令：./bin/hdfs dfs -ls#### 3.1.4、用户目录下创建一个 input 目录
在 bailu 用户下创建一个input目录，命令如下：./bin/hdfs dfs -mkdir input具体如下图所示：
![在这里插入图片描述]()
**说明**：我们在创
转载
2024-08-02 13:57:59
104阅读
