1,安装fuseyum -y install hadoop-hdfs-fuse2.修改环境变量vi /etc/profile增加如下配置：JAVA_HOME=/usr/jdk64/jdk1.8.0_60
HADOOP_HOME=/usr/hdp/2.4.0.0-169/hadoop
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export L
转载
2023-11-06 20:18:17
143阅读
今天来点不一样的，前几天写的博客都没有目录，不知道大家看的效果怎么样，反正自己在手机上看的效果不是很好。先不谈排版的原因，本人天生没有美观设计优化的本领。那么今天为了方便大家也为了自己回顾可以看的更加明朗，今天来加点目录（也可以叫它思维导图）！目录##什么是hdfs？hdsf相关概念？（块，名称节点，数据节点）hdfs的shell命令？hdfs的Java API?大家准备好，接下来就是对目录内容的
转载
2024-07-22 14:34:54
23阅读
前言在Hadoop内部，详细实现了很多类的文件系统，当然最最被我们用到的就是他的分布式文件系统HDFS了。可是本篇文章不会讲HDFS的主从架构等东西，由于这些东西网上和资料书中都讲得非常多了。所以，我决定以我个人的学习所得。来讲讲HDFS内部的一些有意思的东西，也作为一个起始点。为兴许继续深入当中模块的学习做基础。HDFS两大主流关系模块与NameNode相关，文件系统元数据操作相关。包含文件文件
转载
2024-03-25 16:13:41
36阅读
1、
hdfs的副本的配置修改
hdfs-site.xml文件
<!-- 注释配置数据块的冗余度，默认是3 -->
<property>
<name>dfs.replication</name>
<value>1</value>
转载
2024-05-11 13:43:32
61阅读
调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比
转载
2024-03-25 16:30:10
144阅读
一、HDFS 写数据流程剖析文件写入 HDFS 写数据流程。 1）客户端通过Distributed FileSystem模块向NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 2）NameNode 返回是否可以上传。 3）客户端请求第一个 Block 上传到哪几个DataNode 服务器上。 4）NameNode 返回3 个DataNode 节点，分别为d
转载
2024-04-03 19:41:21
54阅读
ls格式：hdfs dfs -ls URI 作用：查看指定路径下的文件（和 linux 的 ls一样）[hadoop@master ~]$ hdfs dfs -ls /
Found 3 items
drwxr-xr-x - hadoop supergroup 0 2021-07-25 16:34 /hbase
drwx-wx-wx - hadoop supergroup
转载
2024-04-24 11:39:57
56阅读
1.HDFS的概念和特性 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；重要特性如下：HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64MHDF
转载
2024-02-13 21:06:06
57阅读
HDFS（Hadoop Distributed File System）hadoop 分布式 文件系统HDFS组成：NameNode（nn）:1、用来存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间，副本数，文件权限)，以及每个文件的块列表和块所在的DataNode等。 2、维护文件系统的统一目录树 3、接受客户端的请求 4、监控和管理 DataNodeDataNode（dn）:1、在
转载
2024-03-16 04:03:01
37阅读
在Linux环境中，使用Hadoop的HDFS（Hadoop分布式文件系统）时，定位HDFS命令的可执行文件是一个常见问题。许多用户在安装后会面临“linux hadoop hdfs命令所在的目录”这一问题。以下是关于如何解决该问题过程的整理。
## 背景定位
在现代数据处理环境中，Hadoop已成为大数据处理的核心技术之一。HDFS作为Hadoop的一个重要组成部分，负责存储和管理海量数据。
上节中我们已经学习了HDFS的体系结构及其优缺点，本节我们将着重学习HDFS的几个主要流程。
[color=blue][b]客户端在NameNode上的文件与目录操作[/b][/color]
[b]创建文件目录[/b]
客户端命令：
hadoop fs -mkdir test 示意图如下： [img]http://dl2.iteye.com
转载
2024-03-25 16:03:18
116阅读
一、概述HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，它是一个高度容错性的分布式文件系统，设计用于在廉价硬件上存储大规模数据集。HDFS的架构采用主从（Master/Slave）结构模型，包含一个NameNode和多个DataNode。NameNode负责管理文件系统的命名空间和客户端对文件的访问操作，而DataNode则管理存储的
转载
2024-06-07 12:20:19
826阅读
目录创建文件夹HDFS文件上传上传文件参数优先级HDFS文件下载文件更名或移动HDFS删除文件或目录HDFS查看文件详情HDFS文件和文件夹判断 创建文件夹需要注意的是必须添加上@Test做测试才能让它运行起来。 其次是重名的类名很多，需要找到org.apache.hadoop底下的类才能成功跑起来。public class HdfsClient {
@Test
public v
转载
2023-08-18 22:16:32
120阅读
HDFS集群的Namenode对文件系统目录树的管理 HDFS集群的Namenode对文件系统目录树的管理基本信息管理特性相关信息管理持久化 HDFS的目录和文件在内存中是以一颗树的形式存储的，目录树由Namenode维护，Namenode会修改这个树形结构以对外提供添加和删除文件等操作。文件系统目录树上的节点还保存了HDFS文件与数据块的对应关系，这一对应关系也是由Namenode维护的。
转载
2024-06-03 13:19:07
225阅读
概述Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件而言，当读取这个文件时需要有r权限，当写入或者追加到文件时需要有w权限。对目录而言，当列出目录内容时需要具有r权限，当新建或删除子文件或子目录时需要有w权限，当访问目录的子节
转载
2024-03-02 08:05:01
173阅读
1.hdfs的牛逼特性 Hadoop, including HDFS, is well suited for distributed storage and distributed processing using commodity hardware. It is fault tolerant, scalable, and extremely simple to expand. MapRedu
转载
2024-05-22 21:03:15
64阅读
大数据-HDFS（二）目录HDFS 之 java API 开发 HDFS 之 IO流操作文件本章节主要介绍使用jav
转载
2024-08-26 12:29:39
32阅读
分布式文件系统 HDFSHDFS的使用HDFS shell操作HDFS shell操作练习HDFS设计思路HDFS架构HDFS环境搭建 课程目标：知道什么是hdfs说出hdfs的架构能够掌握hdfs的环境搭建能够掌握hdfs shell的基本使用知道hdfs shell的优缺点HDFS的使用启动HDFS来到$HADOOP_HOME/sbin目录下执行start-dfs.sh[hadoop@had
转载
2024-06-20 20:57:02
579阅读
文章目录四、HDFS的读写流程（面试重点）4.1 HDFS写数据流程4.1.1 剖析文件写入4.1.2 网络拓扑-节点距离计算4.1.3 机架感知（副本存储节点选择）4.2 HDFS读数据流程五、 NameNode和SecondaryNameNode5.1 NN和2NN工作机制5.2 Fsimage和Edits解析5.3 CheckPoint时间设置六、DataNode6.1 DataNode工
序言ViewFs 是在Federation的基础上提出的,用于通过一个HDFS路径来访问多个NameSpace,同时与ViewFs搭配的技术是client-side mount table(这个就是具体的规则配置信息可以放置在core.xml中,也可以放置在mountTable.xml中). 总的来说ViewFs的其实就是一个中间层,用于去连接不同的Namenode,然后返还给我们的客户
