1 ，hdfs 是什么 ： 分布式存储系统 ( 把它当做大磁盘 )用于存储：就相当于一个很大的硬盘，可以存储很多数据，可以认为，存多少都够用。存储容量很大 ：hdfs 的容量，相当于他的所有机器提供的容量的总和。看图，为什么三台机器每台 24T ，他的存储容量总和是 20 x 3 = 60；为什么不是 24 x 3 = 72 。因为每台机器自己的操作系统也是要消耗一部分内存的，不会全部贡献出来。3
转载
2024-06-17 19:51:57
307阅读
hadoop学习——hdfs指定tmp目录中内容的介绍1、格式化 已经知道，当执行hadoop格式化指令时，会在指定的tmp目录下，生成dfs目录。它下边具体如下：[root@hadoop01 dfs]# ls
data name namesecondary dfs/data目录，是datanode节点存储数据块的目录。 dfs/namesecondary目录，对于以后集群中是没有用处的
转载
2024-06-27 15:35:47
281阅读
Hadoop操作HDFS命令
Hadoop操作HDFS命令如下所示： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunli
转载
2024-04-19 16:58:17
127阅读
查看帮助hdfs dfs –help查看文件常用命令命令格式 1.hdfs dfs -ls path 查看文件列表 2.hdfs dfs -lsr path 递归查看文件列表 3.hdfs dfs -du path 查看path下的磁盘情况，单位字节使用示例 1.hdfs dfs -ls / 查看当前目录 2.hdfs dfs - lsr / 递归查看当前目录创建文件夹命令格式 hdfs dfs
转载
2023-09-27 18:43:57
1696阅读
Linux查看目录大小及硬盘大小的命令(du&df) 一、df 命令；df 是来自于coreutils 软件包，系统安装时，就自带的；我们通过这个命令可以查看磁盘的使用情况以及文件系统被挂载的位置；举例：[root@localhost beinan]# df -lh
Filesystem 容量 已用 可用 已用% 挂载点
/dev/hda8 11G 6.0G 4.4G 58
转载
2024-03-08 16:53:22
220阅读
1.HDFS Shell基本操作总结 1.1 浏览你的HDFS目录 [root@slave1 bin]# hadoop fs -ls1.2 上传数据到HDFS 上传： [root@slave1 bin]# hadoop fs -put ../conf input 检查已上传的数据： [root@slave1 bin]# hadoop fs input1.3 下载HDFS的数据到本地目录 下载： [
转载
2024-03-18 07:20:12
200阅读
Linux管理文件和目录的命令命令功能命令功能pwd显示当前目录ls查看目录下的内容cd改变所在目录cat显示文件的内容grep在文件中查找某字符cp复制文件touch创建文件mv移动文件rm删除文件rmdir删除目录1. pwd命令该命令的英文解释为print working directory(打印工作目录)。输入pwd命令，Linux会输出当前目录。2. cd命令cd命令用来改变所在目录。c
Hadoop常见问题与解决办法问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述：问题剖析：解决方案:问题2：Too many fetch-failures问题描述：问题剖析：解决方案:问题3：处理MR速度特别的慢问题描述：问题剖析：解决方案:问题4：能够启动datanode，但无法访问，也无法结束问题描述：问题剖析：解决方案:问题5：节点断联问题描述
转载
2024-08-19 13:24:02
697阅读
# 项目方案：Hive中如何查看HDFS目录
## 1. 项目背景
在大数据项目中，Hive作为一种数据仓库，通常与Hadoop的分布式文件系统（HDFS）紧密结合使用。Hive提供了一种SQL-like的查询语言，允许用户对存储在HDFS上的数据进行分析和查询。然而，在实际项目中，经常需要查看HDFS上的文件和目录，以了解数据的存储情况和组织结构。因此，本项目将介绍如何使用Hive来查看HD
原创
2024-01-21 08:47:33
223阅读
open()打开文件f =open("./file.text","r") #只读模式f.read() #读取全部 f.read(5) #读取字符数 f.readline() #读取一行 f.readlines() #读取所有行f =open("./file.text","w") #覆盖写入模式，清空已有数据在写入数据，当没有次文
分布式文件系统 HDFSHDFS的使用HDFS shell操作HDFS shell操作练习HDFS设计思路HDFS架构HDFS环境搭建 课程目标：知道什么是hdfs说出hdfs的架构能够掌握hdfs的环境搭建能够掌握hdfs shell的基本使用知道hdfs shell的优缺点HDFS的使用启动HDFS来到$HADOOP_HOME/sbin目录下执行start-dfs.sh[hadoop@had
转载
2024-06-20 20:57:02
579阅读
1、查看目录与文件：ls如果要显示当前目录下所有文件的详细信息：ls -la2、切换目录：cd切换当前目录为/opt/test: cd /opt/test3、显示当前目录：pwd4、创建空文件：touch5、创建目录：mkdir6、查看文件内容：cat + 文件， 如cat desc.txt7、分页查看文件内容:more，如more desc.txt8、(交互式查看文件)查看文件尾内容：tail，
转载
2023-12-01 09:15:54
163阅读
HDFS集群的Namenode对文件系统目录树的管理 HDFS集群的Namenode对文件系统目录树的管理基本信息管理特性相关信息管理持久化 HDFS的目录和文件在内存中是以一颗树的形式存储的，目录树由Namenode维护，Namenode会修改这个树形结构以对外提供添加和删除文件等操作。文件系统目录树上的节点还保存了HDFS文件与数据块的对应关系，这一对应关系也是由Namenode维护的。
转载
2024-06-03 13:19:07
225阅读
2.2上传本地文件到hdfs上使用put命令进行本地文件上传，上传完成后，本地文件依然保留hadoop fs -put 本地文件路径 上传的hdfs文件路径
-- 上传本地路径/opt/file/put.txt到hdfs上的根路径
mkdir /opt/file/
vi /opt/file/put.txt
hadoop fs -put /opt/file/put.txt /使用moveFr
转载
2024-07-05 09:58:54
196阅读
今天来点不一样的，前几天写的博客都没有目录，不知道大家看的效果怎么样，反正自己在手机上看的效果不是很好。先不谈排版的原因，本人天生没有美观设计优化的本领。那么今天为了方便大家也为了自己回顾可以看的更加明朗，今天来加点目录（也可以叫它思维导图）！目录##什么是hdfs？hdsf相关概念？（块，名称节点，数据节点）hdfs的shell命令？hdfs的Java API?大家准备好，接下来就是对目录内容的
转载
2024-07-22 14:34:54
23阅读
#### 3.1.3、列出 HDFS 上的所有目录
如果要列出 HDFS 上的所有目录，可以使用如下命令：./bin/hdfs dfs -ls#### 3.1.4、用户目录下创建一个 input 目录
在 bailu 用户下创建一个input目录，命令如下：./bin/hdfs dfs -mkdir input具体如下图所示：
![在这里插入图片描述]()
**说明**：我们在创
转载
2024-08-02 13:57:59
104阅读
前言我们安装好hadoop之后，该怎么用呢？这篇文章就是把常用的命令就行操作。需要知道的以一点就是，后面我写命令的时候会用hdfs dfs xx ，其实等同于 hadoop fs xx，选择自己喜欢的方式就好了。另外需要读者需要了解的前提知识是，我的hadoop集群有三个节点，分别为node1，node2，node3。这三个节点在三台服务器上，我会使用ssh工具进行连接操作，在真实的
转载
2024-08-16 20:31:38
650阅读
-e适合简单查看的情况-f适合多条脚本，且输出结果较多，可将结果存在制定的文件 （在hive中查看hdfs和本地文件，hdfs在Linux命令前加dfs -,本地在Linux命令前加！）在hive中查看hdfs的文件 1、进入hive窗口2.dfs -ls /;查看hdfs根目录下文件 (dfs -lsr /;递归查看）在hive中查看Linux虚拟机本地文件 1、进入hiv
转载
2023-07-14 10:52:30
1654阅读
# 项目方案：基于Hadoop的分布式文件系统的目录管理系统
## 项目背景
在使用Hadoop时，我们经常需要查看HDFS中的目录结构，但是通过命令行来操作有时候不够便捷。因此，我们可以搭建一个基于Hadoop的FileSystem对象的目录管理系统，通过图形化界面来方便地查看HDFS中的目录结构。
## 项目目标
搭建一个基于Hadoop的FileSystem对象的目录管理系统，通过该系统
原创
2024-04-07 05:50:20
142阅读
大数据-HDFS（二）目录HDFS 之 java API 开发 HDFS 之 IO流操作文件本章节主要介绍使用jav
转载
2024-08-26 12:29:39
32阅读
