# Hadoop 非HDFS 空间
Hadoop 是一个用于处理大规模数据的开源框架，其中的HDFS（Hadoop分布式文件系统）被广泛应用于数据存储。然而，除了HDFS之外，Hadoop还提供了其他非HDFS空间，用于存储数据和执行任务。
## 什么是Hadoop非HDFS空间
Hadoop非HDFS空间指的是Hadoop框架中除了HDFS外的存储空间，包括本地文件系统、HBase、Hiv
原创
2024-06-25 03:20:08
32阅读
# Hadoop HDFS 空间清理指南
Hadoop 分布式文件系统（HDFS）是一个为大数据存储而设计的分布式文件系统。在运行大数据应用时，HDFS 空间管理至关重要。数据的持续写入和更新可能会导致存储空间不够使用，必须定期进行空间清理。在本篇文章中，我们将探讨如何有效地清理 HDFS 空间，并提供示例代码和流程图。
## 一、HDFS 空间清理的重要性
随着数据量的增加，HDFS中的存
硬盘挂载：将Hadoop集群中部分文件挂载到B服务器上（B服务器有足够的空间去存储集群服务器上的文件）应用场景：由于hdfs数据量过多，导致磁盘可用空间不足，需要删除过期的数据腾出空间，同时又要将被删除的数据进行备份处理，以免后期复用 需要删除的文件的hdfs目录：bin/hdfs dfs -ls /ibc/datalogs/apachelogs/archive/2018/201801*
转载
2023-07-12 13:29:15
574阅读
HDFS中，当一个客户端往HDFS某个文件写入数据的时候，为了保持数据的一致性，其他客户端是不允许同时写入的。为了实现这一机制，HDFS引入了租约的概念。简而言之，租约是HDFS 给与客户端可以写入某个文件的临时许可证，没有此证件或者租约到期都不能继续向该文件写入数据。一 租约的属性或者要素：1、租约持有者(holder):一般是指客户端，每一个客户端持有一个租约。2、租约对应的文件列表：一个客户
转载
2023-10-21 20:50:34
218阅读
1、HDFS的数据存储的意义先有了数据的存储，才有后续的写入和管理等操作。HDFS的数据存储包括两块：一块是HDFS内存存储，另一块是HDFS异构存储。HDFS内存存储是一种十分特殊的存储方式，将会对集群数据的读写带来不小的性能提升，而HDFS异构存储则能帮助我们更加合理地把数据存到应该存的地方。1-1、HDFS的内存存储HDFS的内存存储是HDFS所有数据存储方式中比较特殊的一种，与之后将会提到
转载
2023-08-18 19:31:25
99阅读
理解HDFS
综述当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区并存储到若干台单独的计算机上。HDFS是hadoop的主要分布式存储系统，一个HDFS集群主要包括NameNode用来管理文件系统的metadata，DataNode用来存储实际的数据。下面是HDFS的一些特点1.Hadoop包括HDFS是一个分布式存储和分布式计算的架构，部署在商用硬件上面，
转载
2023-07-11 14:08:37
109阅读
HDFS Namespace在HDFS中，我们知道NameNode负责管理文件系统的命名空间，那么NameNode到底怎么管理HDFS的命名空间，又有哪些内容需要管理呢？我们接下来将讨论到这两个问题。作为HDFS的Master，NameNode掌握着整个HDFS的文件目录树及其目录与文件，这些信息会以文件的形式永久地存储在本地磁盘。我们可以在$HADOOP_HOME/tmp/dfs/name/cu
转载
2023-10-28 13:45:19
67阅读
1.HDFS前言HDFS:Hadoop Distributed File System，Hadoop分布式文件系统，主要用来解决海量数据的存储问题。设计思想分散均匀存储 dfs.blocksize = 128M备份冗余存储 dfs.replication = 3在大数据系统中作用为各类分布式运算框架（如：MapReduce,spark，hive.....）提供数据存储服务。重点概念数据切块、副本存
转载
2023-07-24 12:42:27
80阅读
HDFS前言 设计的的思想：主要的是分而治之，将大的文件分割称为一个个小的文件，存储在各个机器上。 在大数据中的应用：为大数据框架提供储存数据的服务 重点概念：文件分块、副本存放、元数据。HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。 其次，它
转载
2023-08-04 11:00:21
79阅读
Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的
转载
2023-10-16 09:58:53
45阅读
Ubuntu 查看磁盘空间大小命令df -h Df命令是linux系统以磁盘分区为单位查看文件系统，可以加上参数查看磁盘剩余空间信息，命令格式： df -hl显示格式为：文件系统 容量 已用 可用 已用% 挂载点 Filesystem Size Used Av
转载
2023-12-18 16:54:05
718阅读
文章中记录了问题发现和解决的过程，单纯为了解决问题的伙伴请到最后一段。目录发现问题什么是Non DFS Used解决发现问题入职到公司后，维护集群时有一项日常不是很频繁的任务就是清理集群数据。我们公司的Hadoop（CDH 5.x）集群大概不到50台的样子，总DN容量在450T左右。这个数据量对于大的互联网公司可能不算什么，但我之前一直也没遇到过如此多的数据，百T级别的容量都要清理空间，感觉公司的
转载
2024-04-24 13:11:03
267阅读
目录： HDFS中dfs.datanode.du.reserved系统预留容量详解(一) HDFS中dfs.datanode.du.reserved系统预留容量详解(二) 使用hadoop版本为2.8.4，查看小结可以直接跳转到结尾
转载
2024-03-31 21:44:50
290阅读
这篇博客是笔者在CSDN里的第一篇博客，旨在希望在这个圈子能够得到更多的交流、更快的成长。 这篇博客就讲些比较基础的内容——常用HDFS的API操作。因为所有的API比较多，所以笔者便从中摘选出11个比较常用的API,希望能给读者一些帮助。因为Hadoop中关于文件操作类基本上都在“org.apache.hadoop.fs”包中，这些API的主要作用主要体现在以下操作上：打开文件、读写文件、删除文
转载
2023-09-01 08:28:43
85阅读
HDFS Java API 可以用于任何Java程序与HDFS交互，该API使我们能够从其他Java程序中利用到存储在HDFS中的数据，也能够使用其他非Hadoop的计算框架处理该数据
为了以编程方式与HDFS进行交互，首先需要得到当前配置文件系统的句柄，实例化一个Configuration对象，并获得一个Hadoop环境中的FileSystem句柄，它将指向当前环境的HDFS NameNode
转载
2023-09-01 08:26:09
73阅读
Hadoop 生态是一个庞大的、功能齐全的生态，但是围绕的还是名为 Hadoop 的分布式系统基础架构，其核心组件由四个部分组成，分别是：Common、HDFS、MapReduce 以及 YARN。
Common 是 Hadoop 架构的通用组件；
HDFS 是 Hadoop 的分布式文件存储系统；
MapReduce 是Hadoop 提供的一种编程模型，可用于大规模数据集的并行运算；
YARN
转载
2023-09-13 11:24:12
108阅读
Hadoop的配置详解 大家经过搭建单节点、伪分布、完全分布模式的集群环境，基本上会用到以下几个配置，core-site.xm/hdfs-site.xml/mapred-site.xml. 相信大家已经使用了其中的一些参数，下面我们来详细介绍一下各个配置中的参数，介绍的参数是大家可能用到的，当然还有很多没介绍到(学习hadoop不久,如果哪里错了，请
转载
2023-09-13 11:25:32
145阅读
HDFS API详解org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个： static FileSystem get(Configuration conf);
转载
2023-07-23 23:39:36
112阅读
文章目录Hadoop三大组件之HDFS入门HDFS概述HDFS的shell操作(开发重点)基础语法部分常用命令实操上传下载HDFS的直接操作 Hadoop三大组件之HDFS入门众所周知，Hadoop有三大组件，HDFS、MapReduce、YARN。我的专栏是说大数据，那么数据总得需要存储吧，那么我们今天一起来看看这神秘的大数据有着怎样的身体，能够吸引这广大的学子来”看她“。HDFS概述存在即合
转载
2023-07-14 20:17:28
95阅读
HDFS Java API 位于 org.apache.hadoop.fs 包中，这些API能够支持的操作包括打开文件、读写文件、删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem。该类是一个抽象类，只能通过get方法获取到具体的类。该类封装了大部分文件操作，如mkdir、delete等。 <!--指定maven项目jdk编译版本，默认是jdk1.5--&
转载
2023-08-18 19:31:40
78阅读
