一、介绍：HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS设计原理 2.1 HDFS架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataN
转载
2023-08-08 09:19:22
247阅读
一、何为HDFSHDFS全称是Hadoop Distributed File System，为Hadoop两大核心之一（另一个是MapReduce）。 在单个计算机中，由于硬件性能局限，难以存储大量数据，因此可以利用集群的思想来处理海量数据。集群结构上，一个机架上配多台计算机，多台计算机通过光纤交换机互连，不同机架间通过更高速的网络互联，从而形成集群网络。 集群中存在主从节点，主节点通常只有一个承
转载
2023-07-13 17:56:25
581阅读
HadoopHDFS介绍：Hadoop是一个分布式系统基础架构，源于Google的GFS论文（Hadoop Distributed File System），简称HDFS，易于扩展的文件分布式系统，运行在大量普通廉价机机器上，提供容错机制为大量用户提供性能不错的文件存取服务。Hadoop三大核心： HDFS、MapReduce、YARNHadoop四大模块：Hadoop common：为其他Had
转载
2023-09-20 15:22:59
0阅读
Linux磁盘管理常常使用到的三个命令是df、du和fdiskdf （全称：disk full）：列出文件系统的整体磁盘使用量du（全称：disk used）：检查磁盘空间使用量fdisk：用于磁盘分区 df [-ahikHTm][目录或文件名]-a ：列出所有的文件系统
-k ：以KB的容量单位显示文件系统
-m：以MB的容量显示各文件系统
-h：以人们较易阅读的GB，MB，KB
转载
2024-04-23 15:42:51
1212阅读
# Hadoop du命令
## 简介
在Hadoop中，du命令用于估算指定目录或文件的大小。du命令主要用于分析Hadoop文件系统中存储空间的使用情况，帮助用户了解存储资源的分布情况。
## 使用示例
以下是使用Hadoop du命令的示例：
```shell
hadoop fs -du /input
```
上述命令用于计算Hadoop文件系统中`/input`目录的大小。执行
原创
2023-08-31 08:36:13
221阅读
由于小编在本学期有一门课程需要学习hadoop,需要在ubuntu的linux系统下搭建Hadoop环境，在这个过程中遇到一些问题，写下这篇博客来记录这个过程，并把分享给大家。Hadoop的安装方式单机模式:Hadoop默认模式为非分布式模式(本地模式)，无需 进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试伪分布式模式:Hadoop可以在单节点上以伪分布式的方式运行， Hadoo
转载
2024-02-23 11:26:57
17阅读
Hadoop是一个由Apache基金会所开发的
分布式系统基础架构.用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
&nbs
转载
2023-07-20 17:22:34
40阅读
# Hadoop fs du命令详解
在Hadoop中，`hadoop fs du`命令用于获取Hadoop分布式文件系统（HDFS）中的目录或文件的大小。本文将介绍`hadoop fs du`命令的用法、参数以及示例代码，并解释其背后的原理。
## `hadoop fs du`命令概述
`hadoop fs du`命令用于获取目录或文件的大小。它计算给定路径下的所有文件的累计大小，并以字节
原创
2023-10-06 16:18:09
217阅读
目录：一、介绍二、HDFS 设计原理三、原理图形介绍四、HDFS 常用 shell 命令五、HDFS相关JavaAPI 一、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS 设计原理三、原理图形介绍 读数据原理图： Hadoop的三大组件：HDFS（分布式存储系统
转载
2023-09-20 20:15:30
283阅读
对于datanode配置预留空间的方法 为：在hdfs-site.xml添加如下配置 <property> <name>dfs.datanode.du.reserved</name> <value>10737418240</value> </property> dfs.datanode.du.res
转载
2018-06-20 13:03:00
371阅读
2评论
# 深入理解“Hadoop du h”命令：解析与应用
Hadoop 是一款开源的分布式计算框架，主要用于处理海量数据。作为 Hadoop 生态系统的一部分，Hadoop 提供了一些有用的命令行工具，帮助用户管理和分析数据。其中，“du h”命令尤其重要，因为它提供了有关 Hadoop 分布式文件系统（HDFS）中文件和目录大小的信息。本篇文章将深入探讨“Hadoop du h”命令的功能及用法
原创
2024-09-11 03:45:27
78阅读
## Hadoop du 命令解析
在使用Hadoop时，经常需要查看HDFS文件系统中各个目录的存储情况，这时就需要通过`du`命令来实现。`du`命令用来估算文件的磁盘空间使用情况，它会递归地统计指定目录及其子目录中所有文件的大小。
### du 命令的语法
```bash
hadoop fs -du [-s] [-h]
```
- `-s` 参数表示只显示指定目录的总大小，不展示子
原创
2024-06-30 04:58:03
190阅读
# 如何使用“hadoop hdfs du”命令来查看HDFS文件系统的使用情况
## 简介
在学习和使用Hadoop分布式文件系统（HDFS）时，了解如何查看文件系统的使用情况是很重要的。其中一个常用的命令是“hadoop hdfs du”，它可以帮助我们查看HDFS文件系统中每个目录的大小。本文将向您展示如何使用这个命令，并提供详细的步骤和示例代码。
## 流程概述
下面是使用“hadoo
原创
2024-01-28 10:04:24
138阅读
haoop的起源Hadoop是Apache软件基金会的顶级开源项目，是由原雅虎公司Doug Cutting根据Google发布的学术论文而创建的开源项目。Doug Cutting被称为Hadoop之父，他打造了目前在云计算和大数据领域里如日中天的Hadoop。 Hadoop的发音是[hædu:p]，Hadoop 这个名字不是一个缩写，而是一个虚构的名字。Doug Cutting解释Hadoop的
转载
2023-10-02 20:57:52
70阅读
一、Hadoop 简介Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 MapReduce。HDFS(Hadoop Distributed File System)是可扩展
转载
2023-09-14 13:44:40
39阅读
Hadoop-基本概念 1. Hadoop 简介Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 Ma
转载
2023-07-13 11:38:18
46阅读
一、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS 设计原理2.1 HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，关闭、重命
转载
2023-07-24 09:18:01
90阅读
Hadoop分布式文件系统——HDFS介绍1、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。2、HDFS 设计原理2.1 HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关文件系
转载
2023-07-24 10:20:08
125阅读
表示在datanode对磁盘写时候，保留多少非dfs的磁盘空间，从而避免dfs将所在的磁盘写满 ，但在0.19.2中该参数存在bug 。
原创
2023-04-14 10:36:57
281阅读
# 深入理解 Hadoop DFS
随着大数据时代的到来，分布式存储和计算的需求变得愈加重要。Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 是 Apache Hadoop 中的核心组成部分之一，为大规模数据存储和处理提供了有效的解决方案。本文将详细介绍 Hadoop DFS 的基本概念、使用方式，并提供相应的代码示例。
## 什么是
