du命令用来查看目录或文件所占用磁盘空间的大小。常用选项组合为：du -sh 一、du的功能：`du` reports the amount of disk space used by the specified files and for each subdirectory (of directo
转载
2017-06-16 11:22:00
279阅读
2评论
du -sh * du -s /tmp/*|sort -nr|head -3 du -s * | sort -k 1 -g | awk '{print $2}' | xargs du -sh {} du -sh * | sort -rn du * -sh | sort -hr 怎么查看当前目录下所有
转载
2017-03-28 20:18:00
366阅读
2评论
# 深入理解“Hadoop du h”命令：解析与应用
Hadoop 是一款开源的分布式计算框架，主要用于处理海量数据。作为 Hadoop 生态系统的一部分，Hadoop 提供了一些有用的命令行工具，帮助用户管理和分析数据。其中，“du h”命令尤其重要，因为它提供了有关 Hadoop 分布式文件系统（HDFS）中文件和目录大小的信息。本篇文章将深入探讨“Hadoop du h”命令的功能及用法
原创
2024-09-11 03:45:27
78阅读
一、介绍：HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS设计原理 2.1 HDFS架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataN
转载
2023-08-08 09:19:22
247阅读
在Linux系统中，使用“du -h”命令是查看文件夹或文件大小的常用方式。而在这个命令中，我们还可以通过加上“max”参数，来查看文件夹中最大的文件或目录。
在Linux系统中，使用“du -h”命令可以快速查看当前文件夹下所有文件和文件夹的大小。这个命令会以人类可读的方式显示文件大小，比如以KB、MB、GB等为单位。如果我们想要找出当前文件夹中最大的文件或目录，可以使用“du -h max”
原创
2024-03-29 12:09:54
60阅读
du的用法
作用：显示目录及文件所占空间
语法：du [ -a | -s ] [ -k ] [ -m ] [ -g ][ -l ] [ -r ] [ -x ] [ -H | -L ][ File ... ]
-a:显示目录下的所有子目录及其文件，与-s相反
-s：只显示该目录下所有文件的总和，与-a相反
-k：用KB为单位显示，即1024bytes-units
原创
2011-09-24 23:11:28
10000+阅读
文章目录一，显示文件内容（一）启动hadoop服务（二）创建并上传本地文件（1）创建students.txt文件（2）上传文件到HDFS（三）创建Maven项目：DisplayFile（1）添加相关依赖（2）创建日志属性文件（四）创建读取文件类：ReadFileOnHDFS（五）运行ReadFileOnHDFS类，查看结果二，完成数据排序（一）启动hadoop服务（二）创建Maven项目：Sor
转载
2023-08-10 17:53:06
447阅读
目录：一、介绍二、HDFS 设计原理三、原理图形介绍四、HDFS 常用 shell 命令五、HDFS相关JavaAPI 一、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS 设计原理三、原理图形介绍 读数据原理图： Hadoop的三大组件：HDFS（分布式存储系统
转载
2023-09-20 20:15:30
283阅读
du --max-depth=1 du -h --max-depth=1 指定只递归层数,只显示目录大小
原创
2013-03-18 17:14:18
10000+阅读
一、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS 设计原理2.1 HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，关闭、重命
转载
2023-07-24 09:18:01
90阅读
介绍：HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 HDFS 设计原理HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，关闭、重命名
转载
2024-02-10 16:48:30
43阅读
一、 目标 准备3台Ubantu的Linux服务器h1、h2、h3。h1为主节点，担任NameNode、SecondNameNode、JobTracker三个角色；h2和h3作为两个从节点，担任DataNode和TaskTracker两个角色。 二、 步骤预览 三、&nbs
转载
2024-05-30 12:06:55
42阅读
一、何为HDFSHDFS全称是Hadoop Distributed File System，为Hadoop两大核心之一（另一个是MapReduce）。 在单个计算机中，由于硬件性能局限，难以存储大量数据，因此可以利用集群的思想来处理海量数据。集群结构上，一个机架上配多台计算机，多台计算机通过光纤交换机互连，不同机架间通过更高速的网络互联，从而形成集群网络。 集群中存在主从节点，主节点通常只有一个承
转载
2023-07-13 17:56:25
581阅读
1，hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为h
转载
2023-05-30 17:32:09
568阅读
du == disk usage (磁盘使用量，占用的磁盘空间)一个文件占用的磁盘空间和一个文件的大小是两码事情。占用空
转载
2022-06-15 16:50:51
346阅读
# 实现“hadoop fs -du -h的参数进制转换问题”
## 概述
在Hadoop中，`hadoop fs -du -h`命令可以用于查看HDFS中文件或目录的大小，并以人类可读的格式（例如：1K，1M，1G）显示。实现这个功能需要进行参数进制转换，将字节数转换为合适的单位。本文将详细介绍实现这一功能的步骤和代码。
## 流程
下面是实现“hadoop fs -du -h”的参数进制转
原创
2023-08-22 11:09:01
151阅读
1.1 数据 随着社会日益发展，数据的体量变得越来越大。以前一个家庭一声拍摄的照片也不足10GB，现在随着数码产品的发展，拍照变得越来越容易，画质也越来越清晰，每个人几乎每年拍的照片就可以轻轻松松到10GB，而且随着科技的发展，各种行为都可以被数码产品以数据的形式记录下来，比如微信步数。行车轨迹、网页访问记录等，科技的发展让一切都可以成为信息记录下来，所以信息的体量变得越来越大。 大数据时代来临，
转载
2024-01-19 17:44:29
29阅读
du命令功能说明：统计目录(或文件)所占磁盘空间的大小。语 法：du [-abcDhHklmsSx] [-L <符号连接>][-X <文件>][--block-size][--exclude=<目录或文件>] [--max-depth=<目录层数>][--help][--version][目录或文件]常用参数：-a或-all 为每个指定
原创
2012-07-06 19:28:10
725阅读
