文章目录一，显示文件内容（一）启动hadoop服务（二）创建并上传本地文件（1）创建students.txt文件（2）上传文件到HDFS（三）创建Maven项目：DisplayFile（1）添加相关依赖（2）创建日志属性文件（四）创建读取文件类：ReadFileOnHDFS（五）运行ReadFileOnHDFS类，查看结果二，完成数据排序（一）启动hadoop服务（二）创建Maven项目：Sor
转载
2023-08-10 17:53:06
447阅读
HadoopHDFS介绍：Hadoop是一个分布式系统基础架构，源于Google的GFS论文（Hadoop Distributed File System），简称HDFS，易于扩展的文件分布式系统，运行在大量普通廉价机机器上，提供容错机制为大量用户提供性能不错的文件存取服务。Hadoop三大核心： HDFS、MapReduce、YARNHadoop四大模块：Hadoop common：为其他Had
转载
2023-09-20 15:22:59
0阅读
Hadoop：https://blog.csdn.net/mulangren1988/article/details/54860924
Hadoop：
1. Hadoop fs –fs [local | <file system URI>]： 列出在指定目录下的文件内容，支持pattern匹配。输出格式如filename(full path) <r n> size. 其中
转载
2023-11-08 18:34:33
116阅读
# Hadoop du命令
## 简介
在Hadoop中，du命令用于估算指定目录或文件的大小。du命令主要用于分析Hadoop文件系统中存储空间的使用情况，帮助用户了解存储资源的分布情况。
## 使用示例
以下是使用Hadoop du命令的示例：
```shell
hadoop fs -du /input
```
上述命令用于计算Hadoop文件系统中`/input`目录的大小。执行
原创
2023-08-31 08:36:13
221阅读
一、介绍：HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS设计原理 2.1 HDFS架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataN
转载
2023-08-08 09:19:22
247阅读
一、何为HDFSHDFS全称是Hadoop Distributed File System，为Hadoop两大核心之一（另一个是MapReduce）。 在单个计算机中，由于硬件性能局限，难以存储大量数据，因此可以利用集群的思想来处理海量数据。集群结构上，一个机架上配多台计算机，多台计算机通过光纤交换机互连，不同机架间通过更高速的网络互联，从而形成集群网络。 集群中存在主从节点，主节点通常只有一个承
转载
2023-07-13 17:56:25
581阅读
Hadoop是一个由Apache基金会所开发的
分布式系统基础架构.用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
&nbs
转载
2023-07-20 17:22:34
40阅读
由于小编在本学期有一门课程需要学习hadoop,需要在ubuntu的linux系统下搭建Hadoop环境，在这个过程中遇到一些问题，写下这篇博客来记录这个过程，并把分享给大家。Hadoop的安装方式单机模式:Hadoop默认模式为非分布式模式(本地模式)，无需 进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试伪分布式模式:Hadoop可以在单节点上以伪分布式的方式运行， Hadoo
转载
2024-02-23 11:26:57
17阅读
-s 就是summary， 显示该目录占用空间的总和
区别在于/bin下面有子目录的时候, 因为/bin没有子目录所以结果相同， 比如
du /etc会看到一大堆输出
du -s /etc 就只有一行输出
原创
2014-12-24 14:21:36
1130阅读
# Hadoop fs du命令详解
在Hadoop中，`hadoop fs du`命令用于获取Hadoop分布式文件系统（HDFS）中的目录或文件的大小。本文将介绍`hadoop fs du`命令的用法、参数以及示例代码，并解释其背后的原理。
## `hadoop fs du`命令概述
`hadoop fs du`命令用于获取目录或文件的大小。它计算给定路径下的所有文件的累计大小，并以字节
原创
2023-10-06 16:18:09
217阅读
目录：一、介绍二、HDFS 设计原理三、原理图形介绍四、HDFS 常用 shell 命令五、HDFS相关JavaAPI 一、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS 设计原理三、原理图形介绍 读数据原理图： Hadoop的三大组件：HDFS（分布式存储系统
转载
2023-09-20 20:15:30
283阅读
当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入，相应的问题也就出现了，例如其中最重要的一个问题就是如何保证在某个节点失败的情况下数据不会丢失。Hadoop中有一个核心子项目HDFS(Hadoop Distributed FileSystem)就是用来管理集群的存储问
转载
2023-10-10 00:04:47
163阅读
# 深入理解“Hadoop du h”命令：解析与应用
Hadoop 是一款开源的分布式计算框架，主要用于处理海量数据。作为 Hadoop 生态系统的一部分，Hadoop 提供了一些有用的命令行工具，帮助用户管理和分析数据。其中，“du h”命令尤其重要，因为它提供了有关 Hadoop 分布式文件系统（HDFS）中文件和目录大小的信息。本篇文章将深入探讨“Hadoop du h”命令的功能及用法
原创
2024-09-11 03:45:27
78阅读
## Hadoop du 命令解析
在使用Hadoop时，经常需要查看HDFS文件系统中各个目录的存储情况，这时就需要通过`du`命令来实现。`du`命令用来估算文件的磁盘空间使用情况，它会递归地统计指定目录及其子目录中所有文件的大小。
### du 命令的语法
```bash
hadoop fs -du [-s] [-h]
```
- `-s` 参数表示只显示指定目录的总大小，不展示子
原创
2024-06-30 04:58:03
193阅读
# 如何使用“hadoop hdfs du”命令来查看HDFS文件系统的使用情况
## 简介
在学习和使用Hadoop分布式文件系统（HDFS）时，了解如何查看文件系统的使用情况是很重要的。其中一个常用的命令是“hadoop hdfs du”，它可以帮助我们查看HDFS文件系统中每个目录的大小。本文将向您展示如何使用这个命令，并提供详细的步骤和示例代码。
## 流程概述
下面是使用“hadoo
原创
2024-01-28 10:04:24
138阅读
Hadoop-基本概念 1. Hadoop 简介Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 Ma
转载
2023-07-13 11:38:18
46阅读
haoop的起源Hadoop是Apache软件基金会的顶级开源项目，是由原雅虎公司Doug Cutting根据Google发布的学术论文而创建的开源项目。Doug Cutting被称为Hadoop之父，他打造了目前在云计算和大数据领域里如日中天的Hadoop。 Hadoop的发音是[hædu:p]，Hadoop 这个名字不是一个缩写，而是一个虚构的名字。Doug Cutting解释Hadoop的
转载
2023-10-02 20:57:52
70阅读
一、Hadoop 简介Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 MapReduce。HDFS(Hadoop Distributed File System)是可扩展
转载
2023-09-14 13:44:40
39阅读
一、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS 设计原理2.1 HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，关闭、重命
转载
2023-07-24 09:18:01
90阅读
Hadoop分布式文件系统——HDFS介绍1、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。2、HDFS 设计原理2.1 HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关文件系
转载
2023-07-24 10:20:08
125阅读
