近期由于Hadoop集群机器硬盘资源紧张，需要把 Hadoop 集群上的历史数据进行压缩（历史数据都是未压缩的数据），于是我开始从网上查找有没有压缩相关的教程，结果查到的都是关于各种压缩机制的对比，很少有关于怎么压缩的教程（可能我没找到。。），再此特记录下本次压缩的过程，方便以后查阅，利己利人。本文涉及的所有 jar包、脚本、native lib 见文末的相关下载 ~我的压缩版本：J
转载
2024-07-26 13:07:00
42阅读
Created with Raphaël 2.1.2
FsShell::run
FsShell::init 初始化FsShell，在工厂
类中注册各种命令对应处理类 op1
调用命令处理类的run方法
实际是调用的Command::run方法 op2
processOpt
转载
2023-07-11 21:58:11
118阅读
既然HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。我们执行以下操作的时候，一定要确定hadoop是正常运行的，使用jps命令确保看到各个hadoop进程。我们执行命令hadoop fs，如图4-1所示。图
转载
2023-07-19 13:40:04
2237阅读
1，Hadoop fs –fs [local | ]：声明Hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为h
转载
2023-08-28 11:11:54
100阅读
# Hadoop FS查看文件教程
## 介绍
在Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）中，我们可以使用hadoop fs命令来进行文件和目录的操作。其中，hadoop fs -ls命令可以用于查看文件和目录列表。在本文中，我将向你展示如何使用hadoop fs命令来查看文件。
## 流程图
```mermaid
flowcha
原创
2023-11-06 11:47:35
52阅读
## Hadoop FS修改文件的步骤与代码示例
作为一名经验丰富的开发者，我很愿意教你如何通过Hadoop FS修改文件。在开始之前，我们需要确保你已经正确安装了Hadoop并了解了基本的Hadoop操作。下面是整个过程的步骤以及每个步骤需要做的事情和相应的代码示例。
### 步骤一：连接到Hadoop集群
在开始之前，你需要确保已经连接到了Hadoop集群。可以使用以下命令连接到集群：
原创
2023-12-22 05:27:44
73阅读
# 深入了解Hadoop FS文件读取
Hadoop是一个分布式计算平台，主要用于大规模数据处理。其核心组件Hadoop Distributed File System（HDFS）是一个高吞吐量的文件系统，为大数据应用提供高效的数据存储和调取能力。本文将聚焦于如何通过Hadoop FS命令读取文件，并提供代码示例帮助理解这一过程。
## 1. 什么是Hadoop FS？
Hadoop FS是
# Hadoop FS 切割文件：高效处理大数据文件
Hadoop是一个开源框架，用于在普通硬件集群上存储和处理大数据。在Hadoop分布式文件系统（HDFS）中，文件可以被切分为多个块，分布在不同的节点上。当需要处理大型文件时，使用Hadoop的文件切割功能可以提高效率和性能。
## Hadoop文件切割简介
Hadoop的文件切割功能允许用户将大型文件分割成较小的块，这些块可以并行处理。
原创
2024-07-15 16:34:06
73阅读
HDFS调用指令：hdfs dfs <args>hdfs dfs=hadoop dfs=hadoop fs（版本先后造成的差异，但不影响正常使用）appendToFile //追加文件内容到hdfs文件
//用法
Usage: hadoop fs -appendToFile <localsrc> ... <ds
转载
2023-08-18 17:37:07
85阅读
操作hdfs的基本命令在hdfs中，路径需要用绝对路径1. 查看根目录hadoop fs -ls /2. 递归查看所有文件和文件夹 -lsr等同于-ls -Rhadoop fs -lsr /3. 创建文件夹hadoop fs -mkidr /hello4. 创建多级文件夹hadoop fs -mkdir -p /good/good5. 创建文件hadoop fs -touchz /hello/te
转载
2023-06-26 14:52:49
300阅读
导读有的时候，你可能会遇到这种情况，你需要删除一个目录下的所有文件，或者只是简单的通过删除除了一些指定类型（以指定扩展名结尾）之外的文件来清理一个目录。 在这篇文章，我们将会向你展现如何通过rm find 和globignore 命令删除一个目录下除了指定文件扩展名或者类型的之外的文件。 在我们进一步深入之前，让我们开始简要的了解一下 Linux 中的一个重要的概念 —— 文件名模式匹配，它
1.appendToFile将【单个文件】或【多个文件】从本地文件系统追加到hdfs目标文件。用法：hadoop fs -appendToFile <localsrc> ... <dst>例子：hadoop fs -appendToFile log.txt word.txt hdfs://Hadoop1:9000/hd-test.txt
2.ca
转载
2023-07-24 10:20:44
147阅读
Hadoop分布式文件系统——HDFS介绍1、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。2、HDFS 设计原理2.1 HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关文件系
转载
2023-07-24 10:20:08
125阅读
问题导读1.改变hdfs文件的权限，需要修改哪个配置文件？2.获取一个文件的或则目录的权限，哪个命令可以实现？3.哪个命令可以实现设置访问控制列表（ACL）的文件和目录？接上篇：Hadoop【2.7.1】初级入门之命令：文件系统shell1http://www.aboutyun.com/thread-15824-1-1.htmlgetfacl用法: hadoop fs -getfacl [-R]
转载
2024-06-12 00:32:38
115阅读
一、上传文件1、客户端上传文件客户端向namenode发送数据上传的请求（包含数据的长度信息） hadoop fd -put / / （以上传200M文件为例）2.namenode检查工作namenode收到客户端请求之后会进行一系列的检查工作查重处理，如果重复则报错验证上传文件的目标目录是否存在，不存在报错检查权限...3.返回检查信息
转载
2023-08-16 17:32:31
189阅读
目录一、HDFS 命令前缀二、ls 命令三、put 命令四、moveFromLocal 命令五、get 命令六、rm 命令七、mkdir 命令八、cp 命令九、mv 命令十、cat 命令十一、appendToFile 命令十二、总结 HDFS 是 Hadoop Distributed File System 的简写，即 Hadoop 分布式文件
转载
2023-09-20 10:30:29
118阅读
```mermaid
flowchart TD
start(开始)
step1[查看hadoop fs帮助文档]
step2[使用hadoop fs命令统计文件数]
end(结束)
start --> step1
step1 --> step2
step2 --> end
```
在Hadoop中，要统计文件数可以通过以下步骤完成：
1
原创
2024-05-22 06:30:36
53阅读
# 如何实现“hadoop fs put 覆盖文件”
## 概述
作为一名经验丰富的开发者，我们经常需要在Hadoop文件系统上进行文件操作。其中一个常见的需求是将本地文件上传到Hadoop文件系统中，并且可能需要覆盖已存在的文件。在这篇文章中，我将向你展示如何使用`hadoop fs put`命令来实现覆盖文件的功能。
## 流程
我们可以将整个流程总结为以下步骤：
```mermaid
原创
2024-06-03 06:04:31
117阅读
# Hadoop分布式文件系统（HDFS）文件内容查看
## 概述
Apache Hadoop是一个开源的分布式计算框架，用于处理和存储大规模数据集。Hadoop提供了Hadoop分布式文件系统（HDFS），它是一种分布式文件系统，可以在大规模的集群上存储和处理文件。
在HDFS中，可以使用"hadoop fs"命令行工具来查看文件的内容。本文将介绍使用"hadoop fs"命令来查看HDF
原创
2023-10-11 07:44:00
119阅读
# 如何在Hadoop中删除文件
## 1. 介绍
在Hadoop中，要删除文件可以使用命令`hadoop fs -rm`。在本文中，我将向你展示如何使用这个命令来删除文件。
## 2. 流程图
```mermaid
flowchart TD
A[登录Hadoop集群] --> B[执行删除文件命令]
```
## 3. 状态图
```mermaid
stateDiagram
原创
2024-05-31 04:22:42
204阅读
