生产上的 Linux 服务器磁盘空间不足，后面排查得知是某个应用频繁写 log 导致。于是加了一条自动清理过期日志的 crontab 。具体的排查过程记录如下，都是很基础的命令。一、dfdf -h 命令查看当前磁盘空间的使用情况：# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 50G 50G 0G 100% /
devtmp
转载
2024-04-15 06:39:30
107阅读
简介 HDFS（Hadoop Distributed File System ）Hadoop 分布式文件系统。是根据 google 发 表的论文翻版的。论文为 GFS（Google File System）Google 文件系统。HDFS 有很多特点：① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存 3 份。② 运行在廉价的机器上。③ 适合大数据的处理。多大？多小？HDFS 默认会
转载
2024-08-13 12:51:52
47阅读
对于线上生产环境的HDFS，开启回收站功能是必不可少的。该功能类似于linux系统的回收站设计，HDFS会为每个用户创建一个专属的回收站目录（/user/${user.name}/.Trash），用户删除文件时，实际上是被移动到了回收站目录。用于预防当用户误删HDFS上的数据时，能够及时从回收站恢复这些数据（当然回收站是防不住删库跑路的）。一. 参数介绍<name>fs.trash.i
转载
2023-10-05 21:49:14
130阅读
Hadoop-HDFSHadoop历史Hadoop进化史NutchHadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索 引问题。Google2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。GFS : Google File Syste
转载
2024-04-16 10:20:29
28阅读
namevaluedescriptionfs.trash.interval0删除文件的存活时间，单位分钟，如果是0禁用回收站；可以在服务端及客户端配置此参数；如果服务端禁用了，则检查客户端配置；如果服务端启用了，则忽略客户端配置fs.trash.checkpoint.interval0垃圾检查点之间的分钟数，应小于或等于fs.trash.interval； 如果为0，则该值设置为fs.trash.
原创
2022-05-27 09:53:21
439阅读
trash目录：~/.local/share/Trash
转载
2016-08-06 16:00:00
283阅读
2评论
文件的删除和恢复 和Linux系统的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录
原创
2022-12-28 14:57:27
1732阅读
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格
原创
2023-05-15 15:30:45
268阅读
点赞
文章目录Hadoop系列文章目录一、介绍二、HDFS Trash功能开启1、关闭HDFS集群2、修改core-site.xml文件3、同步集群配置文件4、启动HDFS集群三、HDFS Trash功能验证1、删除文件并验证2、不进回收站的删除3、从Trash中恢复文件4、清空Trash 本文主要介绍HDFS Trash垃圾桶回收。 前提依赖：hadoop可以正常使用。 本文分为三部分，即介绍、配置
原创
2023-05-15 17:52:52
644阅读
点赞
Linux系统中的".trash"文件夹是指垃圾桶，用来保存被删除文件和文件夹的临时存储位置。就像Windows系统中的回收站一样，当我们删除文件时，实际上是将其移动到.trash文件夹中，而不是永久删除。这为用户提供了一种机会，以防止意外删除重要文件或数据。
红帽（Red Hat）作为一家知名的企业级Linux发行版提供商，也不例外地提供了.trash功能。在红帽系统中，用户可以轻松访问和管理
原创
2024-03-14 11:26:17
428阅读
Linux Trash: A Comprehensive Guide to Managing Deleted Files
In the Linux operating system, the concept of a trash bin or recycle bin is not as prevalent as it is in other popular operating systems l
原创
2024-02-01 12:05:16
50阅读
在Linux操作系统中，用户可以通过命令行界面（Command Line Interface，CLI）来管理文件系统和执行各种任务。其中，红帽（Red Hat）是一家知名的Linux发行版提供商，其操作系统具有广泛的用户群体和应用领域。
在Linux系统中，存在一个名为"trash"的特殊文件夹，用于存放已删除的文件。当用户执行删除文件的操作时，文件并不会立即从系统中移除，而是被移动到这个"tr
原创
2024-04-29 11:48:02
189阅读
# Hadoop 关闭 Trash
## 背景介绍
在使用 Hadoop 进行大数据处理时，文件的删除操作会将文件移动到 Trash 目录中，而不是直接删除。这是为了避免误删文件，保证数据的安全性。但是 Trash 目录会占用磁盘空间，当需要释放空间时，我们可以手动关闭 Trash 或者设置自动清理 Trash 目录。
## 关闭 Trash
### 手动关闭 Trash
要手动关闭 T
原创
2024-07-11 04:26:04
44阅读
# Hadoop恢复Trash
## 简介
在Hadoop中，Trash是一个用来存放被删除文件的临时目录。当我们删除文件时，文件并不会立即被永久删除，而是先放入Trash目录中，以便在一段时间内可以恢复。本文将介绍如何在Hadoop中恢复Trash中的文件。
## 恢复Trash的方法
在Hadoop中，有两种主要的方法来恢复Trash中的文件：通过命令行和通过Java API。
###
原创
2024-05-07 06:29:30
80阅读
CentOS trash position/home/$USERNAME/.Trash
转载
2011-12-13 13:47:00
229阅读
2评论
# 实现Hive Trash目录的步骤
## 简介
Hive Trash目录是Hive提供的一个功能，用于存储被删除的表和分区数据，以便在需要时可以恢复。在本文中，我将向你介绍如何实现Hive Trash目录。
## 步骤
下面是实现Hive Trash目录的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 配置Hive Trash目录的路径 |
| 2 | 创建Hi
原创
2023-07-23 04:16:31
237阅读
### Hadoop Trash关闭
在Hadoop中，Trash是一个用于临时存放被删除文件的目录，它可以帮助防止误删文件而可以进行恢复。但是在某些情况下，我们可能希望关闭Trash功能以减少磁盘空间的占用。本文将介绍如何在Hadoop中关闭Trash功能。
#### 1. 关闭Trash功能
要关闭Hadoop中的Trash功能，我们需要编辑HDFS配置文件`hdfs-site.xml`
原创
2024-06-27 04:06:17
52阅读
在linux中类似windows中的回收站的机制是Trash, 位于桌面上, 其实这个Trash在linux中是代表
原创
2022-07-06 17:12:50
606阅读
在Hive中，当我们需要删除分区时，通常会使用`ALTER TABLE table_name DROP PARTITION`命令。但是，有时候我们可能会遇到一种情况，即删除的分区并没有完全被删除，而是被移动到了“Trash”目录下。这时候，我们就需要使用`MSCK REPAIR TABLE`命令来修复表的分区信息。
### Hive中的分区
在Hive中，分区是将数据按照某个特定的列进行分组存
原创
2024-06-14 06:09:20
94阅读
在linux中类似windows中的回收站的机制是Trash, 位于桌面上, 其实这个Trash在linux中是代表了一些文件夹.对于当前用户中的Trash是在目录:~/.local/share/Trash中的, 在files目录下会看到你在Trash中删除的文件对于那些挂载的windows中的分区或者u盘, 在根目录下有一个.Trash目录, 这个就是Trash对应的目录
转载
2011-09-13 23:36:00
385阅读
2评论
