一、查看HDFS下的参数信息[root@master ~]# hdfs
Usage: hdfs [--config confdir] COMMAND
where COMMAND is one of:
dfs run a filesystem command on the file systems supported in Hadoop.
na
转载
2024-06-06 13:14:02
223阅读
你好，我是悟空。最近遇到一个服务器的问题：磁盘满了，占用率 100%~这个问题太常见了，于是先来排查一波是哪些文件占用了大量磁盘。一、排查磁盘占用率100%1.1 查看磁盘使用的大致情况第一个命令就是 df -h，来查看磁盘的占用情况。df 是 disk free 的缩写，用于显示目前在 Linux 系统上的文件系统磁盘的使用情况统计。如下图所示，可以看到磁盘占用率 100%。第一列 Filesy
转载
2024-05-05 20:16:49
852阅读
由于需要对系统空间使用率进行网页页面的可视化输出，需要将“df -h”获取到的系统空间使用率的信息按照可视化界面的要求的格式进行修改，才可以正常解析数据，正常展示在界面上。可视化界面要求shell输出内容格式为：文件系统|大小|已使用|可用|使用率|挂载盘|日期（其中使用率字段要求数据类型为int） 首先使用linux系统命令行输入df -h 命令，执行结果： 根据df -h的
转载
2024-04-19 14:12:32
107阅读
目录1、HDFS 前言 ................................................................................................................................... 12、HDFS 相关概念和特性 ........................................
转载
2024-06-19 10:13:46
152阅读
HDFS存储模型以字节形式存储文件线性切割成块（Block）:偏移量 offset （byte）Block分散存储在集群节点中单一文件Block大小一致，文件与文件可以不一致Block可以设置副本数，副本无序分散在不同节点中副本数不要超过节点数量文件上传可以设置Block大小和副本数（资源不够开辟的进程）已上传的文件Block副本数可以调整，大小不变（2.x 128MB 3 blocks）只支持一
转载
2024-06-04 20:27:05
36阅读
前言 上一篇文章主要阐述了HDFS Cache缓存方面的知识,本文继续带领大家了解HDFS内存存储相关的内容.在HDFS中,CacheAdmin设置的目标文件缓存是会存放于DataNode的内存中,但是另外一种情况也可以将数据存放在DataNode的内存里.就是之前HDFS异构存储中提到的内存存储策略,LAZY_PERSIST.换句话说,本文也是对HDFS内存存储策略的一个更细致的分析.考虑到L
前言Linux的字符命令界面中我们可以通过指令查看当前主机分区的使用率，并且可以当达到预设警值时通过字符终端、邮件等进行警告。主机环境：CentOS 6.8 、 VMware® Workstation 12 Pro正文① df 命令使用 df 命令来检查当前linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。df -h 列出当前主机磁
转载
2024-03-19 10:19:56
278阅读
在NameNode中，命名空间（namespace，指文件系统中的目录树、文件元数据等信息）是被全部缓存在内存中的，一旦NameNode重启或者宕机，内存中的所有数据将全部丢失，所以必须要有一种机制能够将整个命名空间持久化保存，并且能在NameNode重启时重建命名空间。这里就是通过fsimage（FSImage类）和edits（FSEditLog类）共同实现的。fsimage：命名空间镜像，存储
转载
2024-03-26 15:32:44
95阅读
# 如何实现Java查看HDFS剩余空间
## 一、流程概述
以下是实现Java查看HDFS剩余空间的流程：
| 步骤 | 描述 |
| ------ | ----- |
| 1 | 创建HDFS配置对象 |
| 2 | 获取HDFS文件系统对象 |
| 3 | 获取HDFS剩余空间信息 |
| 4 | 输出HDFS剩余空间信息 |
## 二、具体步骤及代码解释
### 步骤1：创建HD
原创
2024-07-10 03:45:11
29阅读
2.2上传本地文件到hdfs上使用put命令进行本地文件上传，上传完成后，本地文件依然保留hadoop fs -put 本地文件路径 上传的hdfs文件路径
-- 上传本地路径/opt/file/put.txt到hdfs上的根路径
mkdir /opt/file/
vi /opt/file/put.txt
hadoop fs -put /opt/file/put.txt /使用moveFr
转载
2024-07-05 09:58:54
196阅读
HDFS是一个分布式文件系统，其数据存储和处理方式与传统的文件系统有所不同。其中一个关键的特性就是它将文件分成一个或多个块，然后将这些块分散存储在不同的物理节点上。这种存储方式可以提高数据的可靠性和可扩展性。而块的大小设置对于HDFS的性能和数据存储有着非常重要的影响。HDFS块的大小HDFS块的大小是指在HDFS中存储一个文件时，将文件分成多少个块，并且每个块的大小是多少。在HDFS中，块的大小
转载
2024-07-10 08:39:21
145阅读
自己总结的,结合教材,很简单,就当作笔记了,小白~别笑话我啦HDFS基础知识文件系统文件系统是一种存储和组织数据的方法，实现了数据的存储、分级组织、访问和获取等操作，使得用户对文件访问和查找变得容易；文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念，用户不必关心数据底层存在硬盘哪里，只需要记住这个文件的所属目录和文件名即可；文件系统通常使用硬盘和光盘这样的存储设备，并维护文件
HDFS中，当一个客户端往HDFS某个文件写入数据的时候，为了保持数据的一致性，其他客户端是不允许同时写入的。为了实现这一机制，HDFS引入了租约的概念。简而言之，租约是HDFS 给与客户端可以写入某个文件的临时许可证，没有此证件或者租约到期都不能继续向该文件写入数据。一 租约的属性或者要素：1、租约持有者(holder):一般是指客户端，每一个客户端持有一个租约。2、租约对应的文件列表：一个客户
转载
2023-10-21 20:50:34
221阅读
Ubuntu 查看磁盘空间大小命令df -h Df命令是linux系统以磁盘分区为单位查看文件系统，可以加上参数查看磁盘剩余空间信息，命令格式： df -hl显示格式为：文件系统 容量 已用 可用 已用% 挂载点 Filesystem Size Used Av
转载
2023-12-18 16:54:05
718阅读
查看Linux系统中磁盘空间使用情况及大文件明细查询方法一、查看Linux磁盘空间使用情况：df命令df命令用于显示磁盘分区上的可使用的磁盘空间。默认显示单位为KB。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。语法：df(选项)(参数)选项：-a或--all：包含全部的文件系统；
--block-size=<区块大小>：以指定的区块大小来显示区块数目；
-h或-
转载
2024-02-29 14:44:18
287阅读
介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。HDFS 设计原理HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关 文件系统命名空间 的操
转载
2024-03-18 20:35:49
127阅读
简介Hdfs以流式数据访问模式来存储超大文件，并运行于商用硬件集群上（指价格低廉的硬件，并不是指昂贵的硬件）。并且提供了很强的容错机制，为用户提供性能很好的存取服务（如云盘）。HDFS的特点超大文件：大数据处理： GB、TB、甚至PB级数据 、百万规模以上的文件数量。 流式数据访问：一次写入，多次读取是最有效的访问模式。保持数
转载
2024-10-12 10:51:20
71阅读
文章中记录了问题发现和解决的过程，单纯为了解决问题的伙伴请到最后一段。目录发现问题什么是Non DFS Used解决发现问题入职到公司后，维护集群时有一项日常不是很频繁的任务就是清理集群数据。我们公司的Hadoop（CDH 5.x）集群大概不到50台的样子，总DN容量在450T左右。这个数据量对于大的互联网公司可能不算什么，但我之前一直也没遇到过如此多的数据，百T级别的容量都要清理空间，感觉公司的
转载
2024-04-24 13:11:03
267阅读
目录： HDFS中dfs.datanode.du.reserved系统预留容量详解(一) HDFS中dfs.datanode.du.reserved系统预留容量详解(二) 使用hadoop版本为2.8.4，查看小结可以直接跳转到结尾
转载
2024-03-31 21:44:50
290阅读
配置项优化原理推荐值dfs.namenode.handler.countNameNode中用于处理RPC调用的线程数，默认为10。对于较大的集群和配置较好的服务器，可适当增加这个数值来提升NameNode RPC服务的并发度。64dfs.datanode.handler.countDataNode中用于处理RPC调用的线程数，默认为3。可适当增加这个数值来提升DataNode RPC服务的并发度。
转载
2024-04-23 16:06:12
35阅读
