自己总结的,结合教材,很简单,就当作笔记了,小白~别笑话我啦HDFS基础知识文件系统文件系统是一种存储和组织数据的方法，实现了数据的存储、分级组织、访问和获取等操作，使得用户对文件访问和查找变得容易；文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念，用户不必关心数据底层存在硬盘哪里，只需要记住这个文件的所属目录和文件名即可；文件系统通常使用硬盘和光盘这样的存储设备，并维护文件
目录1、HDFS 前言 ................................................................................................................................... 12、HDFS 相关概念和特性 ........................................
转载
2024-06-19 10:13:46
152阅读
你好，我是悟空。最近遇到一个服务器的问题：磁盘满了，占用率 100%~这个问题太常见了，于是先来排查一波是哪些文件占用了大量磁盘。一、排查磁盘占用率100%1.1 查看磁盘使用的大致情况第一个命令就是 df -h，来查看磁盘的占用情况。df 是 disk free 的缩写，用于显示目前在 Linux 系统上的文件系统磁盘的使用情况统计。如下图所示，可以看到磁盘占用率 100%。第一列 Filesy
转载
2024-05-05 20:16:49
852阅读
① 进入数据库: sqlplus“/as sysdba” 或者sqlplus / as sysdba 注：完整格式： sqlplus“用户名/密码@数据库名as sysdba” 注：请注意，sqlplus非常撇脚，没能回删，没有方向键，等等，最好安装一个rlwrap。 详情链接：② 查看表空间（表空间就是库的意思）&
转载
2024-07-01 17:58:30
125阅读
HDFS是一个分布式文件系统，其数据存储和处理方式与传统的文件系统有所不同。其中一个关键的特性就是它将文件分成一个或多个块，然后将这些块分散存储在不同的物理节点上。这种存储方式可以提高数据的可靠性和可扩展性。而块的大小设置对于HDFS的性能和数据存储有着非常重要的影响。HDFS块的大小HDFS块的大小是指在HDFS中存储一个文件时，将文件分成多少个块，并且每个块的大小是多少。在HDFS中，块的大小
转载
2024-07-10 08:39:21
145阅读
文章中记录了问题发现和解决的过程，单纯为了解决问题的伙伴请到最后一段。目录发现问题什么是Non DFS Used解决发现问题入职到公司后，维护集群时有一项日常不是很频繁的任务就是清理集群数据。我们公司的Hadoop（CDH 5.x）集群大概不到50台的样子，总DN容量在450T左右。这个数据量对于大的互联网公司可能不算什么，但我之前一直也没遇到过如此多的数据，百T级别的容量都要清理空间，感觉公司的
转载
2024-04-24 13:11:03
267阅读
# Java获取HDFS占用空间
在大数据领域中，Hadoop是一个非常著名的分布式存储和计算框架，而HDFS（Hadoop Distributed File System）是Hadoop中用来存储数据的文件系统。在实际应用中，我们经常需要了解HDFS中各个文件或目录占用的空间情况，这对于资源的合理分配和管理非常重要。
本文将介绍如何使用Java代码来获取HDFS中文件或目录所占用的空间，并提
原创
2024-03-06 06:18:07
140阅读
随着全球经济的不断发展，大数据时代早已悄悄到来，而Hadoop又是大数据环境的基础，想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0，也意味着一直有一群人在对Hadoop不断的做优化，不仅如此，各个Hadoop的商业版本也有好多公司正在使用，这也印证了它的商业价值。本期内容为大家详解HDFS，由于字数限制，本文分为上下两篇分别在头条和二条推送。1.
转载
2024-10-12 11:23:59
57阅读
在NameNode中，命名空间（namespace，指文件系统中的目录树、文件元数据等信息）是被全部缓存在内存中的，一旦NameNode重启或者宕机，内存中的所有数据将全部丢失，所以必须要有一种机制能够将整个命名空间持久化保存，并且能在NameNode重启时重建命名空间。这里就是通过fsimage（FSImage类）和edits（FSEditLog类）共同实现的。fsimage：命名空间镜像，存储
转载
2024-03-26 15:32:44
95阅读
# 查看Docker占用的空间
Docker是一种流行的容器化技术，它允许开发者在轻量级的容器中打包、分发和部署应用。随着使用Docker的时间增加，容器和镜像的数量会逐渐增多。这就可能导致系统存储空间的占用变得越来越大。因此，了解如何查看Docker占用的空间，以及如何进行管理，是非常重要的。本文将介绍如何查看Docker占用的空间，包括使用相关命令的示例，并提供可视化的图表以帮助理解。
#
原创
2024-08-16 06:57:57
51阅读
# HBase数据占用HDFS空间大的原因及解决方案
## 引言
在大数据处理中，HBase作为一种分布式、可扩展的NoSQL数据库，常与Hadoop生态系统中的HDFS（Hadoop分布式文件系统）一起使用。然而，许多用户发现HBase数据的存储空间占用HDFS的空间较大，给存储成本和性能带来一定的负担。本文将深入探讨这一现象的原因，并提供一些解决方案。
## HBase与HDFS的关系
原创
2024-08-08 18:07:00
138阅读
HDFS存储模型以字节形式存储文件线性切割成块（Block）:偏移量 offset （byte）Block分散存储在集群节点中单一文件Block大小一致，文件与文件可以不一致Block可以设置副本数，副本无序分散在不同节点中副本数不要超过节点数量文件上传可以设置Block大小和副本数（资源不够开辟的进程）已上传的文件Block副本数可以调整，大小不变（2.x 128MB 3 blocks）只支持一
转载
2024-06-04 20:27:05
36阅读
一、查看HDFS下的参数信息[root@master ~]# hdfs
Usage: hdfs [--config confdir] COMMAND
where COMMAND is one of:
dfs run a filesystem command on the file systems supported in Hadoop.
na
转载
2024-06-06 13:14:02
223阅读
在Kubernetes（K8S）中，使用Docker作为容器运行时是非常常见的。当我们在使用Docker运行容器时，我们需要时刻关注容器占用的空间，以便及时释放不必要的资源。在本文中，我们将教你如何使用Docker来查看容器的空间占用情况。
首先，让我们来看看整个过程的步骤：
| 步骤 | 操作 |
|------|------|
| 1 | 打开终端或命令行界面 |
| 2 |
原创
2024-05-29 11:06:53
126阅读
# 查看MySQL占用空间
## 1. 流程概述
下面是查看MySQL占用空间的流程：
| 步骤 | 描述 |
|---|----|
| 1 | 连接到MySQL数据库 |
| 2 | 查询数据库大小 |
| 3 | 查询表大小 |
| 4 | 查询索引大小 |
| 5 | 查询每个索引的大小 |
| 6 | 计算总的占用空间 |
接下来，我将逐步介绍每个步骤的具体内容。
## 2. 连
原创
2023-11-01 09:59:22
67阅读
# MongoDB占用空间查看详解
MongoDB是一种广泛使用的NoSQL数据库，以其高性能和灵活的文档结构而闻名。在日常使用中，数据库的空间占用情况非常重要，尤其是在处理大数据量和高并发时。实时了解MongoDB的占用空间，不仅可以帮助开发者优化存储资源，还能确保数据库的高效运行。
## 1. MongoDB空间占用简介
MongoDB数据库数据的存储几乎是无缝的，因而分析其占用空间至关
原创
2024-10-08 03:31:25
325阅读
# 查看 Docker 占用空间
## 流程图
```mermaid
flowchart TD
A[开始] --> B[连接到 Docker 主机]
B --> C[查看 Docker 占用空间]
C --> D[计算 Docker 占用空间]
D --> E[显示占用空间信息]
E --> F[结束]
```
## 步骤说明
下面是查看 Docke
原创
2023-09-21 12:59:01
64阅读
# Docker查看空间占用
