数据中心的HBase（cdh3u3）集群已经稳定运行了差不多半年多了。由于前期规划的不合理，最近给所有的数据节点分批重装了一下系统，最后发现经常有几个节点出现磁盘空间不足的异常。查看文件系统，发现原来大约占用6T空间的HDFS已经占用了差不多15+T的数据 1、先用fsck进行文件系统检查，发现大约占用2T的空间（*3约等于6T，数据重量差不多就是这么多），并没有数据块有过多的备份。 2、查看对
转载
2024-05-15 12:44:05
78阅读
**前言** HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题 重点概念 文件切块，副本存放，元数据HDFS概念首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；HDFS重要特性（1）HDFS中的文件在
转载
2024-03-19 10:43:06
79阅读
目录介绍配置存储副本的内存限制在DataNode上配置使用RAM disk选择tmpfs（与ramfs相比）挂载RAM disk使用 RAM_DISK 存储类型标记 tmpfs 卷确保启用了存储策略应用程序的使用为目录调用 hdfs storagepolicies 命令为目录调用setStoragePolicy 方法为新文件传递创建标记LAZY_PERSIST参考 介绍 HDFS支持将数据写入
转载
2024-04-18 14:01:33
147阅读
Block的副本放置策略第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太
原创
2022-07-01 17:59:46
323阅读
1.1 HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2 HDFS定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它
转载
2024-04-08 15:51:01
52阅读
Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDFS。为什么HDFS的地位如此稳固呢？在整个大数据体系里面，最宝贵、最难以代替的资产就
转载
2024-03-25 21:21:34
17阅读
HADOOP学习笔记——HDFS什么是hdfshdfs的优点hdfs的缺点hdfs的组成框架hdfs的特性hdfs的读流程hdfs的写流程网络拓扑-节点距离机架感知（副本节点的选择）namenode和secondarynamenode的工作机制DataNode的工作机制hdfs的容错机制 什么是hdfs首先我们要知道hdfs是分布式文件系统，它是分布式的由多个服务器共同联合起来实现的，适合存储海
转载
2023-12-02 23:38:06
412阅读
1.HDFS的存储机制按块（block）存储hdfs在对文件数据进行存储时，默认是按照128M(包含)大小进行文件数据拆分，将不同拆分的块数据存储在不同datanode服务器上拆分后的块数据会被分别存储在不同的服务器上副本机制为了保证hdfs的数据的安全性，避免数据的丢失，hdfs对每个块数据进行备份，默认情况下块数据会存储3份，叫做3副本副本块是存在不同的服务器上默认存储策略由BlockPlac
转载
2024-08-12 21:15:04
388阅读
概述Hadoop技术体系中，hdfs是重要的技术之一，而真实的数据都存储在datanode节点之上，DataNode 将数据块存储到本地文件系统目录中，而每个datanode节点可以配置多个存储目录（可以是不同类型的数据硬盘），hdfs-site.xml （dfs.datanode.data.dir 参数）。一般的hadoop集群datanode节点会配置多块数据盘，当我们往
转载
2024-04-18 19:04:15
54阅读
1.HDFS 定义 HDFS它是一个分布式文件系统 使用场景是: 适合一次写入，多次读出的场景，且不支持文件的修改。 2.HDFS 优缺点 优点 1.高容错性（1.数据自动保存多个副本，某个副本丢失，可以自动恢复） 2.适合处理大数据 3.可以构建在廉价机器上。 缺点 1.不适合低延时数据访问。 2.无法高效的对大量小文件进行存储(存储小文件的话，会占用大量的内存来存储文件目录和块信息) 3.不支
转载
2024-05-27 09:54:58
37阅读
归档存储是一种将不断增长的存储容量与计算容量分离开来的解决方案。密度更高、存储成本更低、计算能力更低的节点正在成为可用的、可以在集群中用作冷存储。根据策略，可以将热数据移到冷数据。增加节点到冷存储中可以增加不依赖于集群计算容量的存储容量。异构存储和归档存储提供的框架对HDFS体系结构进行了概括，使其包含了SSD、内存等其他类型的存储介质。用户可以选择将数据存储在SSD或内存中以获得更好的性能。存储
转载
2024-03-04 14:09:38
63阅读
异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。Hadoop的存储类型和存储策略有;1、查看当前有哪些存储策略可以用 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies-listPolicies 2、为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePol
转载
2024-03-25 16:28:59
83阅读
操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对系统的
转载
2024-04-22 10:24:56
40阅读
HDFS架构主从(Master/Slaves)架构由一个NameNode和一些DataNode组成NameNode负责存储和管理文件元数据，并维护了一个层次型的文件目录树DataNode负责存储文件数据(block块)，并提供block的读写DataNode与NameNode维持心跳，并汇报自己持有的block信息Client和NameNode交互文件元数据和DataNode交互文件b
转载
2024-06-11 10:39:21
104阅读
1：什么是HDFS? HDFS适合做：存储大文件。上G、T甚至P。一次写入，多次读取。并且每次作业都要读取大部分的数据。搭建在普通商业机群上就可以了。虽然会经常宕机，但HDFS有良好的容错机制。HDFS不适合做：实时数据获取。如果有这个需求可以用HBase。很多小文件。因为namenode要存储HDFS的metadata（比如目录的树状结构，每个文件的文件名、ACL、长度、owner、文件内容
转载
2024-05-22 19:28:13
78阅读
Fayson的github： https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f1 概述CDH支持Hadoop分布式文件系统HDFS中的各种存储类型。早期的CDH只支持一种存储类型。现在，您可以为DataNode数据目录指定不同的存储类型，这样可以根据数据使用频率优化数据使用并降低成本。例如需要频繁
转载
2024-08-13 21:30:58
28阅读
hdfs的元数据辅助关联在Hadoop的集群当中，NameNode的所有元数据信息都保存在了FsImage（镜像文件）与Eidts（日志文件）文件当中，这两个文件就记录了所有的数据的元数据信息，元数据信息的保存目录配置在hdfs-site.xml中。edits: edits存放了客户端最近一段时间的操作日志 客户端对HDFS进行写文件时会首先被记录在edits文件当中 edits修改时，元数据也会
转载
2024-09-21 08:16:09
49阅读
.hadoop的ha原理 ****** hadoop的高可用的搭建方式 高可用： secondary是namenode的冷备份节点 namenode------2个namenode 只有一个namenode active 才可以对外提供服务 另外一个standby的 不对外提供服务 standby的namenode 是 active的namenode的热备份节点，active宕机的时候可以
一、HDFS的写数据流程客户端通过Distributed FileSystem模块namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在namenode返回是否可以上传客户端请求第一个block上传到哪几个datanode服务器上namenode放回3个datanode节点，分别为dn1、dn2、dn3。客户端通过FSDataOutputStream模块请求
转载
2024-09-22 23:20:05
56阅读
[技术笔记][Hadoop][HDFS]异构存储-存储类型与策略从Hadoop 2.6开始支持异构存储，主要涉及两个概念：存储类型和存储策略。存储类型存储类型表示数据节点支持的多种物理存储介质的类型，有如下几类： * RAM_DISK(transient) * SSD * DISK(default) * ARCHIVE列表中的前三个都比较好理解，分别对应内存、SSD和机械磁盘，其中内存一般
转载
2024-03-25 16:11:26
89阅读
