目录介绍配置存储副本的内存限制在DataNode上配置使用RAM disk选择tmpfs（与ramfs相比）挂载RAM disk使用 RAM_DISK 存储类型标记 tmpfs 卷确保启用了存储策略应用程序的使用为目录调用 hdfs storagepolicies 命令为目录调用setStoragePolicy 方法为新文件传递创建标记LAZY_PERSIST参考 介绍 HDFS支持将数据写入
转载
2024-04-18 14:01:33
144阅读
概述Hadoop技术体系中，hdfs是重要的技术之一，而真实的数据都存储在datanode节点之上，DataNode 将数据块存储到本地文件系统目录中，而每个datanode节点可以配置多个存储目录（可以是不同类型的数据硬盘），hdfs-site.xml （dfs.datanode.data.dir 参数）。一般的hadoop集群datanode节点会配置多块数据盘，当我们往
转载
2024-04-18 19:04:15
54阅读
HDFS架构主从(Master/Slaves)架构由一个NameNode和一些DataNode组成NameNode负责存储和管理文件元数据，并维护了一个层次型的文件目录树DataNode负责存储文件数据(block块)，并提供block的读写DataNode与NameNode维持心跳，并汇报自己持有的block信息Client和NameNode交互文件元数据和DataNode交互文件b
转载
2024-06-11 10:39:21
104阅读
操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对系统的
转载
2024-04-22 10:24:56
40阅读
异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。Hadoop的存储类型和存储策略有;1、查看当前有哪些存储策略可以用 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies-listPolicies 2、为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePol
转载
2024-03-25 16:28:59
83阅读
归档存储是一种将不断增长的存储容量与计算容量分离开来的解决方案。密度更高、存储成本更低、计算能力更低的节点正在成为可用的、可以在集群中用作冷存储。根据策略，可以将热数据移到冷数据。增加节点到冷存储中可以增加不依赖于集群计算容量的存储容量。异构存储和归档存储提供的框架对HDFS体系结构进行了概括，使其包含了SSD、内存等其他类型的存储介质。用户可以选择将数据存储在SSD或内存中以获得更好的性能。存储
转载
2024-03-04 14:09:38
63阅读
1：什么是HDFS? HDFS适合做：存储大文件。上G、T甚至P。一次写入，多次读取。并且每次作业都要读取大部分的数据。搭建在普通商业机群上就可以了。虽然会经常宕机，但HDFS有良好的容错机制。HDFS不适合做：实时数据获取。如果有这个需求可以用HBase。很多小文件。因为namenode要存储HDFS的metadata（比如目录的树状结构，每个文件的文件名、ACL、长度、owner、文件内容
转载
2024-05-22 19:28:13
78阅读
.hadoop的ha原理 ****** hadoop的高可用的搭建方式 高可用： secondary是namenode的冷备份节点 namenode------2个namenode 只有一个namenode active 才可以对外提供服务 另外一个standby的 不对外提供服务 standby的namenode 是 active的namenode的热备份节点，active宕机的时候可以
hdfs的元数据辅助关联在Hadoop的集群当中，NameNode的所有元数据信息都保存在了FsImage（镜像文件）与Eidts（日志文件）文件当中，这两个文件就记录了所有的数据的元数据信息，元数据信息的保存目录配置在hdfs-site.xml中。edits: edits存放了客户端最近一段时间的操作日志 客户端对HDFS进行写文件时会首先被记录在edits文件当中 edits修改时，元数据也会
转载
2024-09-21 08:16:09
49阅读
[技术笔记][Hadoop][HDFS]异构存储-存储类型与策略从Hadoop 2.6开始支持异构存储，主要涉及两个概念：存储类型和存储策略。存储类型存储类型表示数据节点支持的多种物理存储介质的类型，有如下几类： * RAM_DISK(transient) * SSD * DISK(default) * ARCHIVE列表中的前三个都比较好理解，分别对应内存、SSD和机械磁盘，其中内存一般
转载
2024-03-25 16:11:26
89阅读
hdfs如何让某些数据查询快，某些数据查询慢？hdfs冷热数据分层存储本质： 不同路径制定不同的存储策略。hdfs存储策略hdfs的存储策略 依赖于底层的存储介质。hdfs支持的存储介质：ARCHIVE：高存储密度但耗电较少的存储介质，例如磁带，通常用来存储冷数据DISK：磁盘介质，这是HDFS最早支持的存储介质SSD：固态硬盘，是一种新型存储介质，目前被不少互联网公司使用RAM_DISK ：数据
转载
2024-05-07 11:40:30
124阅读
原标题：技术分享： 数据冷热分离随着业务的发展，数据库增长的很快。老板不明白其中道理，但作为数据库的维护者，却看的胆颤心惊。终于，数据库慢慢的接近数瓶颈点，管理员也越来越焦虑。使用分区表吧，不行。就如上面所说，有些挖祖坟的请求，会加载一些很久之前的数据，分区表并不能解决问题。明显要对数据进行一下切割，进行冷热分离了。大体的结构如上图。我们有一个数据路由，负责根据时间维度区分数据，定位到相应的数据库
手动故障切换到备用NameNode使用Cloudera Manager手动故障转移到备用NameNode如果您正在运行启用了HA的HDFS服务，则可以手动使活动的NameNode故障切换到备用NameNode。这对计划中的停机时间很有用 - 用于主要主机的硬件更改，配置更改或软件升级。 1.转到HDFS服务。 2.单击实例选项卡。 3.点击联合和高可用性。 4.找到要在NameNode上进
转载
2024-03-20 20:39:15
51阅读
读数据过程： 1.客户端调用FileSystem 实例的open 方法，获得这个文件对应的输入流InputStream2.访问NameNode，获取文件对应数据块的保存位置，包括副本位置。3.获得输入流之后，客户端便调用read()方法读取数据。选择最近的datanode进行连接并读取数据。4.如果客户端与一个datanode位
转载
2024-03-18 09:24:48
110阅读
数据中心的HBase（cdh3u3）集群已经稳定运行了差不多半年多了。由于前期规划的不合理，最近给所有的数据节点分批重装了一下系统，最后发现经常有几个节点出现磁盘空间不足的异常。查看文件系统，发现原来大约占用6T空间的HDFS已经占用了差不多15+T的数据 1、先用fsck进行文件系统检查，发现大约占用2T的空间（*3约等于6T，数据重量差不多就是这么多），并没有数据块有过多的备份。 2、查看对
转载
2024-05-15 12:44:05
78阅读
一、 纠删码1、纠删码原理注：演示纠删码和异构存储需要一共 5 台虚拟机。尽量拿另外一套集群。提前准备 5 台服务器的集群。HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。1）纠删码操作相关的命令[atguigu@hadoop102 hadoop-3.1.3]$
转载
2024-03-31 19:23:55
46阅读
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格
原创
2023-05-15 15:19:51
696阅读
点赞
目录Hadoop系列文章目录一、HDFS内存存储策略支持1、LAZY PERSIST介绍2、LAZY PERSIST执行流程3、LAZY PERSIST设置使用二、“冷热温”存储的配置1、HDFS存储类型2、块存储类型选择策略3、块存储类型选择策略--命令4、冷热温数据存储策略（示例） 本文介绍HDFS的存储策略以及“冷热温”存储的配置。 本文的前提依赖是hadoop集群环境可以正常的运行。一、
原创
2023-05-15 17:13:58
1229阅读
点赞
一、存储架构解析：为什么HDFS需要分层策略？ HDFS（Hadoop Distributed File System）作为大数据生态的核心存储组件，其分布式特性决定了数据管理的复杂性。在默认配置下，
随着互联网的发展，数据日益增多，增长超过了单机能够处理的上线，数据如何存储和处理成为了科技公司的难题，随着google的三篇论文的发布，大家终于找到了一个方案-分布式文件系统+MapReduce。Hadoop是参考google论文实现的，集成了分布式文件系统与分布式批处理平台。hadoop的设计目标是用来解决大文件海量存储和批处理的，为了避免单个节点故障导致数据丢失，设计副本冗余机制。 本文将主要
