>hdfs 动态扩容：HDFS 中存储的文本副本大小：默认是128M参数：dfs.blocksize 默认128M 每一个副本大小，这是客户端的行为，传一个副本或者获取一个副本，值获取配置大小的副本，也就是存储的大小都是由客户端决定的。def.replication 默认副本数量3个，也是由客户端决定，元数据存储目录:dfs.namenode.name.dirfile://${hadoop.
转载
2024-01-15 09:39:07
123阅读
5.3HDFS 的高级特性5.3.1 HDFS 安全模式 safe mode定义：安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。HDFS 正常运行的时候，安全模式一定是off（关闭状态），是HDFS 的一种自我保护，如果HDFS 处于安全模式下，则表示 HDFS 是只读的状态。作用：检查数据块的副本率当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完
转载
2024-03-26 17:58:06
137阅读
Hadoop--HDFS详解（二）前言：HDFS详解（一）： 已经把HDFS的基础介绍完了，这里主要是把一些HDFS里面比较重点的一些东西记录一下一.block介绍：
转载
2023-09-13 23:04:42
714阅读
一、副本放置策略如图： 解释： 第一个副本: 假如上传节点为DN节点，优先放置本节点； 否则就随机挑选一台磁盘不太慢 CPU不太繁忙的节点；第二个副本: 放置在于第一个副本的不同的机架的节点上第三个副本: 放置于第二个副本相同机架的不同节点上CDH机架有一个默认机架 虚拟的概念； CDH一般不调整这种默认机架二、HDFS读写流程写流程如图： 解释： hadoop fs -put xxx.log /
转载
2023-08-18 20:43:47
208阅读
Hadoop 2.2中正式启用了hdfs nfs功能，使得hdfs的通用性迈进了一大步。在公司让小朋友搭建了一下，然后我自己进行了一点简单的试验，有一点收获，记录在此。理论 使用hdfs nfs功能的话，数据访问路径如上图：用户或程序通过Linux自带的nfs client访问hdfs nfs服务，然后再由nfs网关作为hdfs的客户端访问hdfs。这张图中，中间
转载
2024-04-19 17:49:52
43阅读
1、HDFS的安全模式是指在安全模式下只能读不能写。2、Hadoop-2.6.5集群中的HDFS的默认的数据块的大小是128M。知识点：Hadoop2.x版本以前的默认数据块的大小是64M，到了Hadoop2.x版本以后。 默认的数据块大小就变成了128M，但是是可以更改的。3、mrappmaster/yarnchild不是HDFS的守护进程。知识点：HDFS有五大守护进程，分别为NameNode
转载
2023-08-18 21:25:00
331阅读
1. HDFS上默认块大小和副本数1.1 对块的理解hadoop2.x中，hdfs-site.xml中的dfs.blocksize参数表示hdfs的块大小，默认值为134217728(bytes),即128M。它是hdfs存储处理数据的最小单元，可以根据实际需求改变块大小，但是一般不建议这么做。文件参数默认值描述hdfs-site.xmldfs.blocksize134217728块大小(byte
转载
2023-12-01 15:22:04
102阅读
HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性，观察它的行为，为实现更先进的策略打下测试和研究的基础。大型HDFS集群系统往往运行在跨越多个机架的数据中心，不同机架上的两台机器之间的通信需要经过交换机。在大多数情况下，同一个机架内的两台机器间的
转载
2024-07-31 17:28:05
45阅读
1.将hadoop包解压放到/opt/hadoop下2.配置2.1.进入hadoop目录2.2.编辑hadoop.env.sh文件 配置jdk环境变量#vi etc/hadoop/hadoop-env.sh内容修改如下 具体地址根据服务器环境配置export JAVA_HOME=/usr/lib/jvm/java/3.配置yarn环境变量3.1.编辑yarn-env.sh文件 配置jdk环境#vi
转载
2023-08-02 07:53:40
100阅读
背景由于最近集群磁盘报警频繁，需要对磁盘进行扩容或者清理，但是扩容后阿里云磁盘资源不能缩容回落，成本上升。如果是减小副本数，我们目前阿里云集群是3个副本考虑成本和源数据（除了用户日志）在其他地方有全部数据等各方面原因我们降低了副本数。我们对日志数据的要求并没有特别严格。但是至少也需要两个副本。方案方案一：减少副本数考虑到成本问题我们选择了暂时性的解决的方案减小副本数。操作如下： 1、在HADOOP
转载
2024-02-01 11:21:12
396阅读
架构设计 一、block块 HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M HDFS的Block大的原因是最小化寻道时间。把一个数据块设计的足够大，就能够使得数据传输的时间显著地大于寻找到Block所在时间。这样，传输一个由多个Block组成的文件的时间就取决于磁盘的传
转载
2024-05-02 22:01:40
134阅读
块1.块 block一般默认为128m，在hdfs-site.xml里可设置。 2.dfs.blocksize 134217728 128M 规格 3.在集群下副本dfs.replication 为3 通俗说明： 一缸水 260ml 瓶子 128ml规格 需要多少瓶子能装满 260 / 128 =2…4ml p1 128ml 装满 p1 p1 蓝色 p2 128ml 装满 p2 p2 黄色 p3
转载
2024-03-22 10:24:20
87阅读
机架和刀片机块 副本数块的理解存储处理数据的最小单元，其中在hadoop1.x中默认大小为64M，hadoop2.0默认大小为128M，块的大小是由hdfs-site.xml文件中的dfs.blocksize 属性控制keyvaluedfs.blocksize134217728块大小为什么要设置成128M？（参考其他人的博客） 是为了最小化寻址时间，目前磁盘的传输速率普遍是在100M/S左右，所以
转载
2023-11-07 08:31:13
104阅读
Hadoop学习笔记总结01.RPC(远程过程调用)1. RPC概念远程过程指的不是同一个进程的调用。它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 不能直接拿到远程机器的服务实例：比如loginController拿不到另一台主机loginService的实例，需要远程调用。一种实现：如Soap（http+xml）RPC至少有两个过程。调用方(client)，被调用
转载
2024-04-19 17:52:11
27阅读
首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了，设置太多也没什么用。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=1 -put 70M
转载
2023-12-05 11:40:22
179阅读
首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。
其实默认为3个副本已经够用了，设置太多也没什么用。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数Hadoop dfs -D dfs.replication=1 -put 70
原创
2023-05-31 11:14:19
583阅读
# HDFS 副本数管理指南
Hadoop 的 HDFS（Hadoop Distributed File System）是一个高度容错的存储系统，支持大规模数据存储。在 HDFS 中，副本是数据可靠性的重要保障。副本数不足可能会导致数据丢失或不可用。因此，了解如何检查和修复副本数不足的问题，对于每个 Hadoop 开发者而言至关重要。
## 流程概述
以下是解决 HDFS 副本数不足问题的基
原创
2024-09-20 04:58:07
330阅读
一脸懵逼学习Hdfs---动态增加节点和副本数量管理（Hdfs动态扩容） 1：按照上篇博客写的，将各个进程都启动起来：集群规划： 主机名 IP 安装的软件 运行的进程
master 192.168.3.129 jdk、hadoop
转载
2024-08-03 11:07:34
278阅读
Hadoop的HDFSHDFS设计思想将数据存储到若干台单独的计算机上。HDFS特点1.存储超大文件2.廉价硬件之上3.一次写入，多次读取HDFS架构1.唯一的NameNode，唯一的SecondaryNameNode，都运行在主节点（master)2.大于等于“1”个DataNode，运行在从节点（slave）3.所有的数据均存放在DataNode里面4.可以有若干个客户端（Client）HDF
转载
2024-07-25 16:39:24
26阅读
HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有多个 副本，这些数据块副本分布在不同的机器节点上，这种数据分块存储+副本的策略是HDFS保证可靠性和
转载
2023-07-19 15:50:48
784阅读
