1.HDFS是一个主从架构，NameNode是老大，SecondaryNameNode是老二，老大挂了，老二会直接顶上去 2.RACK机架 下面这个图就是RACK机架，用来放服务器的，每台机架上可以放置多台服务器 下面我们看下HDFS架构图1. NN 名称节点主要作用：管理文件系统的命名空间 主要存储：文件系统的命名空间,包含： a.文件名称 b.文件目录结构 c.文件的属性（例如 权限，创建时间
转载
2024-10-10 14:12:50
40阅读
在Ceph分布式存储系统中，副本设置是一个非常关键的参数，它可以影响到系统的性能、容错性和可用性。在Ceph中，副本设置是指在集群中存储对象时，每个对象会被复制多少份。副本设置的合理性可以直接影响到系统的性能和容错性。
在Ceph中，副本设置是通过细粒度的配置参数来实现的。管理员可以通过设置不同的副本数量来满足不同的需求。一般来说，副本的数量越多，系统的可靠性和容错性就越高，但同时也会增加系统的
原创
2024-03-08 10:06:11
92阅读
目录map 端reduce 端配置调优map 端调优属性reduce 端的调优属性 系统进行排序、将 map 输出作为输入传给 reducer 的过程被称为 shuffle。map 端map 函数开始产生输出时，会利用缓冲的方式写到内存并出于效率的考虑进行预排序。每个 map 任务都有一个环形内存缓冲区用于存储任务输出，默认缓冲区大小为 100MB，可通过 mapreduce.task.io.s
转载
2023-07-12 12:21:08
61阅读
文章目录（55）HDFS 写数据流程（56） 节点距离计算（57）机架感知（副本存储节点选择）（58）HDFS 读数据流程参考文献 （55）HDFS 写数据流程数据文件ss.avi是如何从客户端写到HDFS的？完整流程见下图，接下来我们会按顺序详细捋一下0）首先，客户端里需要有一个HDFS Client，这个HDFS客户端在创建的时候需要限制是Distributed FileSystem。（因为
转载
2024-10-12 12:58:10
50阅读
一脸懵逼学习Hdfs---动态增加节点和副本数量管理（Hdfs动态扩容） 1：按照上篇博客写的，将各个进程都启动起来：集群规划： 主机名 IP 安装的软件 运行的进程
master 192.168.3.129 jdk、hadoop
转载
2024-08-03 11:07:34
278阅读
一、HDFS的存储模型 1、文件线性按字节分割成块（block），具有offset，id 2、文件与文件的block大小可以不一样。 3、一个文件除了最后一个block，其他block大小一致。 4、block的大小可以一句硬件的I/O进行调整。 5、block被分散存放在集群的节点中，具有location。 6、Block具有副本(replication),没有主从概念，副本不能出现在同一个节点
转载
2024-03-17 11:18:15
156阅读
一、HDFS高级命令1.HDFS文件限额配置HDFS文件限额配置可以限制一个目录的文件数量，空间大小1.1 文件数量限制我们新建一个目录，使用hdfs dfs -count -q -h查看这个目录的原始限额信息 当设置目录上限为n个文件时，实际上只能存储n-1个文件，因为目录也算一个1.2 空间大小限额 给目录空间限额有一个原则，即限额必须大于Block容量3 文件上传到被限额的目录时，目录空间限
转载
2024-03-24 09:40:25
255阅读
HDFS简介HDSFHadoop Distributed File System, Hadoop分布式文件系统。特点1. 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。
2. 运行在廉价的机器上。
3. 适合大数据的处理。HDFS默认会将文件分割成block，64M为1个block。
然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多
转载
2024-03-22 10:26:03
25阅读
首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。
其实默认为3个副本已经够用了，设置太多也没什么用。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数Hadoop dfs -D dfs.replication=1 -put 70
原创
2023-05-31 11:14:19
583阅读
最近又安装 hadoop 集群， 故尝试了一下配置 HDFS 的 HA，CDH4支持Quorum-based Storage和shared storage using NFS两种HA方案，而CDH5只支持第一种方案，即 QJM 的 HA 方案。关于 hadoop 集群的安装部署过程你可以参考 使用yum安装CDH Hadoop集群 或者 手动安装 hadoop 集群的过程。集群规划我一共安装了三个
HDFS 机架感知与副本放置策略机架感知(RackAwareness)通常，大型 Hadoop 集群会分布在很多机架上，在这种情况下，希望不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架。为了提高容错能力，名称节点会尽可能把数据块的副本放到多个机架上。综合考虑这两点的基础上 Hadoop 设计了机架感知功能外在脚本实现机架感知HDFS 不能够自动判断集群中各个 DataNode 的网络
转载
2024-07-31 17:02:35
130阅读
1.默认文件操作系统修改在bin目录下：有个dfsadmin （hdfg dfsadmin xxx）是系统有关命令，集群管理命令。如安全模式的控制：比如集群中一半的存储副本挂掉，将启动安全模式，客户端无法启动。好比如集群刚刚启动时候，需要启动事件，此时控制客户端无法写入也是安全模式控制。可以通过dfsadmin手动解除安全模式。配置本机的客户端操作默认文件操作系统:etc/hadoop/core-
转载
2024-03-11 17:36:25
47阅读
# Java设置Shell脚本参数
Shell脚本是一种用于自动化执行任务的脚本语言，常用于Unix和Linux系统中。在Shell脚本中，我们可以通过在脚本运行时传递参数来实现更灵活的功能。Java作为一种强大的编程语言，可以用来编写Shell脚本。本文将介绍如何在Java中设置Shell脚本参数，并提供相应的代码示例。
## Shell脚本参数
Shell脚本参数是指在脚本运行时传递给脚
原创
2023-10-10 09:09:45
110阅读
The advantages and disadvantages of hadoop hdfs replicating storage and erasure coding storage.Hadoop 3.0.0-alpha1 及以上版本提供了纠删码(Erasure Coding)存储数据的支持，用户可以根据不同的场景和需求选择副本存储或EC存储方案，两种存储方案各有优缺点和适用场景。1 副本存
转载
2024-03-21 12:05:35
140阅读
allegro 设置文本参数114 ...
转载
2021-10-07 22:37:00
132阅读
2评论
1.Hive概述1.1 Hive简介The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data al
转载
2024-06-04 08:45:43
203阅读
背景由于最近集群磁盘报警频繁，需要对磁盘进行扩容或者清理，但是扩容后阿里云磁盘资源不能缩容回落，成本上升。如果是减小副本数，我们目前阿里云集群是3个副本考虑成本和源数据（除了用户日志）在其他地方有全部数据等各方面原因我们降低了副本数。我们对日志数据的要求并没有特别严格。但是至少也需要两个副本。方案方案一：减少副本数考虑到成本问题我们选择了暂时性的解决的方案减小副本数。操作如下： 1、在HADOOP
转载
2024-02-01 11:21:12
396阅读
1.将hadoop包解压放到/opt/hadoop下2.配置2.1.进入hadoop目录2.2.编辑hadoop.env.sh文件 配置jdk环境变量#vi etc/hadoop/hadoop-env.sh内容修改如下 具体地址根据服务器环境配置export JAVA_HOME=/usr/lib/jvm/java/3.配置yarn环境变量3.1.编辑yarn-env.sh文件 配置jdk环境#vi
转载
2023-08-02 07:53:40
100阅读
HDFS：伪分布式1 block块参数为 dfs.blocksize 默认为128M 例如： 1个文件130M，存在HDFS上存储为两个块 一个128M 一个2M2 副本数指的是一个块存在的复制数量 参数为：dfs.replication 默认为3面试题： 一个文件160M，副本数为2，块大小为128M。 实际存储空间是多少？ 块数量是多少？ 答：一共4个块 实际存储为320M3 HDFS架构NN
转载
2024-03-03 07:35:34
34阅读
Hdfs架构首先Hdfs是一个分布式文件系统，它是分布式计算架构的支持。怎么实现的呢？采用一种“分而治之”的思想，将一个很大的数据块，打散到不同的节点上去存储。具体怎么实现的呢？首先将一个数据文件按照一定的偏移量offset进行切割，将不同偏移量的所切割数据放置在不同的储存节点之上，并且采用了副本机制。什么是副本机制呢？为了解决数据的容错、丢失，在其他节点上进行数据备份，默认的副本数是3，具体实现
转载
2024-02-20 12:44:24
63阅读
