HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有多个 副本，这些数据块副本分布在不同的机器节点上，这种数据分块存储+副本的策略是HDFS保证可靠性和
转载
2023-07-19 15:50:48
784阅读
为什么要引入副本的放置策
转载
2023-11-21 22:44:18
51阅读
在了解HDFS之前，我们先来简单介绍一下Hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。从中我们可以看出Hadoop其实可以大致分为两个方面：大数据和大计算。Hadoop的框架最核心的设计就是：HDFS、MapReduce和Yarn。HDFS为海量的数据提供了存储，而Map
转载
2024-06-17 06:39:19
207阅读
1. 网络配置【所有节点】修改hostname在每个节点上执行hostname [主机名]配置网络vi /etc/sysconfig/networkNETWORKING=yes
HOSTNAME=node4 #【每个节点改成相应的hostname】
NETWORKING_IPV6=no
PEERNTP=no保存退出重启网络服务service network restart配置hosts192.1
hadoop 离线 day07 HDFS文件系统的基本特性和操作1、HDFS文件系统的基本特性2、HDFS的命令行使用3、HDFS的高级使用命令3.1 hdfs的文件限额配置3.2 hdfs的安全模式4、hadoop的基准测试4.1 测试写入速度4.2 测试读取速度 1、HDFS文件系统的基本特性HDFS的特性：master/slaver架构：主从架构namenode：主节点，主要用于存储元数据
转载
2024-04-01 11:21:25
157阅读
一、副本放置策略如图： 解释： 第一个副本: 假如上传节点为DN节点，优先放置本节点； 否则就随机挑选一台磁盘不太慢 CPU不太繁忙的节点；第二个副本: 放置在于第一个副本的不同的机架的节点上第三个副本: 放置于第二个副本相同机架的不同节点上CDH机架有一个默认机架 虚拟的概念； CDH一般不调整这种默认机架二、HDFS读写流程写流程如图： 解释： hadoop fs -put xxx.log /
转载
2023-08-18 20:43:47
208阅读
HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性，观察它的行为，为实现更先进的策略打下测试和研究的基础。大型HDFS集群系统往往运行在跨越多个机架的数据中心，不同机架上的两台机器之间的通信需要经过交换机。在大多数情况下，同一个机架内的两台机器间的
转载
2024-07-31 17:28:05
45阅读
本文来学习一下HDFS中的块状态和副本状态。 参考资料：《Hadoop 2.X HDFS源码剖析》--徐鹏HDFS是个分布式存储系统，分布式系统都会遇到各种各样的节点故障问题。试想一下，有个client向hdfs中写数据，这个写数据的过程中会存在各种各样的问题，比如已经建立好的pipeline中有一个datanode挂掉了，那此时向每个datanode写入的数据块长度可能不一致，就需要进行pipe
转载
2024-02-14 10:01:14
48阅读
Ceph文件系统是一种分布式存储系统，它能够有效地管理大量的数据并提供高可靠性和高性能。在Ceph文件系统中，文件会被分割成多个块，并在不同的存储节点上进行存储，从而实现了文件的冗余备份和高可用性。在Ceph文件系统中，文件的备份方式通常采用多副本的模式，即将文件在不同的存储节点上复制多份。
对于Ceph文件系统来说，设置多少副本是一个重要的决策。通常情况下，副本的数量越多，文件的可靠性和可用性
原创
2024-03-18 11:44:13
165阅读
1.将hadoop包解压放到/opt/hadoop下2.配置2.1.进入hadoop目录2.2.编辑hadoop.env.sh文件 配置jdk环境变量#vi etc/hadoop/hadoop-env.sh内容修改如下 具体地址根据服务器环境配置export JAVA_HOME=/usr/lib/jvm/java/3.配置yarn环境变量3.1.编辑yarn-env.sh文件 配置jdk环境#vi
转载
2023-08-02 07:53:40
100阅读
块1.块 block一般默认为128m，在hdfs-site.xml里可设置。 2.dfs.blocksize 134217728 128M 规格 3.在集群下副本dfs.replication 为3 通俗说明： 一缸水 260ml 瓶子 128ml规格 需要多少瓶子能装满 260 / 128 =2…4ml p1 128ml 装满 p1 p1 蓝色 p2 128ml 装满 p2 p2 黄色 p3
转载
2024-03-22 10:24:20
87阅读
HDFS副本放置策略客户端：执行put命令所在的机器称为客户端第一副本 假如上传节点为dn节点，优先放置在本节点；否则会随机找一个磁盘不太慢、CPU不太繁忙的节点第二副本 放置于第一副本不同的机架上第三副本 放置于第二副本的相同机架的不同节点上CDH机架有一个默认的机架，虚拟的概念，CDH一般不调整这种默认机架HDFS的读写流程写流程1、client调用FileSystem.create(file
转载
2023-12-14 13:23:11
188阅读
Hadoop学习笔记总结01.RPC(远程过程调用)1. RPC概念远程过程指的不是同一个进程的调用。它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 不能直接拿到远程机器的服务实例：比如loginController拿不到另一台主机loginService的实例，需要远程调用。一种实现：如Soap（http+xml）RPC至少有两个过程。调用方(client)，被调用
转载
2024-04-19 17:52:11
27阅读
HDFS副本放置策略客户端：执行put命令所在的机器称为客户端第一副本 假如上传节点为dn节点，优先放置在本节点；否则会随机找一个磁盘不太慢、CPU不太繁忙的节点第二副本 放置于第一副本不同的机架上第三副本 放置于第二副本的相同机架的不同节点上CDH机架有一个默认的机架，虚拟的概念，CDH一般不调整这种默认机架HDFS的读写流程写流程1、client调用FileSystem.create(file
转载
2023-12-19 16:50:17
82阅读
HDFS是分布式文件系统，英文全称是Hadoop Distributed File System，是一个用Java实现、分布式的、可扩展的文件系统。HDFS的主要功能是做存储用的，把每一份数据创建多个副本、做复制，默认的副本数是3份。整体设计思路大文件被切割为小文件，使用分而治之的思想让很多服务器对同一个文件进行联合管理。每个小文件做冗余备份，并且分散到不同的服务器中，做到高可靠不丢失。在HDFS
转载
2023-09-01 08:27:31
99阅读
----尚硅谷学习笔记整理一、HDFS使用场景适合一次写入、多次读出的场景，且不支持文件的修改，适合用来做数据分析。二、HDFS的优缺点分析 1、优点高容错性：数据自动保存多个副本，通过增加副本的形式，提高容错性；某一个副本丢失后，它可以自动恢复适合处理大数据：适合处理甚至PB级别的数据，百万规模以上的文件数量可构建在廉价机器上，多副本机制，提高可靠性&nb
转载
2024-02-28 10:15:40
141阅读
# HDFS 副本数管理指南
Hadoop 的 HDFS（Hadoop Distributed File System）是一个高度容错的存储系统，支持大规模数据存储。在 HDFS 中，副本是数据可靠性的重要保障。副本数不足可能会导致数据丢失或不可用。因此，了解如何检查和修复副本数不足的问题，对于每个 Hadoop 开发者而言至关重要。
## 流程概述
以下是解决 HDFS 副本数不足问题的基
原创
2024-09-20 04:58:07
330阅读
Hadoop的HDFSHDFS设计思想将数据存储到若干台单独的计算机上。HDFS特点1.存储超大文件2.廉价硬件之上3.一次写入，多次读取HDFS架构1.唯一的NameNode，唯一的SecondaryNameNode，都运行在主节点（master)2.大于等于“1”个DataNode，运行在从节点（slave）3.所有的数据均存放在DataNode里面4.可以有若干个客户端（Client）HDF
转载
2024-07-25 16:39:24
26阅读
CentOS 7环境下Kafka的集群安装和基本使用（多节点，分布式环境）卸载JDKCentos7一般都会带有自己的openjdk,我们一般都回用oracle的jdk,所以要卸载删除系统预装jdk，可以一条命令直接删除：#rpm -e --nodeps `rpm -qa | grep java`通过 java -version查看是否已删除CentOS安装JDK（不通过在线安装，这样可以自定义把j
Kubernetes（简称为K8s）是一种用于自动化部署、扩展和管理容器化应用程序的开源平台。在Kubernetes中，Pod是最小的可调度的对象，它由一个或多个容器组成，作为应用程序的运行实例。本文将介绍如何使用Kubernetes查看Pod的副本数。
## 流程概述
1. 连接到Kubernetes集群；
2. 使用Kubectl命令行工具查看Pod信息；
3. 解析Pod信息，获得副本数
原创
2024-01-15 13:04:25
198阅读
