RPC(RemoteProcedureCall,远程过程调用)是一种通过网络从远程计算机上请求服务来得到计算服务或者数据服务，且不需要了解底层网络技术的协议和框架。RPC远程调用是构建在语言级别的，必须使用Socket通信完成，将现有的本地方法调用和Socket网络通信技术结合起来实现透明的远程调用过程。实现透明的远程调用重点是创建客户存根(clientstub)，存根(stub)就像代理(age
转载
2024-06-20 18:47:15
24阅读
HDFS中的数据按照一定策略分布在集群中的多个数据节点上，但在某些情况下，数据的分布也会出现不均衡的情况，比如说集群新增加了节点，在新增加的节点上就没有数据存在，虽说之后新增的数据会分配到新节点上，不过，对于已有数据，新节点和原有节点上的分布很不均衡，而且这还会导致在分配MapReduce任务的时候新机器分配不到可执行的任务分配，白白浪费了新增节点的计算能力。而对于一个真实的生产环境来
转载
2024-05-09 15:41:30
56阅读
简介 Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添 加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好 地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等 等。可见，保证HDFS中的数据平衡
转载
2024-04-16 16:21:27
361阅读
HDFS中的数据按照一定策略分布在集群中的多个数据节点上，但在某些情况下，数据的分布也会出现不均衡的情况，比如说集群新增加了节点，在新增加的节点上就没有数据存在，虽说之后新增的数据会分配到新节点上，不过，对于已有数据，新节点和原有节点上的分布很不均衡，而且这还会导致在分配MapReduce任务的时候新机器分配不到可执行的任务，白白浪费了新增节点的计算能力。而对于一个真实的生产环境来说，随着数据
转载
2024-04-26 09:56:56
209阅读
最近集群存储倾斜，个别节点存储超过85%，启动balancer之后效果明显，但是有时候balancer启动也不能解决问题。从运维阶段就知道有这么一个balancer，今天终于憋了一口气看看balancer到底咋回事。版本还是1.0.3首先balancer在org.apache.Hadoop.hdfs.server.balancer，balancer作为一个独立程序启动，听说之前是在namenode
1.集群执行balancer命令，依旧不平衡的原因是什么？该如何解决？2.尽量不在NameNode上执行start-balancer.sh的原因是什么？集群平衡介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器
转载
2023-08-31 20:01:31
90阅读
# HDFS平衡操作详解
## 1. 引言
在Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）中，数据会被分散存储在多个物理节点上，这些节点可以是不同的机器或者是同一台机器上的不同硬盘。由于HDFS的设计初衷是支持大规模数据存储和处理，因此数据的均衡分配和管理对于系统的性能和可靠性至关重要。
HDFS提供了`balance`命令来执行数
原创
2023-08-25 13:18:21
570阅读
最近突然觉得， 很多掌握的都还是很浅的原理，需要更深入细粒度去了解整个分布式系统的运转机制。于是。。开始作死而又作死而又作死的源码之旅。 Hadoop包的功能总共有下列几类： tool:提供一些命令行工具，如DistCp,archive mapreduce，:Hadoop的Map/Reduce实现 filecache:提供HDFS文件的本地缓存，用于加快Map/Reduce的数据访问速
转载
2024-04-19 18:14:17
41阅读
单节点多块磁盘数据均衡 生成HDFS块均衡计划hdfs diskbalancer -plan node1执行均衡计划,node1.plan.json均衡计划文件hdfs diskbalancer -execute node1.plan.json查看当前均衡任务的执行情况hdfs diskbalancer -query node1取消均衡任务hdfs diskbalancer -cance
转载
2024-07-05 20:49:11
56阅读
对于HDFS集群，经常长时间的运行，尤其是大量的delete操作后，集群中各个Datanode上的空间使用率可能会存在比较大的差异。 所以需要一种机制使各个Datanode保持平衡，防止少数Datanode存储过多的文件。 少数使用率过高的Datanode会导致对其的数据访问效率变低，并且如果该Datanode挂掉，需要更多的时间进行恢复，对集群也会造成更大的影响。 Hadoop中已经提供了bal
转载
2024-09-20 18:03:14
32阅读
HDFS Disk Balancer背景产生的问题以及解决方法hdfs disk balancer简介HDFS Disk Balancer功能数据传播报告HDFS Disk Balancer开启相关命令 背景相比较于个人PC，服务器一般可以通过挂载多块磁盘来扩大单机的存储能力在Hadoop HDFS中，DataNode负责最终数据block的存储，在所在机器上的磁盘之间分配数据块。当写入新blo
转载
2024-07-01 13:23:01
43阅读
Hdfs的访问方式有两种，第一：类似linux命令，hadoop shell。第二：java API方式。先看第一种。 FS Shell
catchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouc
转载
2024-07-29 16:56:49
24阅读
HDFS是什么hdfs是hadoop项目的核心子项目，是一个分布式存储的文件系统。具有以下特点：高容错性。hdfs自动创建多个副本。当某一个副本丢失hdfs会复制其他机器上的副本适合大数据处理，能够处理GB,TB,PB级别的数据基于硬盘迭代的IO。一旦写入就不能修改。可以装在廉价的机器上HDFS的常用命令versionversion可以用来查看版本[hadoop@hadoop01 bin]$ ha
转载
2024-03-04 04:52:23
86阅读
服役新数据节点随着业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。准备新节点第一步：复制一台新的虚拟机出来，作为新的节点第二步： 修改mac地址以及IP地址 修改mac地址命令 ： vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址命令
转载
2024-08-29 19:06:59
8阅读
## 如何实现"hadoop balance 在哪个节点执行"
### 流程图
```mermaid
graph TD;
A(查看hadoop balance执行节点) --> B(确认hadoop集群状态);
B --> C(查看balance执行情况);
C --> D(确定balance执行节点);
```
### 步骤表格
步骤 | 操作
--- | ---
原创
2024-03-20 04:07:04
61阅读
集群部署情况HOSTJNNNSNNDNZKFCZKnode01##--#-node02######node03#--#-#node04---#-#基础操作环境centos7.5 jdk1.8 zookeeper 3.7.1 hadoop 2.6.5基础设施安装jdk基本操作，不会的自行百度。关闭防火墙systemctl stop firewalld
systemctl disable firew
转载
2024-04-19 17:41:04
55阅读
hdfs 如何实现退役节点快速下线（也就是退役节点上的数据块快速迁移）speed up decommission blocks removal
以下是选择复制源节点的代码代码总结：A=datanode上要复制block的Queue size与 target datanode没被选出之前待处理复制工作数之和。
1. 优先选择退役中的节点，因为其无写入请求，负载低。
2. 不会选
转载
2024-08-19 14:20:57
256阅读
分布式文件系统就是把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。这些节点分为两类。一类叫做“主节点”(Master Node)，也叫做“名称节点”(Name Node)另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)1.HDFS总体而言，HDFS要实现以下目标： 兼容廉价的硬件设备 流数据读写 大数据集 简单的文件模型
转载
2024-03-24 11:18:52
121阅读
分布式文件系统HDFS分布式文件系统 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，一类叫主节点（Master Node）或被称为名称节点（NameNode） 另一类叫从节点(Slave Node）或被称为数据节点（DataNode） HDFS简介 HDFS要实现以下目标：兼容廉价的硬件设
转载
2024-04-24 14:43:47
97阅读
1. 解决hdfs单点故障问题的方法HDFS HA：通过主备NameNode解决 一个集群中只能有一个NameNode处于工作状态 当主NameNode发送故障 则切换到备NameNode上（NameNode的两大功能：接收客户端的读写请求 存储元数据 ）整个集群在输入hdfs namenode -format时 产生元数据 此时hdfs集群还没有启动 主NameNode会格式化产生（初始化）fs
转载
2024-04-17 10:38:04
51阅读
