由于数据的日益增长，hdfs可用空间变小导致后面数据无法存入hdfs，而hdfs的数据目录又与所在卷组的空间大小息息相关，本文章将分两个场景去实现扩容，适用于集群搭建时扩容，注意集群应处于关闭状态，来干来干。场景一: 添加了硬盘后df、vgdisplay均未查看到所增加的可用空间。场景二: /home所在卷组空闲空间过大。一.分区追加到卷组实现扩容实现场景一: 添加了硬盘后df、vgdisplay
转载
2023-07-12 14:57:23
220阅读
Hadoop 3.x（生产调优手册）----【HDFS--集群扩容及缩容】1. 添加白名单2. 服役新服务器3. 节点间数据均衡4. 黑名单退役服务器 1. 添加白名单白名单：表示在白名单的注解 IP 地址可以用来存储数据。 企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下：在 NameNode 节点的 /opt/module/hadoop-3.1.3/etc/hadoop
转载
2023-10-20 14:13:05
41阅读
文章目录1、背景2、集群黑白名单3、准备一台新的机器并配置好hadoop环境3.1 我们现有的集群规划3.2 准备一台新的机器3.2.1 查看新机器的ip3.2.2 修改主机名和host映射3.2.3 配置时间同步3.2.4 关闭防火墙3.2.5 新建hadoop部署用户3.2.6 复制hadoop04机器上的/etc/hosts文件到集群的另外3台机器上3.2.7 配置集群间的免密登录3.2.
转载
2023-11-06 15:35:00
143阅读
添加白名单 白名单：表示在白名单的主机 IP 地址可以，用来存储数据。 企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下： 1 ）在 NameNode 节点的/opt/module/hadoop-3.1.3/etc/hadoop 目录 下 分别创建whitelist和blacklist文件（1）创建白名单vim whitelist在
转载
2024-08-06 12:49:58
35阅读
1 运行准备(1)准备3台客户机（关闭防火墙、设置静态IP和主机名称） (2)安装JDK，配置环境变量 (3)安装Hadoop，配置环境变量 (4)配置集群 (5)单点启动 (6)配置ssh (7)群起并测试集群2 编写集群分发脚本xsync集群分发脚本 在/home/用户名/bin目录下创建xsync文件#!/bin/bash
#1. 判断参数个数
if [$# -lt 1 ]
then
转载
2024-10-10 13:51:58
66阅读
目录一、云计算相关概念集群技术二、云平台架构应用云平台架构基础平台架构三、云计算分类服务角度客户角度一、云计算相关概念云计算（cloud computing）：分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户 并发：同时访问服务器的连接数，连接数较高时称为高并发，集群技术 集群：多台服务器，
转载
2023-11-19 09:05:02
81阅读
1.添加白名单白名单：表示在白名单的主机IP地址可以，用来存储数据。企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下（1）在hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 1）创建白名单vim whitelist，在whitelist中添加如下主机名称  
转载
2023-09-25 20:53:37
5阅读
1、 关闭主机添加内存登录指定主机系统（按表二依次操作），切换至root用户，输入poweroff命令关闭系统，待系统关闭后，由IT负责人进行内存扩容。 2、 开机检查内存信息由IT负责人检查扩容主机的内存信息，确定内存扩容完成后再进入系统。 3、 登录系统启动服务登录系统，切换至root用户进行如下操作。注意：启动每个主机节点的服务顺序，依次是Ambari、Zookeeper
转载
2024-05-29 00:29:23
20阅读
1.添加白名单、黑名单设置白名单和黑名单后，只有白名单上的主机节点允许访问 NameNode；不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出，黑名单一般用来退役主机节点。同一个主机节点不能同时配置在白名单和黑名单中* 步骤（1）在目录/opt/module/hadoop-3.1.3/etc/hadoop下，创建文件 whitelist 和 blacklist（文件名
转载
2023-09-01 08:46:30
54阅读
本次安装系统为CentOS7,搭建随笔。。。docker-redis集群搭建，扩容缩容，redis数据分区规则（1、哈希取余分区，2、一致性哈希分区，3、哈希槽分区（共16384个槽位））本次采用哈希槽分区的方式1、获取redis镜像，若没有镜像，请先拉取镜像（可选） docker pull redis:6.0.82、安装redis服务（多个） docker run -d --name redis
转载
2023-07-11 14:05:44
0阅读
目录动态扩容：1.基础准备1.1基本步骤：1.2添加datanode小总结：1.3datanode负载均衡服务动.
原创
2022-10-31 13:06:54
721阅读
背景概述 单 NameNode 的架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程使用的内存可能会达到上百 G，NameNode 成为了性能的瓶颈。因而提出了 namenode 水平扩展方案-- Federation。 Federation 中文意思为联邦,联盟，是 NameNode 的 Federation,也就是会有多个NameNode。
转载
2024-06-22 13:45:44
51阅读
【Spark】【配置】Spark+Hadoop分布式配置（4台服务器）首先需要安装好JDK环境和HDFS分布式环境，hdfs配置可查看 Hadoop完全分布式配置
注：所有设备上的spark配置的文件路径必须一致，jdk和python版本也需要一致。因此最好放在/usr/ 或者/home/下面，不然需要在每个设备上分别创建同样路径的文件夹。python可以使用conda下的环境。本文使用的4台se
转载
2024-02-23 11:27:06
19阅读
1、非高可用集群安装及配置
配置了1个master 2个slave,启动正常,并添加相关数据
2、升级为手动高可用集群（与正式环境一致）
2.1、配置手动故障转移hdfs HA (此处不需要zk,自动切换才依赖zk)
&n
文章目录HDFS-集群扩容及缩容添加白名单配置白名单的步骤二次配置白名单增加新服务器需求环境准备服役新节点具体步骤问题1 服务器间数据均衡问题2 105是怎么关联到集群的服务器间数据均衡应用场景服务器间数据均衡配置开启数据均衡命停止数据均衡命令黑名单退役旧节点黑名单配置步骤 HDFS-集群扩容及缩容添加白名单白名单：在白名单的主机IP地址可以访问集群，对集群进行数据的存储。不在白名单的主机可以访
转载
2023-09-01 10:53:54
6阅读
本文通过实例讲解了Hadoop集群动态扩容缩容的过程，记录于此，供自己和各位同学日后参考及研究。
原创
2024-07-20 15:43:33
26阅读
又是一年毕业季，实验室集群维护工作交接的同时又要将两台超算中心的刀片机（感觉有点大材小用了...）加入到集群,特做一个step by step的安装指南，以备后用。1、修改新增机器的机器名，根据资料1，分别用hostname命令修改和直接对/etc/hostname、/etc/hosts文件做了修改，其中hosts包含其他各节点IP地址与机器名的对应关系。（hostname是临时修改，重启后失效。
一、HDFS 动态扩容和缩容上篇文章对 HDFS 的文件存储策略进行了讲解，本篇文章继续学习 HDFS 的动态扩容和缩容，下面是上篇文章地址：动态扩容：已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的DataNode节点。动态缩容：旧的服务器需要进行退役更换，暂停服务，需要在当下的集群中停止某些机器上HDFS的服务。在进行扩容和缩容前，先看下当前的 HDFS 集群结
转载
2023-12-11 19:03:17
182阅读
那么只需要做红色的步骤，步骤很少，并且有具体完成的图和验证。1.虚拟机准备，修改虚拟机配置。如果没有vim文件编辑就用vi编辑，一样的，或者直接下载一下 yum -y install vim 。[qurui@hadoop102 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=static #
转载
2023-07-24 09:21:21
143阅读
# Hadoop 完全分布式集群动态扩容指南
在今天的大数据时代，Hadoop作为一种强大的分布式存储与处理框架，已经被广泛应用于各个领域。随着数据量的不断增加，Hadoop集群的动态扩容变得尤为重要。本文将教会你如何实现Hadoop完全分布式集群的动态扩容，帮助你有效应对变化的负载需求。
## 流程概述
动态扩容的基本流程如下表所示：
| 步骤 | 描述
