目录前言1. 背景2. 动态扩容、节点上线2.1 新机器基础环境准备2.1.1 主机名、IP2.1.2 Hosts映射2.1.3 防火墙2.1.4 SSH免密登录2.1.5 JDK环境配置2.2 Hadoop配置2.2.1 DataNode负载均衡服务3. 动态缩容、节点下线3.1 添加退役节点3.2 刷新集群3.3 手动关闭DataNode进程3.4 DataNode负载均衡服务4. 黑白名单
转载
2024-03-25 16:32:21
153阅读
HDFS就是用来存取数据的，那么当数据太多的时候存不下，我们必需扩充硬盘容量，或者换个更大的硬盘。由于它是分布式文件系统，有两种扩充HDFS集群容量的方法：横向扩容和纵向扩容横向扩容横向扩容就是往集群添加一个节点：纵向扩容纵向扩容就是往节点增加一块硬盘：步骤如下1.虚拟机添加一块20G的硬盘2.查看添加虚拟机的硬盘 这台添加的第二块硬盘 所以硬盘文件是sdc3.使用fdisk创建分区表 具体
转载
2024-03-22 20:59:15
111阅读
3.1 HDFS的简介3.1.1 HDFS的演变HDFS源于Google在2003年10月份发表的**GFS（Google File System）**论文。 传统的文件系统对于数据的处理方式是将数据文件直接存储在一台服务器上。这样会产生两个问题：当数据量越来越大的时候，需要扩容文件很大时，上传下载非常耗时 对于第一个问题，扩容。扩容有两种方式，一是纵向扩容，即增加磁盘和内存；另一种是横向扩容，即
转载
2024-03-27 17:52:37
20阅读
ArrayList 概述 ArrayList是基于数组实现的，是一个动态数组，其容量能自动增长。
ArrayList不是线程安全的，只能用在单线程环境下。
实现了Serializable接口，因此它支持序列化，能够通过序列化传输；
实现了RandomAccess接口，支持快速随机访问，实际上就是通过下标序号进行快速访问；
实现了Cloneable接口，能被克隆。 动态扩容一 初始化首先有三种方
转载
2024-04-29 08:38:15
40阅读
zk3.5之前不支持动态扩容，需要集群停止服务，修改配置文件后重新部署 zk3.5之后支持动态扩容，可以先启动新机器，然后一台一台的重启旧机器即可，保证新增后集群为奇数且重启机器不过半ServerCnxnFactory/ServerCnxn: 默认NIO实现，用于接收客户端连接，一Accept线程，多Select线程，业务线程池具体处理， 一般流程：NIOServerCnxn.doIO-ZooKe
转载
2024-05-08 14:16:04
49阅读
当HashMap的size达到临界值capacity * loadFactor - 1时，HashMap会进行扩容，将自身容量增加一倍。 比如对未指定capacity和loadFactor的HashMap，缺省容量和负载因子分别为16和0.75，因此当map中存储的元素数量达到16 * 0.75 - 1即为11时，该map会将自身容量扩大到2 * 16 = 32。 &nbs
转载
2023-10-22 08:21:27
100阅读
Hadoop扩容概述Hadoop存储容量或计算能力不能满足日益增长的需求时，就需要扩容。扩容有两个方案：1) 增加磁盘2) 增加节点方案一：扩大虚拟磁盘扩大容量将虚拟的Linux关闭，扩大磁盘容量 将空间增大20G 建立分区增加空间后Linux并不会识别出新增加的磁盘空间需要为这块新增的空间建立分区新建分区打开Linuxfdisk /dev/
转载
2024-06-16 20:39:49
329阅读
MYCAT扩容
一、原架构图：二、扩容 在HOST1上新增节点db_user2 在HOST2上新增节点db_user2三、操作步骤1、mycat 所在环境安装 mysql 客户端程序2、mycat 的 lib 目录下添加 mysql 的 jdbc 驱动包 下载mysql-connect-jdbc-5.1.35.jar,下载地址：https://mv
转载
2023-08-30 20:25:38
153阅读
随着公司的业务越来越多,HDFS文件系统需要的资源也会越来越多,当现有集群不能使用的时候,我们就要要给集群扩容,增加新的节点到集群中,下面我们就来讲解一下添加新集群的步骤1.添加一个新的节点1.配置mac地址2.配置ip3.关闭防火墙与关机自启4.关闭selinux5.设置主机名6.重启7.设置hosts文件8.设置无密码登录9.配置JDK10.安装hadoop2.在...
原创
2022-02-16 16:09:54
469阅读
1评论
随着公司的业务越来越多,HDFS文件系统需要的资源也会越来越多,当现有集群不能使用的时候,我们就要要给集群扩容,增加新的节点到集群中,下面我们就来讲解一下添加新集群的步骤1.添加一个新的节点1.配置mac地址2.配置ip3.关闭防火墙与关机自启4.关闭selinux5.设置主机名6.重启7.设置hosts文件8.设置无密码登录9.配置JDK10.安装hadoop2.在...
原创
2021-12-29 15:00:35
173阅读
文章目录前言基于slots槽的redis cluster增容slots基本概念slot 在redis结点上的位置并不固定slot迁移四步走搭建redis cluster， 并手动操作增容下载redis安装启动多个redis组装redis cluster扩容实操缩容Redis上的Key的一些概念缓存雪崩缓存穿透缓存击穿热点key统一解决方案 前言本文以手动操作redis cluster集群为例，
转载
2023-11-09 22:20:51
112阅读
Redis cluster集群认识及动态扩容机制，参考网上资料，在此整理下。Redis单机数据库在了解Redis Cluster之前，先了解下Redis单机数据库，Redis支持多个数据库，并且每个数据库的数据是隔离的不能共享，并且基于单机才有，如果是集群就没有数据库的概念。每个数据库对外都是一个从0开始的递增数字命名，Redis默认支持16个数据库（可以通过修改配置文件databases支持更多
转载
2023-08-07 23:15:39
53阅读
ArrayList 概述 ArrayList是基于数组实现的，是一个动态数组，其容量能自动增长。
ArrayList不是线程安全的，只能用在单线程环境下。
实现了Serializable接口，因此它支持序列化，能够通过序列化传输；
实现了RandomAccess接口，支持快速随机访问，实际上就是通过下标序号进行快速访问；
实现了Cloneable
转载
2023-11-27 10:05:15
45阅读
（1）停机扩容 这个方案就跟停机迁移一样，步骤几乎一致，唯一的一点就是那个导数的工具，是把现有库表的数据抽出来慢慢倒入到新的库和表里去。但是最好别这么玩儿，有点不太靠谱，因为既然分库分表就说明数据量实在是太大了，可能多达几亿条，甚至几十亿，你这么玩儿，可能会出问题。 从单库单表迁移到分库分表的时候，数据量并不是很大，单表最大也就两三千万 写个工具，多弄几台机器并行跑，
转载
2023-11-16 21:59:03
51阅读
现状和目标Hadoop目前运行三个节点上，有一台做Namenode，其余为DataNode 主机IP 功能主机IP功能10.3.5.40NameNode10.3.5.39DataNode10.3.5.41DataNodeHadoop以后运行在6个节点上，有一台做Namenode，其余为DataNode主机IP功能10.3.5.40NameNode10.3.5.39DataNode10.3.5.41
转载
2024-05-15 06:49:54
16阅读
Hadoop扩容概述Hadoop存储容量或计算能力不能满足日益增长的需求时，就需要扩容。扩容有两个方案：1) 增加磁盘2) 增加节点方案一：扩大虚拟磁盘扩大容量将虚拟的Linux关闭，扩大磁盘容量将空间增大20G建立分区增加空间后Linux并不会识别出新增加的磁盘空间需要为这块新增的空间建立分区新建分区打开Linuxfdisk /dev/sda#调整磁盘分区m #进入帮助引导模式n #新增分区p
转载
2024-04-19 18:01:01
67阅读
Hadoop集群hdfs添加磁盘操作目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。hdfs现状：首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T） 在到服务器中对每台服务器进行添加磁盘操作：因为在Linux中，常用2种分区表：
MBR分区表（即主引导记
转载
2024-04-07 13:14:33
22阅读
1. HDFS概述1.1 体系结构HDFS是一个主从（Master/Slave）体系结构的分布式系统。Namenode是HDFS的Master节点，负责管理文件系统的命名空间（namespace），以及数据块到具体Datanode节点的映射等信息。集群中的Datanode一般是一个节点一个，负责管理它所在节点的存储。1.2 RPC接口Hadoop RPC接口主要定义在org.apache.hado
转载
2024-06-29 09:42:29
58阅读
1，扩展VMWare中的硬盘空间关掉虚拟机，增加硬盘空间2，分区格式化fdisk -l 可以看到/dev/sda 的空间变大了#fdisk /dev/sdap/n/3/回车/t/3/8e/w/qp 查看现有分区情况，如是新硬盘，就没有分区n 新加一个分区3 新硬盘就是1，已分区硬盘就是空闲的3回车 设定新分区的起始扇区，如果原硬盘就是LVM管理，那么离线扩容的空间自动添加在原硬盘最后的位置回车 设
原创
2015-03-20 17:17:46
612阅读
[root@localhost ~]# fdisk -l /dev/xvda #查看磁盘分区情况Disk /dev/xvda: 536.9 GB, 536870912000 bytes255 heads, 63 sectors/track, 65270 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSe
原创
2017-09-11 16:04:19
862阅读
