因业务需要，对原有集群四台服务器做动态扩容为8台服务器的集群。原有集群为HA配置，所以对集群做节点增加时需要两个重要的步骤要做。1、hdfs-site.xml配置文件的修改。2、同步journal文件到新节点的每一台机器的dfs目录中。（在这之前需要对新节点的集群做同版本的hadoop软件的安装及配置文件的同步，包括hdfs-site.xml文件的修改）3、JournalNode进程及journa
转载
2023-08-18 19:46:40
151阅读
一、修改hostnamehostnamectl set-hostname hadoopxx二、修改网络配置ifconfigcat /etc/sysconfig/network-scripts/ifcfg-ens33cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempaltevim /etc/sysconfig/network-scri...
原创
2021-08-26 09:23:50
271阅读
HDFS动态添加、删除节点机器操作配置1.动态的 增/删 节点1.1 ————操作前准备新节点集群启动的状态中，添加一台新的机器（节点）进入；
第一次三台机器加入集群，是通过slaves中添加的。
这里创建一个新的hadoop4号机器，启动服务，稍后动态添加。
1.1.1 克隆一台新机器：hadoop4;
————注：（一定注意，克隆中的集群生成的 data和name文件夹要删除
一、修改hostnamehostnamectl set-hostnam
原创
2022-04-22 13:53:40
290阅读
# 如何实现docker动态扩展端口
## 1. 流程概述
为了实现docker动态扩展端口，我们需要通过docker的api来实现。具体的步骤可以总结如下表格所示：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 创建一个docker容器 |
| 2 | 获取容器的ID |
| 3 | 动态为容器分配一个端口 |
| 4 | 将端口映射到主机上 |
## 2.
原创
2024-07-08 03:32:53
19阅读
1.1 集群配置1）新建6个docker容器实例 docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
docker
转载
2024-03-04 17:15:44
81阅读
一、前言场景1：如何将一个应用快速部署到100台服务器上？场景2：你的公司在做一个促销活动，用户访问量已经达到上限瓶颈，服务器压力已经到 极限，如何快速的实现扩容，从而保证业务的正常运行场景3：俏销活动结束后，如何快速缩容，释放服务器资源下面介绍如何通过docker-swarm实现多节点的集群部署，动态实现对多节点的自动扩容和缩容二、docker-swarm集群部署图 如上图，一个App应用需要部
转载
2023-08-18 15:06:15
286阅读
# 动态扩展 Docker 容器的端口
在使用 Docker 部署应用程序时，经常会遇到需要动态扩展容器端口的情况。这种需求可能是因为应用程序需要处理更多的并发请求，或者需要与其他服务进行通信等。本文将介绍如何通过 Docker 和编程语言的结合，实现动态扩展 Docker 容器的端口。
## 为什么动态扩展容器端口
在实际应用中，有时候我们无法确定应用程序需要使用的端口数量，或者需要频繁地
原创
2024-06-22 03:47:07
62阅读
docker中镜像和容器的区别：1、镜像是包含了各种环境或者服务的一个模板，而容器是镜像的一个实例；2、镜像是不能运行的，是静态的，而容器是可以运行的，是动态的。
1、镜像操作
（0）查看版本
docker --version
（1）列出镜像
docker image ls -a
REPOSITORY：镜像所在的仓库名称
TAG：镜像标签
IMAGEID：镜像ID
CREATED：镜像的创
转载
2023-08-18 15:05:22
47阅读
本次安装系统为CentOS7,搭建随笔。。。docker-redis集群搭建，扩容缩容，redis数据分区规则（1、哈希取余分区，2、一致性哈希分区，3、哈希槽分区（共16384个槽位））本次采用哈希槽分区的方式1、获取redis镜像，若没有镜像，请先拉取镜像（可选） docker pull redis:6.0.82、安装redis服务（多个） docker run -d --name redis
转载
2023-07-11 14:05:44
0阅读
两种方法 一，第一种还是图形界面，简单一些 1，打开k8s 的dashboard 管理平台 2，找到相对应的命名空间-->部署-->找到你的项目-->伸缩 3，填写容器的数量二，命令模式操作 rolling-update rolling-update是一个非常重要的命令，对于已经部署并且正在运行的业务，rolling-update提供了不中断业务的更新方式。rolling-upd
转载
2023-10-23 18:57:16
69阅读
在本文中，我将教会你如何通过使用Docker和Kubernetes（K8S）实现动态扩展。动态扩展是指根据系统负载自动增加或减少应用程序实例的能力，以确保系统始终具有足够的资源来处理流量。
首先，让我们来看一下整个过程的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建一个Docker镜像 |
| 2 | 配置Kubernetes集群 |
| 3 | 创建一个
原创
2024-04-12 11:14:40
78阅读
当一个空间在使用着，使用着，突然间发现，内存空间不足，这个时候，是重新更改代码呢？？还是想要对原先的内存进行扩容呢？？这个答案肯定是显而易见的：进行扩容！！当你面临着几千行的代码，怎可能会进行重新返回去写呢？？下面笔者就带领各位老铁，来欣赏一下：realloc函数的使用：void* realloc (void* ptr, size_t size)将ptr指向的那段空间，设置为：size个字节的大小
转载
2024-04-17 10:38:39
51阅读
Hadoop 集群的安装配置大致为如下流程:选定一台机器作为 Master在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境在 Master 节点上安装 Hadoop，并完成配置在其他 slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境将 Master 节点上的 /usr/local/hadoop 目录复制到
转载
2023-09-14 13:58:15
85阅读
1、查看未分区磁盘名称： fdisk -l2、初始化未分区的磁盘(sdb)为物理卷（PV） pvcreate /dev/sdb (Physical volume "/dev/sdb" successfully created 表示成功）3、显示现有物理卷信息,并记录现有 “VG NAME ”信息 &nb
原创
2016-10-12 13:03:34
571阅读
很多小伙伴应该都见过Power Query处理数据的案例,但很多小伙伴其实并不了解Power Query的强大,今天咱们就介绍几个使用函数非常复杂但对Power Query来说很简单的应用： 1,货品分箱如下图所示，要根据B列的订单数和装箱标准，快速按照各种产品的订单数分解到每箱(左图到右图效果)。 这个问题对函数来说还是比较烧脑的，而且由于是数组公式,效率不高。而对Power Query来说还是
原创
2021-03-14 17:49:56
413阅读
malloc的申请方式mmap分配。brk系统调用。bin数组下，大内存（使用mmap分配的）将直接返回给操作系统。 4.小内存块的合并（切割）仅仅在malloc和free的时候，并且合并（切割）以后也不一定返回给操作系统内存暴增现象。多线程，多个线程可以从同一个分配区分配内存，但是会使用锁来保证线程安全。同时为了优化算法，在出现内存不够的时候会重新创建一个分配
转载
2024-03-21 07:01:59
47阅读
此篇，主要是演示docker-php-source , docker-php-ext-install ,docker-php-enable-docker-configure 这四个命令到底是用来干嘛的，它们在PHP容器中都做了哪些事情。Docker 中的PHP容器安装扩展的方式有通过pecl方式安装通过php 容器中自带的几个特殊命令来安装，这些特殊命令可以在Dockerfile中的RUN命令中进
转载
2024-01-17 10:45:24
144阅读
笔者的hadoop在不间断的写文件的过程中报了如下错误 经查看发现是hadoop所在服务器的磁盘空间不足导致的。 好了，知道问题后笔者需要配置相关参数来避免该问题1、与mapred.local.dir相关的参数 * mapred.local.dir.minspacestart：在mapreduce运行任务之前，检查temporary 目录下是否还有该选项配置的空闲空间，如果少于该配置，则m
转载
2023-10-31 15:30:26
95阅读
1.添加白名单白名单：表示在白名单的主机IP地址可以，用来存储数据。企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下（1）在hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 1）创建白名单vim whitelist，在whitelist中添加如下主机名称  
转载
2023-09-25 20:53:37
5阅读
