版本配置：ES版本：6.2.4OS内存64G。一、安装部署：1.ES jvm内存31G，预留一半的物理内存给文件系统缓存（file system cache）。2.禁止内存交换：修改/etc/sysctl.conf 中 vm.swappiness = 1elasticsearch.yml中，设置这个：bootstrap.mlockall：true3.修改ES启动用户可使用的系统文件句柄数
转载
2024-03-19 21:40:01
145阅读
Kubernetes架构图k8s各个组件的功能
kubectl 客户端命令行工具，将接受的命令格式化后发送给kube-apiserver，作为整个系统的操作入口
rest API 作为整个系统的控制入口，以RESTAPI服务提供接口
scheduler 负责节点资源管理，接受来自kube-apiserver创建Pods任务，并分配到某个节点
controller-manager 用来执行整个系统
转载
2024-04-29 11:05:32
24阅读
把书读薄(Kafka权威指南 第五章)单节点与集群关系1. 新建节点；每个broker都有一个唯一的标识符，新的broker启动的时候，会创建一个临时节点，把自己的ID注册到zk,如果zk中已经有一个一样的ID存在，会得到错误，注册失败。如果注册成功，且集群中有着一个与新ID一样的旧ID副本，那么新的broker会立即加入集群，并拥有与旧broker相同的分区和主题 2. 节点异常/关闭；启动时穿
转载
2024-05-07 22:05:59
148阅读
目录es集群搭建一 . 单机集群搭建 - windows1.windows安装JAVA环境2.创建es集群节点二 . 多机集群搭建 - centOS环境部署集体环境部署 - 三台虚拟机都需要部署节点配置node-1node-2node-3启动es服务es集群搭建一 . 单机集群搭建 - windows单机集群部署，需要通过设置不同的IP和集群IP来实现区分各节点。
windows单机集群的特点是
转载
2024-07-27 22:25:23
84阅读
一、扩容场景了解了数据迁移，我们来看下哪些场景需要进行扩容，然后有哪些方法可以实现快速扩容的效果。通常有如下两种需要紧急扩容的场景：集群所有节点负载都高，需要快速扩容。集群内某几台节点负载很高，需要降低这些节点的压力。首先，来谈谈什么是节点压力。从我们的运营经验来说，Kafka集群的压力通常体现在磁盘util、CPU、网卡三个指标上。正常来说，通过加节点都可以解决这三个指标带来的问题。但是，从精细
转载
2024-03-21 11:03:01
155阅读
目录1.简介1.1.扩容的单元1.2.分片预分配1.3.海量分片1.4.容量规划1.5.副本分片1.6.通过副本进行负载均衡1.7.多索引1.8.基于时间的数据1.9.按时间范围索引1.10.索引模板1.11.数据过期1.12.迁移旧索引1.12.1.索引优化（Optimize）1.12.2.关闭旧索引1.12.3.归档旧索引1.13.基于用户的数据1.14.共享索引1.15.利用别名实现一个用户
字符串扩展字符的 Unicode 表示法 ："\u0061"表示法只限于码点在\u0000~\uFFFF之间的字符。超出这个范围的字符，必须用两个双字节的形式表示。这种表示法只限于码点在\u0000~\uFFFF之间的字符。超出这个范围的字符，必须用两个双字节的形式表示。"\uD842\uDFB7"
// "?"
"\u20BB7"
// " 7"ES6 对这一点做出了改进，只要将码点放入大括号，
转载
2024-07-06 14:38:33
44阅读
1、关闭节点分配，使上面的shard强制迁移到其他节点上curl -XPUT localhost:9200/_cluster/settings -H 'Content-Type: application/json' -d '{
"transient" :{
"cluster.routing.allocation.exclude._ip" : "node_ip1,node_ip2"
原创
2023-04-25 16:23:12
127阅读
一：缩容步骤 #重新分配槽redis-cli --cluster reshard 10.0.0.101:6380 #第一次交互：需要迁移多少个槽How many slots do you want to move (from 1 to 16384)? 1365（4096/3） #第三次交互：接受节点 ...
转载
2021-07-12 20:14:00
414阅读
2评论
1、Kafka集群结构实际上kafka的结构图是有些区别的，现在我们看下面的图：producer和consumer想必大家都很熟悉，一个生产消息，一个消费掉消息。这里就不再做太多解释。此图和第一张图可以看到有几个区别：1、多了zookeeper集群，通过前几章的学习我们已经知道kafka是配合zookeeper进行工作的。2、kafka集群中可以看到有若干个Broker，其中一个broker是le
转载
2024-03-18 19:09:35
38阅读
### 1、编译安装redis
官方下载地址：http://download.redis.io/releases/
#### 1.1 redis特性
```
1、速度快: 10W QPS,基于内存,C语言实现
2、单线程
3、持久化
4、支持多种数据结构
5、支持多种编程语言
6、功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
7、简单: 代码短小精悍(单机核心代码只有230
原创
2021-07-24 18:11:32
1330阅读
Node的扩缩容在实际生产系统中经常遇到服务器容量不足的情况，这时候就需要购买新的服务器，对应用系统进行水平扩展以实现扩容。在k8s中，对一个新的node的加入非常简单，只需要在node节点上安装docker、kubelet和kube-proxy服务，然后将kubelet和kube-proxy的启动参数中的master url指定为当前kubernetes集...
原创
2023-01-09 17:19:01
590阅读
1、Redis介绍Redis服务器程序采用单进程模型（同一时刻只能处理一个请求）处理客户端请求Redis基于内存并且支持多达六种数据类型Redis是一款非常优秀的NoSQL数据库Redis可以与Lua脚本结合爆发出强大的功能点2、Redis安装详见：https://www.runoob.com/redis/redis-install.html
3、Redis之Java客户端官方推荐之Jedis优秀
转载
2024-08-25 23:54:38
42阅读
# Kubernetes 中节点扩缩容的科普文章
在现代的云计算和容器管理中，Kubernetes 日益成为我们最常用的工具之一。Kubernetes 提供了一种自动化的方法来管理和处理容器的部署、扩展和管理，节点扩缩容是其中一个重要特性。本篇文章将介绍 Kubernetes 中节点的扩缩容，包括操作步骤和代码示例。同时，我们还将通过一张旅行图来展示该过程的步骤。
## 什么是节点扩缩容
在
一，字符串的扩展一，字符的 Unicode 表示法允许采用\uxxxx形式表示一个字符，其中xxxx表示字符的 Unicode 码点。但是只限于码点在\u0000~\uFFFF之间的字符。超出这个范围的字符，必须用两个双字节的形式表示。解决办法：只要将码点放入大括号，就能正确解读该字符。
"\u{20BB7}"
// "?"
"\u{41}\u{42}\u{43}"
// "ABC"
let
转载
2024-03-22 11:18:29
31阅读
目录动态扩容：1.基础准备1.1基本步骤：1.2添加datanode小总结：1.3datanode负载均衡服务动.
原创
2022-10-31 13:06:54
721阅读
本文将上篇文章添加的节点从Redis集群里删除。1、查看集群信息123456789cluster nodes5aa077444a506afad1ff796616124a0b7298c125 172.16.254.126:7006@17006 master - 0 1614781558502 10 connected 13424-16383a489464dfd1321cdbe2a0f46485621
原创
2021-04-10 19:07:53
600阅读
              &
原创
2021-07-14 10:05:21
228阅读
# 动态扩缩容: Yarn集群管理
在大数据处理中，Yarn是一个常用的资源管理器，用于管理集群的资源和作业。当集群中的作业数量增加时，需要进行动态扩缩容来保证资源的充分利用和作业的顺利执行。本文将介绍如何通过Yarn进行集群的动态扩缩容，并提供代码示例来帮助读者理解。
## Yarn集群概述
Yarn是Apache Hadoop项目中的一个子项目，用于管理Hadoop集群中的资源。Yarn
原创
2024-06-06 05:13:32
142阅读
配置 inventory.ini。
原创
2024-05-01 11:10:41
141阅读
