四步操作在不影响线上的情况下将elasticsearch中的node节点退出

转载

freeAngus 2022-10-09 06:56:01 博主文章分类：Elasticsearch

文章标签 elasticsearch 服务进程 json 文章分类 运维

在 Elasticsearch 日常运维中，有时候要对集群的某一个节点进行下线、上线操作，比如增加磁盘，扩展内存，版本升级，或节点回收等。本文就根据近期的一次生产实践，梳理如何实现 Elasticsearch 节点平滑下线。

所谓平滑下线，是指服务不中断，不影响正常的数据写入和业务查询。首先我们不能直接 kill 服务进程，这样可能会造成数据丢失，影响正常业务。下面整理了正确的操作步骤。

一、检查集群配置，避免脑裂问题

在做节点下线操作之前，建议先检查 master-eligible 节点的数量与 minimum_master_nodes 配置，确认下线节点不会影响集群可用性与稳定性，特别是针对小集群。涉及到的参数如下：

1. discovery.zen.minimum_master_nodes: 3
2. node.master: true

其中配置了 node.master 为 true 的节点即为 master-eligible 节点，这些节点有资格参与集群 master 节点选举，而且该参数默认值为 true，小集群经常会忽略配置该参数。master 节点主要职责是创建/删除索引，分配分片，发现与协调其他节点等。

minimum_master_nodes 属性是为了避免数据丢失和脑裂问题，表示集群中最少要包含多少个 master-eligible 节点。例如集群中只有 2 个 master-eligible 节点，而 minimum_master_nodes 配置为 3，Elasticsearch 就选举不出 master 节点，也就形成不了一个集群，Elasticsearch 服务会处于不可用状态。因此，minimum_master_nodes 这个参数的配置非常重要，官方建议设为(master_eligible_nodes / 2) + 1，需要我们根据集群 master-eligible 节点数量进行设置。

因此，下线节点前要检查是否需要修改 minimum_master_nodes。如果需要，建议先通过命令动态修改，并修改配置文件待下一次重启生效。动态修改 minimum_master_nodes 的命令：

1. # 设置 minimum_master_nodes 为 2
2. curl -XPUT 'http://hostname:9200/_cluster/settings' -H 'Content-Type: application/json' -d '{
3.   "persistent" : {
4.     "discovery.zen.minimum_master_nodes" : 2
5.   }
6. }'

这就是下线节点之前要做的必要检查，确保没有问题之后，接下来的操作也不复杂。

二、将节点从集群路由策略中排除

通过以下方式将下线节点从集群路由策略中排除：

1. curl -XPUT http://hostname:9200/_cluster/settings?pretty -H 'Content-Type: application/json' -d '{
2.   "transient": {
3.     "cluster.routing.allocation.exclude._name": "{node.name}"
4.   }
5. }'

上面其实会触发分片的 Allocation 机制，涉及的参数为 cluster.routing.allocation.exclude.{attribute}，其中 {attribute} 表示节点的匹配方式，支持三种：

_name：匹配 node 名称，多个 node 名称用逗号隔开；
_ip：匹配 node ip 地址，多个地址用逗号隔开；
_host：匹配 node 主机名，多个主机名用逗号隔开；

执行后将导致 {node.name} 节点上的分片慢慢迁移到其他节点，可能会花几分钟甚至更多的时间，期间不会影响正常业务。

三、等待所有分区与数据迁移完成

上一步执行后，不能马上停服务，必须要等待所有分片迁移到其他节点，若安装了 ES head 插件，建议通过界面查看分区迁移情况与集群健康状态。也可以通过以下命令查看：

1. curl -s "http://hostname:9200/_cat/shards" | grep RELOCATING
2. curl http://hostname:9200/_cluster/health?pretty

所有分片迁移完成后，可再通过以下命令查看节点数据是否已迁移，都是 0 表示数据也已经迁移，如：

1. curl http://hostname:9200/_nodes/{node.name}/stats/indices?pretty
2.   ...
3.   "indices" : {
4.         "docs" : {
5.           "count" : 0,
6.           "deleted" : 0
7.         },
8.         "store" : {
9.           "size_in_bytes" : 0
10.         },
11.   ...

接下来就可以直接停服务进程了。

四、停掉节点服务进程

节点分片迁移完成后，停掉 ES 下线节点的服务进程：

1. # 若配置了服务，可 stop 服务
2. systemctl stop elasticsearch.service
3. # 或者 kill 服务进程
4. kill {pid}

五、恢复集群路由策略

此时节点已经完全从集群中删除了，可恢复集群路由策略：

1. curl -XPUT http://hostname:9200/_cluster/settings?pretty -H 'Content-Type: application/json' -d '{
2.   "transient": {
3.     "cluster.routing.allocation.exclude._name": null
4.   }
5. }'

至此节点下线操作完成。这里的目标是将节点从集群中下线剔除，并没有上线操作，如果要再次上线该节点，只需要启动服务即可，节点会自动加入集群并分配分片。