ELK 索引生命周期管理

翻译

马哥教育 2020-07-15 19:40:49 博主文章分类：云计算相关

文章标签 ELK 文章分类 人工智能

ELK 索引生命周期管理

前言

之前搭建的 ELK 集群经过几天的日志收集，索引数逐渐增多，服务器的各项内存、cpu、IO 指标开始上涨起来，要解决这个问题，在权衡性能与用户使用，应该做好索引的生命周期管理。

kibana 索引配置

1. 管理索引

点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引

配置 kibana 的索引匹配

配置索引生命周期

点击设置 --- Elasticsearch 的 Index Lifecycle Policies 可以配置策略管理索引生命周期

配置索引策略文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.1/index-lifecycle-management.html 配置索引的生命周期，折腾了我好几天，这里要仔细记录下：

首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置需要说明的是并不是每个阶段都是必要配置，这里我的配置参考如下图，

hot 阶段

warm阶段这里设置的是创建索引 3 天后转移到这一阶段，同时还配置强制合并为 3 个 segments

cold阶段，这里设置的是创建索引 7 天后转移到这一阶段，同时冻结这一索引

delete阶段，这里设置的是创建索引 15 天后转移到这一阶段，同时删除这一索引

点击链接免费在线学习 https://ke.magedu.com

配置好生命周期策略后，我们需要创建一个模板，将我们现在的输入 index 接管过来，然后将策略应用于这个模板，这就达到了，每次创建的 index 都能应用于这一策略其实最方便的就是将你创建的索引都以 logstash-* 开头，默认就包含一个名为 logstash 的模板，如果你不想以 logstash-* 开头创建索引，你可以先创建个模板参考如下：

PUT /_template/my_template
{
  "order" : 0,
  "index_patterns" : [
    "prod-*",
    "stage-*",
    "dev-*"
  ],
  "settings" : {
    "index" : {
      "number_of_shards" : "1",
      "refresh_interval" : "5s"
    }
  },
  "mappings" : {
    "dynamic_templates" : [
      {
        "message_field" : {
          "path_match" : "message",
          "mapping" : {
            "norms" : false,
            "type" : "text"
          },
          "match_mapping_type" : "string"
        }
      },
      {
        "string_fields" : {
          "mapping" : {
            "norms" : false,
            "type" : "text",
            "fields" : {
              "keyword" : {
                "ignore_above" : 256,
                "type" : "keyword"
              }
            }
          },
          "match_mapping_type" : "string",
          "match" : "*"
        }
      }
    ],
    "properties" : {
      "@timestamp" : {
        "type" : "date"
      },
      "geoip" : {
        "dynamic" : true,
        "properties" : {
          "ip" : {
            "type" : "ip"
          },
          "latitude" : {
            "type" : "half_float"
          },
          "location" : {
            "type" : "geo_point"
          },
          "longitude" : {
            "type" : "half_float"
          }
        }
      },
      "@version" : {
        "type" : "keyword"
      }
    }
  },
  "aliases" : { }
}

以上的模板接管了 prod-* stage-* dev-* 开头的 index，然后将策略应用于这些 index

现在我们就可以在 index management 里查看索引当前的生命周期状态