es存储冷热数据分离

ElasticSearch7.10 生命周期配置 冷热分离 windows10版本测试

• 下载官方ElasticSearch7.10 与对应版本的kibana 便于操作

• 前提 安装jdk 并配置环境变量

• 更多详细内容参考 https://www.elastic.co

• 第一步解压文件，配置集群信息
• 启动日志：
• 集群验证：
• 启动kibana：直接启动就可以
• 启动kibana日志：
• kibana 访问页面：

• 生命周期管理过程

• 热区 配置
• 暖区配置 需要配置warm节点
• 冷区配置 需要配置cold节点
• 删除区配置 并保存改策略
• 注意： 索引必须按照该格式处理： # does not match pattern '^.*-\d+$'

下载官方ElasticSearch7.10 与对应版本的kibana 便于操作

前提 安装jdk 并配置环境变量

更多详细内容参考 https://www.elastic.co

第一步解压文件，配置集群信息

1. 首先复制三份
   
   2.进入第一个目录，备份原配置文件，修改配置文件
2. 添加如下配置信息，主要涉及主节点，集群名称，数据目录，ip，box_type（冷热节点配置 重要）

# ---------------------------------- Cluster -----------------------------------
cluster.name: my-application
cluster.initial_master_nodes: ["node1", "node2", "node3"]
# ------------------------------------ Node ------------------------------------
node.name: node1
node.attr.rack: r1
node.attr.box_type: hot
node.master: true
node.data: true
# ----------------------------------- Paths ------------------------------------
path.data: D:\data\e1
#path.logs: /path/to/logs
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: true
# ---------------------------------- Network -----------------------------------
network.host: 127.0.0.1
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301", "127.0.0.1:9302"]

4. 修改另外2个配置文件 例如：node2 主要就是 name box_type port 等不同 我是单机实验

cluster.name: my-application
cluster.initial_master_nodes: ["node1", "node2", "node3"]

node.name: node2

node.attr.rack: r1
node.attr.box_type: warm
node.master: false
node.data: true

path.data: D:\data\e2
bootstrap.memory_lock: true

network.host: 127.0.0.1

http.port: 9201
transport.tcp.port: 9301
http.cors.enabled: true
http.cors.allow-origin: "*"

discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301", "127.0.0.1:9302"]

5. 配置完成后 安顺启动服务，进入目录 启动程序

启动日志：

集群验证：

启动kibana：直接启动就可以

启动kibana日志：

kibana 访问页面：

生命周期管理过程

2. 创建策略



3. 一些关键配置

热区 配置

暖区配置 需要配置warm节点

冷区配置 需要配置cold节点

删除区配置 并保存改策略

3. 创建模板 使用策略myp1 上面已创建

PUT _template/my_template2
{
  "index_patterns": ["event-*"],
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 0,
    "index.lifecycle.name": "myp1", 
    "index.lifecycle.rollover_alias": "event-all", 
    "routing.allocation.require.box_type": "hot" 
  }
}

注意： 索引必须按照该格式处理： # does not match pattern ‘^.*-\d+$’

4. 创建索引

PUT /event-000001?include_type_name=true
{
  "settings": {
    "index": {
      "number_of_shards": "3",
      "number_of_replicas": "1"
    }},
    "mappings": {
      "event_all": {} 
    }
}

5. 设置初始别名

POST _aliases
{
  "actions": [
    {
      "add": {
        "index": "event-00001",
        "alias": "event-all"
      }
    }
  ]
}

6. 设置 ILM轮询时间，更好观看效果 1分钟执行 默认10分钟

PUT _cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval": "1m" 
  }
}

7. **效果展示 当数量或者时间在或者空间达到策略设定阈值，经过上步设置的轮训时间会自动进行处理， 000001-2 已经进入cold状态 000003已经进入warm 000004还在hot中 **