在ES查询时,有些数据是热点数据,这些数据是需要需要更好的机器配置的节点,当数据变得不是那么重要的时候,我们需要转到配置相对低的节点上。

比如热点新闻专题,我们需要更好的机器,热点过后,这些数据不再需要那么快的查询效率。这种情况我们可以通过ES的配置来实现。

 

热节点要求:

cpu,内存,io 配置比较高,建议使用SSD

冷节点要求

磁盘比较大

 

具体配置方法

给节点打标签

# 标记一个 Hot 节点
bin/elasticsearch  -E node.name=hotnode -E cluster.name=geektime -E path.data=hot_data -E node.attr.my_node_type=hot

# 标记一个 warm 节点
bin/elasticsearch  -E node.name=warmnode -E cluster.name=geektime -E path.data=warm_data -E node.attr.my_node_type=warm

增加
my_node_type 属性,一个节点为 hot,一个为 warm 节点。

# 通过下面的命令再kibana查看节点
GET /_cat/nodeattrs?v

将索引创建到热节点

PUT xinwen2019
{
  "settings":{
    "number_of_shards":2,
    "number_of_replicas":0,
    "index.routing.allocation.require.my_node_type":"hot"
  }
}
创建索引时指定热节点。
index.routing.allocation.require.my_node_type


PUT xinwen2019/_doc/1 
{
"key":"value"
}

 当热点过后将数据转移到冷节点。

PUT xinwen2019/_settings 
{
"index.routing.allocation.require.my_node_type":"warm"
}
配置副本到不同的rack
通过配置主副本配置不同的rack保证 ES节点的高可用性。

# 标记一个 rack 1
bin/elasticsearch  -E node.name=node1 -E cluster.name=geektime -E path.data=node1_data -E node.attr.my_rack_id=rack1

# 标记一个 rack 2
bin/elasticsearch  -E node.name=node2 -E cluster.name=geektime -E path.data=node2_data -E node.attr.my_rack_id=rack2

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.awareness.attributes": "my_rack_id"
  }
}

PUT my_index1
{
  "settings":{
    "number_of_shards":2,
    "number_of_replicas":1
  }
}

PUT my_index1/_doc/1
{
  "key":"value"
}


GET _cat/shards?v
DELETE my_index1/_doc/1

 这样配置后,可以看到 shard 的主分片和副本 被分配到了不同的 节点上。